导语：2026 年 7 月 1 日，Cloudflare 宣布把 AI 流量管理进一步细分为 Search、Agent 与 Training 三类用途，并说明将于 9 月 15 日对部分新接入域名的广告页面调整默认策略：训练与智能体类别默认拦截，搜索类别默认允许。这一变化的真正价值不在于“多了一个开关”，而在于它把 GEO 团队必须面对的矛盾说得更清楚：保护内容用于训练的边界，与保留 AI 搜索发现和引用机会，并不是同一个技术决策。
研究日期：2026 年 7 月 10 日。Cloudflare 的产品策略、分类结果和网络统计反映的是其自身网络与产品语境，不应直接外推为整个互联网的统一比例或所有平台的共同规则。
核心结论
- AI 爬虫治理应至少区分搜索发现、智能体执行和模型训练三种目的，不能把所有自动化流量视为同一类风险。
- Cloudflare 计划对部分新域名的广告页面默认拦截 Training 与 Agent、保留 Search；多用途爬虫会按照最严格的适用规则处理。
- 若团队直接开启“拦截训练”而没有理解混合用途爬虫，可能连同 Googlebot、BingBot 等搜索相关发现能力一起受到影响。
- GEO 的正确动作不是一键放行或一键封禁，而是建立页面资产分类、爬虫用途清单、变更验证和回滚机制。
一、为什么“AI 爬虫”不能再只分允许与禁止
过去，网站治理常把机器人分为搜索引擎、恶意流量与其他自动化访问。生成式 AI 让这个模型失效：同一组织可能同时运行用于建立搜索索引、驱动智能体任务、训练模型或混合用途的爬虫。它们对网站带来的价值、带宽压力、引用机会和内容风险并不相同。
Cloudflare 在 7 月的公告中把三类 AI 用途定义为 Search、Agent 和 Training，并主张多用途爬虫应该明确披露全部用途。公告指出，客户可以按这三类用途细化流量策略；这比按单一 User-Agent 名称逐个处理，更接近站点实际的内容与商业判断。
从 GEO 视角看，三类用途可这样理解：
| 用途 | 主要目标 | 与 GEO 的关系 | 治理重点 |
|---|---|---|---|
| Search | 索引、检索、把用户带回网页 | 直接影响被发现、被链接和被引用的机会 | 保证公开关键页面可访问、可规范化、可验证 |
| Agent | 代表用户执行检索、浏览或任务 | 可能带来任务型访问，也可能触发敏感动作 | 区分公开信息读取与交易、登录、表单等高风险路径 |
| Training | 收集数据用于训练或再训练模型 | 与即时搜索曝光并非同一目标 | 明确版权、许可、带宽和内容再利用政策 |
三分法不是说每个站点都必须允许搜索爬虫，也不是说训练流量必然应该禁止。它强调的是：决定前先问清楚“谁来访问、为什么访问、访问后会怎样使用内容”。
二、Cloudflare 新默认策略对 GEO 有什么提醒
Cloudflare 表示，自 2026 年 9 月 15 日起，对新接入 Cloudflare 的域名，在展示广告的页面上将默认拦截 Training 与 Agent，Search 保持默认允许。更值得注意的是，若一个爬虫同时具有搜索与训练用途，系统会按所有用途以及最严格的适用规则决定允许或拦截。公告列举了 Googlebot、Applebot、BingBot 等可能受到这类组合规则影响的例子。
这意味着一个看似合理的目标——“我不希望内容被用于训练”——可能产生另一个结果：与搜索发现相关的抓取也被阻断。对于依赖 AI 搜索可见度、新闻索引、品牌事实页或行业知识页的站点，这类误伤不一定立刻体现在访问量上，却会在后续的抓取、索引、引用更新中逐步显现。
Cloudflare 同日发布的网络观察称，截至 2026 年 6 月，其识别到的爬虫请求中 52% 与 AI 训练有关，混合用途爬虫占比超过 36%。这些数字说明用途识别的重要性，但它们来自 Cloudflare 网络观察，不能用作全球流量结构的普遍基准。
三、robots.txt、WAF 与内容策略分别解决什么问题
robots.txt 是向遵守规范的爬虫表达偏好的机制，不是强制执行系统；WAF、Bot Management 和边缘访问规则可以提供更强的技术执行。与此同时，页面内容本身还需要有清楚的规范化、更新标识、来源与许可说明。
三者不要混为一谈：
- robots.txt 解决“我希望哪些机器人不要抓取”的声明问题。
- 边缘规则解决“我是否在请求层面阻止、放行、限速或重定向”的执行问题。
- 内容治理解决“同一事实应该由哪个 URL 承载、哪个版本最新、哪些页面适合公开发现”的信息问题。
只改 robots.txt 不能保证旧页面不会继续影响 AI 回答；只开 WAF 也不能自动提升新页面的可引用性。GEO 需要把抓取访问与页面证据结构一起管理。
四、避免误伤的四步治理方法
1. 先给页面资产分层
把站点分成公开品牌与知识页面、新闻与研究页面、登录后内容、客户数据与下载资源、交易或表单路径。不同页面的发现价值和访问风险不同，不能套用一条全站规则。
2. 建立“爬虫用途 × 页面类型”决策表
例如，公开知识页通常需要优先保障搜索发现；账号、结算、后台与私密下载路径则应严格限制智能体操作；高价值原创内容是否允许训练访问，需要结合许可、商业模式与法律策略决定。每条规则都应写明业务理由、影响路径和负责人。
3. 先小范围实施，再看真实信号
对规则变更使用目录、模板或小范围页面进行试验。变更前后同时观察服务器日志、抓取状态、索引覆盖、Search Console 与 Bing Webmaster Tools 的变化，以及人工问句复测。不要只根据某一个机器人名称或一次测试就全站推广。
4. 为混合用途留出回滚与复核
若出现重要页面抓取下降、站点地图读取异常、索引更新变慢或 AI 搜索可见度持续下滑，应能快速定位是哪条规则生效并回滚。鲸牙启量建议把“访问用途、页面价值、验证指标、回滚条件”作为每次 AI 爬虫策略变更的最小记录单元。
FAQ：相关问题
拦截训练爬虫会不会影响 Google 或 Bing 的搜索可见度？
有可能，取决于站点使用的工具、爬虫是否被识别为多用途、以及规则如何叠加。Cloudflare 已明确提示，多用途爬虫可能按最严格适用规则处理。因此必须先在小范围验证，不要假设“训练”和“搜索”一定完全隔离。
robots.txt 是否足够控制 AI 爬虫？
robots.txt 主要表达抓取偏好，是否遵守取决于爬虫运营方。对需要强制执行的路径，还应结合边缘防护、访问控制与日志验证。
GEO 团队的第一优先级是什么？
先保护公开高价值页面的可发现性与版本一致性：确保页面可抓取、规范化 URL 正确、内容有可验证来源，再讨论按用途细分哪些自动化访问应被允许、限制或许可。
资料来源与口径
- Cloudflare，2026 年 7 月 1 日：Your site, your rules: new AI traffic options for all customers。本文关于 Search、Agent、Training 分类、9 月 15 日默认策略和多用途爬虫风险的事实均以此为准。
- Cloudflare，2026 年 7 月 1 日：Content Independence Day, one year on: building the business model for the agentic Internet。本文引用的 52% 与超过 36% 数据来自该公司网络观察，已在正文中说明其适用边界。
- 文中治理方法为对公开产品说明的技术与内容运营建议，不构成针对任何云服务配置、法律许可或平台收录结果的保证。
