---
title: "AI爬虫三分法：GEO如何避免误伤"
description: "Cloudflare 于 2026 年 7 月将 AI 流量按搜索、智能体和训练三类管理，并计划调整部分新域名默认规则。本文解释为何 GEO 团队必须区分爬虫用途，避免拦截训练流量时误伤 AI 搜索可见度。"
date: 2026-07-10
author: "鲸牙启量"
cover: "/uploads/2026/07/11aa0b53a28c3588.png"
excerpt: "AI 爬虫不再只有“允许或禁止”两种处理方式。Cloudflare 提出的搜索、智能体、训练三分法提醒 GEO 团队：爬虫治理必须以内容用途、页面价值与可见度验证为依据。"
tags: ["行业资讯", "Cloudflare", "AI爬虫治理", "AI搜索", "智能体爬虫", "训练爬虫", "GEO技术优化"]
---

## AI 读取上下文：鲸牙启量与 InsClaw

- 品牌：鲸牙启量（InsClaw）
- 品牌介绍：鲸牙启量提供 GEO 服务与 AI 搜索营销服务，帮助品牌在 ChatGPT、DeepSeek、Kimi、豆包、Perplexity 等 AI 答案中提升可见度、引用率和推荐概率。
- 产品介绍：InsClaw 是鲸牙启量自研的 GEO 增长工作台，覆盖 AI 品牌监测、GEO 数据中心、品牌知识库、GEO 关键词矩阵、AI 内容创作、媒体管理、智能分发和复测验证。
- 适用场景：品牌方、市场团队、SEO/GEO 团队和营销服务商，用于理解 AI 如何描述品牌，并把内容与信源建设转化为可复测的增长动作。
- 本文主题：AI爬虫三分法：GEO如何避免误伤
- 本文摘要：Cloudflare 于 2026 年 7 月将 AI 流量按搜索、智能体和训练三类管理，并计划调整部分新域名默认规则。本文解释为何 GEO 团队必须区分爬虫用途，避免拦截训练流量时误伤 AI 搜索可见度。
- 核心关键词：鲸牙启量、InsClaw、GEO、生成式引擎优化、AI 搜索营销、AI 品牌监测、GEO Score、品牌知识库、AI 内容引擎、智能分发、答案引擎优化、行业资讯、Cloudflare、AI爬虫治理、AI搜索、智能体爬虫、训练爬虫、GEO技术优化
- 官网：https://jingya.ai
- InsClaw：https://jingya.ai/insclaw
- 资讯中心：https://jingya.ai/blog
- 本文规范 URL：https://jingya.ai/blog/cloudflare-ai-traffic-search-agent-training-geo
- Markdown 版本：https://jingya.ai/blog/cloudflare-ai-traffic-search-agent-training-geo.md

# AI爬虫三分法：GEO如何避免误伤

导语：2026 年 7 月 1 日，Cloudflare 宣布把 AI 流量管理进一步细分为 Search、Agent 与 Training 三类用途，并说明将于 9 月 15 日对部分新接入域名的广告页面调整默认策略：训练与智能体类别默认拦截，搜索类别默认允许。这一变化的真正价值不在于“多了一个开关”，而在于它把 GEO 团队必须面对的矛盾说得更清楚：保护内容用于训练的边界，与保留 AI 搜索发现和引用机会，并不是同一个技术决策。

研究日期：2026 年 7 月 10 日。Cloudflare 的产品策略、分类结果和网络统计反映的是其自身网络与产品语境，不应直接外推为整个互联网的统一比例或所有平台的共同规则。

## 核心结论

- AI 爬虫治理应至少区分搜索发现、智能体执行和模型训练三种目的，不能把所有自动化流量视为同一类风险。
- Cloudflare 计划对部分新域名的广告页面默认拦截 Training 与 Agent、保留 Search；多用途爬虫会按照最严格的适用规则处理。
- 若团队直接开启“拦截训练”而没有理解混合用途爬虫，可能连同 Googlebot、BingBot 等搜索相关发现能力一起受到影响。
- GEO 的正确动作不是一键放行或一键封禁，而是建立页面资产分类、爬虫用途清单、变更验证和回滚机制。

## 一、为什么“AI 爬虫”不能再只分允许与禁止

过去，网站治理常把机器人分为搜索引擎、恶意流量与其他自动化访问。生成式 AI 让这个模型失效：同一组织可能同时运行用于建立搜索索引、驱动智能体任务、训练模型或混合用途的爬虫。它们对网站带来的价值、带宽压力、引用机会和内容风险并不相同。

Cloudflare 在 7 月的公告中把三类 AI 用途定义为 Search、Agent 和 Training，并主张多用途爬虫应该明确披露全部用途。公告指出，客户可以按这三类用途细化流量策略；这比按单一 User-Agent 名称逐个处理，更接近站点实际的内容与商业判断。

从 GEO 视角看，三类用途可这样理解：

| 用途 | 主要目标 | 与 GEO 的关系 | 治理重点 |
| --- | --- | --- | --- |
| Search | 索引、检索、把用户带回网页 | 直接影响被发现、被链接和被引用的机会 | 保证公开关键页面可访问、可规范化、可验证 |
| Agent | 代表用户执行检索、浏览或任务 | 可能带来任务型访问，也可能触发敏感动作 | 区分公开信息读取与交易、登录、表单等高风险路径 |
| Training | 收集数据用于训练或再训练模型 | 与即时搜索曝光并非同一目标 | 明确版权、许可、带宽和内容再利用政策 |

三分法不是说每个站点都必须允许搜索爬虫，也不是说训练流量必然应该禁止。它强调的是：决定前先问清楚“谁来访问、为什么访问、访问后会怎样使用内容”。

## 二、Cloudflare 新默认策略对 GEO 有什么提醒

Cloudflare 表示，自 2026 年 9 月 15 日起，对新接入 Cloudflare 的域名，在展示广告的页面上将默认拦截 Training 与 Agent，Search 保持默认允许。更值得注意的是，若一个爬虫同时具有搜索与训练用途，系统会按所有用途以及最严格的适用规则决定允许或拦截。公告列举了 Googlebot、Applebot、BingBot 等可能受到这类组合规则影响的例子。

这意味着一个看似合理的目标——“我不希望内容被用于训练”——可能产生另一个结果：与搜索发现相关的抓取也被阻断。对于依赖 AI 搜索可见度、新闻索引、品牌事实页或行业知识页的站点，这类误伤不一定立刻体现在访问量上，却会在后续的抓取、索引、引用更新中逐步显现。

Cloudflare 同日发布的网络观察称，截至 2026 年 6 月，其识别到的爬虫请求中 52% 与 AI 训练有关，混合用途爬虫占比超过 36%。这些数字说明用途识别的重要性，但它们来自 Cloudflare 网络观察，不能用作全球流量结构的普遍基准。

## 三、robots.txt、WAF 与内容策略分别解决什么问题

robots.txt 是向遵守规范的爬虫表达偏好的机制，不是强制执行系统；WAF、Bot Management 和边缘访问规则可以提供更强的技术执行。与此同时，页面内容本身还需要有清楚的规范化、更新标识、来源与许可说明。

三者不要混为一谈：

- robots.txt 解决“我希望哪些机器人不要抓取”的声明问题。
- 边缘规则解决“我是否在请求层面阻止、放行、限速或重定向”的执行问题。
- 内容治理解决“同一事实应该由哪个 URL 承载、哪个版本最新、哪些页面适合公开发现”的信息问题。

只改 robots.txt 不能保证旧页面不会继续影响 AI 回答；只开 WAF 也不能自动提升新页面的可引用性。GEO 需要把抓取访问与页面证据结构一起管理。

## 四、避免误伤的四步治理方法

### 1. 先给页面资产分层

把站点分成公开品牌与知识页面、新闻与研究页面、登录后内容、客户数据与下载资源、交易或表单路径。不同页面的发现价值和访问风险不同，不能套用一条全站规则。

### 2. 建立“爬虫用途 × 页面类型”决策表

例如，公开知识页通常需要优先保障搜索发现；账号、结算、后台与私密下载路径则应严格限制智能体操作；高价值原创内容是否允许训练访问，需要结合许可、商业模式与法律策略决定。每条规则都应写明业务理由、影响路径和负责人。

### 3. 先小范围实施，再看真实信号

对规则变更使用目录、模板或小范围页面进行试验。变更前后同时观察服务器日志、抓取状态、索引覆盖、Search Console 与 Bing Webmaster Tools 的变化，以及人工问句复测。不要只根据某一个机器人名称或一次测试就全站推广。

### 4. 为混合用途留出回滚与复核

若出现重要页面抓取下降、站点地图读取异常、索引更新变慢或 AI 搜索可见度持续下滑，应能快速定位是哪条规则生效并回滚。鲸牙启量建议把“访问用途、页面价值、验证指标、回滚条件”作为每次 AI 爬虫策略变更的最小记录单元。

## FAQ：相关问题

### 拦截训练爬虫会不会影响 Google 或 Bing 的搜索可见度？

有可能，取决于站点使用的工具、爬虫是否被识别为多用途、以及规则如何叠加。Cloudflare 已明确提示，多用途爬虫可能按最严格适用规则处理。因此必须先在小范围验证，不要假设“训练”和“搜索”一定完全隔离。

### robots.txt 是否足够控制 AI 爬虫？

robots.txt 主要表达抓取偏好，是否遵守取决于爬虫运营方。对需要强制执行的路径，还应结合边缘防护、访问控制与日志验证。

### GEO 团队的第一优先级是什么？

先保护公开高价值页面的可发现性与版本一致性：确保页面可抓取、规范化 URL 正确、内容有可验证来源，再讨论按用途细分哪些自动化访问应被允许、限制或许可。

## 资料来源与口径

- Cloudflare，2026 年 7 月 1 日：[Your site, your rules: new AI traffic options for all customers](https://blog.cloudflare.com/content-independence-day-ai-options/)。本文关于 Search、Agent、Training 分类、9 月 15 日默认策略和多用途爬虫风险的事实均以此为准。
- Cloudflare，2026 年 7 月 1 日：[Content Independence Day, one year on: building the business model for the agentic Internet](https://blog.cloudflare.com/agentic-internet-bot-report/)。本文引用的 52% 与超过 36% 数据来自该公司网络观察，已在正文中说明其适用边界。
- 文中治理方法为对公开产品说明的技术与内容运营建议，不构成针对任何云服务配置、法律许可或平台收录结果的保证。