Cloudflare 的 Disallow AI Training：'Block' 现在的含义变了

Cloudflare 于 2026 年 9 月 15 日上线了一个叫 Disallow AI Training 的设置，而同一批改动还改掉了另一个开关的含义——那个开关很多站长早就开着了。按 Cloudflare 自己的说法，Block 与 Block on pages with ads 现在会对”混用爬虫”生效：同一只爬虫、同一个身份，既抓搜索又抓 AI 训练。被点名的有 Applebot、Bingbot 与 Googlebot。

所以 Block 不再等于”屏蔽 AI 爬虫”，它把这些爬虫整个挡掉，搜索也一起挡。如果你的本意是 “不让 AI 用我的内容、但还要排名”，那你站错了档，你要的是 Disallow AI Training。

两个数字解释了 Cloudflare 为什么单独立一档，而不是只留一个”Block AI”总开关：选择屏蔽搜索爬虫的 Cloudflare 站点不到 1%，而启用某种机制屏蔽训练的站点有 17%。几乎没人想放弃搜索，但相当一部分人想放弃训练。

四档设置

四档都在域名（zone）级别生效，所有套餐可用：

设置	实际行为
`Allow`	允许所有爬虫，除非被其他设置或 WAF 规则拦下。
`Disallow AI Training`	通过 Bot Preference Sync 在 robots.txt 里发布”禁止训练”偏好。可问责的混用爬虫仍可抓取搜索；其余训练爬虫一律屏蔽，包括 Amazon、Anthropic、Meta、OpenAI 各自的纯训练爬虫。只在 Training 档可用。
`Block on pages with ads`	只在 Cloudflare 判定”该页正在投放广告”的页面上屏蔽爬虫，混用爬虫也算在内。
`Block`	屏蔽所有爬虫，混用爬虫也算在内——搜索可见性随之一起没了。

Block on pages with ads 是以前又窄又安全的那一档。它的作用范围确实仍然窄，但它现在会触及这些页面上的 Applebot、Bingbot 与 Googlebot。

从没动过细分开关的站点，是被自动迁移的

Cloudflare 更早就把爬虫控制拆成了 Search、Training、Agent 三档。从未配置过它们的站点被自动迁移，并保留了旧 Block AI Bots 设置的实际效果：

关闭（未勾选） → Search Allow、Training Allow、Agent Allow
Block → Search Allow、Training Disallow AI Training、Agent Block on pages with ads
Block on pages with ads → Search Allow、Training Disallow AI Training、Agent Block on pages with ads

对配置过细分开关的站点，实际效果同样保留：原先 Training 选 Block 或 Block on pages with ads 的，改成 Disallow AI Training；Search 与 Agent 的选择原样保留。 Block AI Bots 与 Managed Robots.txt 在同一批改动中退场，后者由 Bot Preference Sync 接替。

所以绝大多数情况下你什么都不用做——这也正是它容易被漏掉的原因：自动迁移保护了你，而你自己点的那一下不会。如果你确实想让混用爬虫彻底别来，现在必须明确表态选 Block，Cloudflare 也直说了这么做会挡掉 Applebot、Bingbot 与 Googlebot。

Cloudflare 自己写明的两处缺口

这两条都不是外界批评，而是公告里就写着的，而且都在你把这个设置当”已经搞定”之前值得知道。

Bingbot 目前还不认这个偏好。 微软”正在构建机制，让 robots.txt 里域名/站点级别的’禁止训练’ 偏好也得到遵守，目标时间是 2027 年初”。在那之前，用 Cloudflare 的原话说，选 Disallow AI Training “不会自动通过 robots.txt 把禁止训练的偏好传达给 Bing”。Bing 侧现在能用的是自己的 NOARCHIVE meta 标签，以及 Block URLs / Content Removal 工具。也就是说在 Bing 上， 这个设置的名字暂时跑在了实效前面。

URL 级透明度还没补齐。 “可问责”的要求之一是让站长看到哪些页面被拿去训练。Google 称正在为 Google-Extended 构建这一能力，预计”未来几周内”；Applebot”尚未提供 URL 级核查工具”，Cloudflare 说 Apple 已分享了一套明年的在研方案。Apple 与 Google 都声明过：禁止训练不影响搜索排名。

关于 Accountable（可问责）这个标签本身，Cloudflare 要求四件事：通过 robots.txt 一类方式退出训练、退出 AI 摘要（目前需直接向各运营方设置，明年经由 Cloudflare）、URL 级训练可见性加搜索指标、以及”退出训练不影响传统搜索”的保证。Apple、Google、Microsoft 三家符合，Amazon、Anthropic、Meta、 OpenAI 的相关爬虫同样被归入 Accountable——它们把搜索爬虫与训练爬虫分开。Agent 流量目前没有 Disallow 档，因为还不存在表达这一偏好的成熟标准。而 robots.txt 单独并不解决问题：它无法识别谁在爬、为什么爬，也拦不住无视它的爬虫——执行只能发生在网络层。

下一战是 AI 摘要

训练与摘要是两个不同的问题。训练关乎你的内容会不会被拿去造模型；摘要决定用户是点进你的站，还是在搜索里把答案读完。Cloudflare 自己承认现在这种站级”全有全无”太粗——因为”你的内容有多少出现在摘要里”和”是否出现”同样重要。退出摘要的机制已经是 Accountable 的要求之一，目标则是明年初 让你在 Cloudflare 上一次性设定”允许多少内容被使用”，而不必逐家运营方分别设置。

影响数据是双向的，且这几项 Cloudflare 都标注了第三方来源：超过一半的消费者会读搜索摘要，读完 结束搜索的可能性高出 40% 以上，这会减少访问；但由 AI 搜索带来的访客，转化率是传统搜索来客的 3 倍到 5 倍以上。访问更少、意图更强。靠广告变现的发布方要的是访问量，零售商可能更想要”来的人更可能买”。

具体该怎么做

目标是”禁训练、保搜索”，就确认 Training 档设的是 Disallow AI Training 而不是 Block。 整件事就这一句。
确实不想要任何爬虫，Block 现在才是诚实的表达方式——代价是 Applebot、Bingbot 与 Googlebot。
别假设 robots.txt 已经在替你干活。 不在 Cloudflare 上你同样可以发布那条指令，但没有任何一方替你强制执行。
把承诺变成你自己的数据。 “退出训练不影响传统搜索结果”是运营方给出的保证，不是你亲眼见到的测量。改完设置后用几周时间盯自己的搜索可见性——像 Semrush 这类关键词与排名追踪，就是把那句保证变成你自己站点证据的方式。
Bing 对你重要的话，按 2027 年初这个时间点规划。 在那之前 robots.txt 的偏好传不到 Bing，今天真正有效的杠杆是 NOARCHIVE meta 标签。

以上每个数字、每条被引用的要求都出自 Cloudflare 2026 年 9 月 15 日的公告；公告为 AI 摘要那组数字标注的第三方来源已在原文中说明，这里不把它们当作本站自己的测量。我们没有在真实域名上跑过这些设置，本文也不作此声称。