Cloudflare 推出新设置：可允许搜索引擎爬取，同时拒绝 AI 训练

Cloudflare 推出新设置「Disallow AI Training」，允许管理员在接受搜索引擎爬取的同时拒绝网站内容用于 AI 训练，苹果、谷歌和微软已承诺遵守。启用该设置后，仅标记为「Accountable」的混合爬虫可抓取内容，其他 AI 训练爬虫会被拦截，或影响网站搜索排名。多数客户无需更改，此前选择相关拦截设置的网站将自动迁移至该新设置。此外，谷歌将推出 URL 层级透明度工具，苹果在开发同类工具，微软计划 2027 年初支持用 robots.txt 拒绝 AI 训练。