四大 AI 厂商共推统一 AI 训练偏好信号 网站可一键声明

OpenAI、谷歌、微软与 Anthropic 将共同支持一项新的 AI 训练偏好信号，网站可在 robots.txt 中使用统一策略标记内容是否可用于生成式 AI 模型训练，无需逐家配置规则。该机制源自相关技术人员提交的草案，引入跨厂商通用标记，与现有 robots.txt 语法完全兼容，支持通过 Allow 指令设置目录级例外，仅表达用途偏好，不控制爬虫访问行为，不影响网站在搜索引擎中的收录与排名，微软还将提供更细粒度的 AI 检索引用控制选项。落地方面 Anthropic 已率先采用，OpenAI 计划未来数月内实现，谷歌与微软预计 2027 年支持，该机制为自愿性约定，对未参与厂商无约束力，且不追溯已抓取的历史数据。