OpenAI 等四家企业将推行 AI 数据抓取退出统一标准

OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项可让内容发布方选择拒绝 AI 抓取自家网站内容的新标准，内容发布方可借助该标准一次性向多家 AI 企业统一申明针对 AI 模型训练的内容使用偏好，无需为每家企业单独设置规则。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组提出，将集成在网站的 robots.txt 文件中。此前网站需向每家 AI 企业单独声明 AI 训练相关内容使用偏好，面对各类 AI 爬虫持续抓取网站内容用于模型训练的情况，内容发布方不堪其扰，新标准旨在简化这一流程。目前 Anthropic 已率先采纳该标准，OpenAI 计划未来几个月内落实，谷歌和微软预计明年支持，Meta 也表示支持建立此类通用信号，但未明确具体落地计划。