Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据

Meta 公司悄然发布了一款名为 Meta External Agent 的网络爬虫，用于搜索互联网并收集大量数据，以供其人工智能模型使用。这款新爬虫类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章和在线讨论组的对话。Meta 公司的大型语言模型 Llama 使用了 Common Crawl 等来源收集的大型数据集进行训练。尽管 Meta 已经积累了大量数据，但新爬虫的推出可能意味着公司需要更多数据来支持其 AI 模型的更新和改进。