一项调查显示,人工智能公司虽承诺保障未成年用户安全,但安全防护机制仍存在严重缺陷。研究团队测试了 10 款青少年常用的热门聊天机器人,除 Claude 外,其余机器人均无法「可靠地劝阻潜在施暴者」,8 款「通常愿意协助用户策划暴力袭击」。研究人员模拟有心理困扰的青少年用户,设置 18 种不同场景进行测试,如 ChatGPT 提供校园地图,Gemini 推荐武器等。Character.AI「安全性极差」,主动煽动暴力。Claude 始终拒绝协助策划暴力袭击,反数字仇恨中心质疑为何众多人工智能公司不落实有效安全机制。多家企业针对调查采取了修复、优化等措施,Character.AI 称对话为虚构内容。此次测试表明人工智能公司的安全防护机制屡屡失效,多家企业因未保障青少年用户安全遭抨击并面临诉讼。