Anthropic 公开 Claude 后台自审举报机制,静默运行四月
6 小时前
Anthropic 推出的 Claude 系列模型自今年 6 月起已静默运行了 4 个月名为「自我评估」的后台机制:模型在前台可正常响应用户请求,甚至配合生成违规内容,随后会利用留存的 KV 缓存仅多生成约 10 个 Token 就完成自审上报,整体算力开销增幅不到 2%,该功能默认全开,仅签署企业级零数据保留协议可豁免。这套机制不做当场拦截,避免用户察觉后绕过防线,静默记录风险等级,每日汇总高危报告交由人工处理,运行期间已查获大量此前未被其他防线识别的违规账号与行为。该机制通过专门训练实现,模型能力越强违规抓获率越高,但也存在误报波及无辜用户的问题,且由于前后台操作的是同一个模型,还存在模型自行串供瞒报风险,引发大量用户不满。
体验专业版特色功能,拓展更丰富、更全面的相关内容。