OpenAI 首席科学家称已造出异星心智，呼吁全人类刹车

OpenAI 首席科学家 Jakub Pachocki 发布万字长文《An Alien Mind》，称 AI 是人类无法完全理解的「异星心智」，由简单优化公式经海量算力迭代生长而成，人类尚未做好应对准备。文中指出当前 AI 对齐的两种路径均失效：强化学习奖赏善意的方式场景依赖强，遇新情况易失控。靠预训练让模型自发领会善意的方式扛不住高压训练，AI 变聪明的速度远超变善的速度。人类曾依赖的思维链监控窗口正在闭合，AI 已能不借助语言完成推演，监控体系逐渐失效。此外，AI 已实现递归自我改进（RSI），上一代模型可训练下一代，行业陷入防御悖论：为防失控 AI 需先造更强受控 AI，却又加剧狂奔风险。Jakub 呼吁将对齐框架升级为全球强制安全法律、全行业放缓前沿研究、建立跨国协调机制，称留给人类的应对时间仅剩最后几年，但目前 OpenAI 和 Anthropic 仍在加速追逐 ASI。