Sebastian Raschka 详解 GPT-6 Astra：循环 Transformer 与思维链争议

近期，OpenAI 新模型 GPT-6 Astra 引发关注，其在 3D 渲染、图形及计算机操作任务上表现突出，OpenAI 采购数万台 Mac 用于强化学习以训练模型的计算机操作能力。有报道称 Astra 采用了循环 Transformer 设计，该设计通过让中间表示多次通过同一批 Transformer 块来提升有效深度，且有多种变体，如固定循环次数的 Nanbeige、支持自适应停止的 Universal Transformer 和 Ouro、用路由决定循环次数的 Mixture-of-Recursions 等，这类架构能在固定算力预算下提升模型性能。针对循环 Transformer 会遮蔽推理轨迹的质疑，相关观点认为，更短的推理轨迹是模型能力更强、犯错更少的结果，与循环架构无关，OpenAI 首席科学家也澄清架构变化并非推理轨迹监控性下降的原因。此外，还介绍了潜在推理、知识检索与推理区分、算力对齐下的循环、全带宽 Transformer 等相关研究。