LeCun 新论文论证 next-token 预测路线效率低下

Yann LeCun 团队相关研究从数学上将柏拉图表征假说转化为定理，给出可操作的充分条件，采用基于 JEPA 的「好视图」训练方式，让模型学习同一场景不同描述背后的共同场景内容，同时加入约束避免表征坍塌。该训练方式相比下一 token 预测路线，样本对齐效率提升 42 倍，按实际读取文本 token 计算效率差距约 14 倍，仅 1.09 亿参数的模型取得的表征对齐效果超过了 720 亿参数的大语言模型，还可通过简单线性映射连接分别独立训练的视觉与文本模块，完成图像描述等任务。这项研究为世界模型路线的表征学习环节构筑了基础，验证了训练目标对学习效率的关键影响，证明 next-token 预测路线效率低下，无需一味堆规模也能获得更优效果。