Yann LeCun 发新论文：小模型跨模态表征对齐表现超 720 亿大模型

图灵奖得主 Yann LeCun 与布朗大学助理教授 Randall Balestriero 联合发布新论文，在原有柏拉图表征假说基础上建立数学框架，证明符合特定正样本关系训练的不同模态 JEPA 模型，可学到能通过旋转变换相互对齐的世界表征。实验显示，仅 1.09 亿参数的文本 JEPA 在跨模态表征对齐测试中超过 Qwen2.5-72B、Llama-3-70B 等大模型，且仅用 2160 万训练样本就达到下一 Token 预测模型 9 亿样本的表征对齐水平，大幅提升训练效率，还可通过线性变换连接独立训练的视觉编码器与文本模型实现相关跨模态应用。该研究是 LeCun 长期坚持的 JEPA 世界模型路线的延续，挑战了 AI 行业的唯规模论，指出训练时让模型学习的信息关系比单纯增加数据量更重要，论文发布后引发业内不同讨论，外界对该技术路线的落地价值与多模态拓展可能性抱有不同期待。