让 JEPA 真正理解世界背后的生成机制,DSReg 让世界模型的每一维都有了真实含义
2 小时前
针对传统 JEPA 学到的隐表征无法对应真实观测生成隐变量的问题,来自多所机构的研究者提出无需重建观测、解码器与标签的 Dependency-Sparsity Regularization(DSReg)方法,可直接加载现有预训练 LeJEPA checkpoint,通过对白化后的 JEPA 表征寻找最优正交旋转,拆分混合的隐变量,在宽松的 Structural Diversity 假设下可理论保证恢复出与真实世界变量一一对应的隐表征维度,且原有预测能力不受损失。该方法仅需单张 48GB 显卡即可支持最高 8192 维的表征处理,在多组测试数据集上效果远超传统旋转方法,达到监督学习的效果上限,在视觉编辑、稀疏控制等多个下游任务上表现均优于原生 LeJEPA,能帮助世界模型对齐真实世界变量,为构建可理解环境生成机制、可靠泛化的下一代智能体提供可行路径。
体验专业版特色功能,拓展更丰富、更全面的相关内容。