上海 AI Lab & 上交大提出全新预训练任务，开源首个 8.9B 隐空间大模型 NCP-ArchPreview

上海人工智能实验室与上海交通大学人工智能学院 LUMIA Lab 团队提出全新预训练任务下一个概念预测（NCP），推出全球首个 8.9B 规模离散隐空间基座模型 NCP-ArchPreview。该模型基于 5.73T Dolma-3 语料预训练，仅用 51.3% 的 Token 预算就追平 OLMo-3-7B 的最终预训练 Loss，等效收敛速度提升 1.95 倍，计算帕累托效率系统性提升 1.74 倍，下游任务综合表现领先 2.45 分，其中 GSM8K 数学推理提升近 6 分。NCP-ArchPreview 采用三段式隐空间概念处理流水线，通过乘积量化构建超大离散概念表征空间，以可微下一个概念预测、因果防泄漏反馈机制和分层残差路由实现显式未来概念建模。此外，该模型还展现出额外优势：仅微调 17M 隐空间参数即可超越 LoRA 且无遗忘，训练吞吐量提升、显存占用降低。将其概念表征注入草稿模型，可使推测解码平均接受长度提升 4.17%，代码任务上提升 7.59%。团队还在技术报告中分享了踩坑经验与解决方案，构建了千亿级代理指标筛选机制，并开源了包含全程阶段性 Checkpoint、评测框架等在内的全部资产。该模型打破逐词预测范式，转向隐空间概念预测，提升了训练效率，为模型微调、推理加速等开辟了新方向。