斯坦福等提出大模型新文本生成范式 速度最高快 31 倍

斯坦福大学与 Together AI 研究者提出不同于自回归、扩散的第三种文本生成范式 Next-Concept Modeling（NCM，下一概念建模），借鉴图像领域的下一尺度预测思路，让模型先并行生成概念大纲，再逐层并行填充细节得到完整文本。NCM 通过两阶段训练实现，先训练多尺度残差 VQ-VAE 得到可逐层补充信息的多层离散文本编码，再冻结该系统训练 Transformer 预测下一层编码。实验显示 NCM 在相近或更好的生成质量下，相对扩散语言模型实现 10-31 倍的生成速度，训练所需 token 量也大幅减少，在数独等推理任务上表现优于自回归和扩散基线，还可通过多生成候选挑选进一步优化效果。目前 NCM 所用模型参数规模有限，扩大规模后的表现、精确文本与长篇内容生成能力仍待验证，该思路模拟人类先构思再动笔的写作模式，有望改写未来文本生成的发展路线。