Readhub

麻省理工学院联合英伟达等机构发布「驯服长尾」（TLT）技术，可大幅提升推理大语言模型（LLM）的训练效率。推理大模型在强化学习训练中算力与能耗消耗大，「推演」阶段占 85% 训练时间，不同处理器完成任务时间不一形成效率瓶颈。TLT 方案运用「投机解码」技术，训练「草稿模型」预测大模型输出，由大模型批量验证。TLT 系统引入「自适应草稿训练器」和「自适应推演引擎」，确保草稿模型与大模型同步且不增加算力开销。测试表明，TLT 技术在不损失准确率的情况下，将多个推理大语言模型的训练速度提升 70% 到 210%，训练得到的草稿模型可用于后期高效部署，研究团队未来计划将该技术融入更多框架以降低 AI 开发成本、提升能源利用率。