我国日均词元调用量已突破 500 万亿
19 分钟前
国内日均词元调用量已突破 500 万亿,算力市场需求暴涨,智能算力短期供给不足,需向存量要效益。郑纬民院士团队研发的大模型推理系统 Mooncake 凭借 PD 分离技术拿下埃里克・里德尔最佳论文奖,该技术中 P 负责读入用户问题,D 负责生成回答。传统模式下同一批算力轮流处理两项任务,PD 分离则让一组算力专门读题,将结果传给另一组专门答题。在同等硬件规模下,该系统可多承接 75% 的用户请求,长文本吞吐能力提升五倍以上,有效盘活存量算力,通过软件调度充分利用现有算力。
我国日均词元调用量已突破 500 万亿
华尔街见闻/格隆汇/第一财经
体验专业版特色功能,拓展更丰富、更全面的相关内容。