Claude 自研推理引擎将 P90 首 token 延迟压缩至 0.48 秒
22 小时前
名为 Singularity-Bench 的新基准测试将 AI 智能体自主搭建、强化 AI 研发基础设施的能力,作为衡量前沿模型自主能力的重要维度。该测试由相关研究人员设置六道 AI 研发相关题目,评估智能体自主构建 AI 研发能力的表现。其中 Claude Opus5.5 与 Claude Code 组合表现突出,在六项考题中取得五胜一平,是唯一总分超过人类基线的参赛组合。不过该测试任务范围仍由人类划定,距离真正的 AI 递归自我改进仍待探索验证。该组合展现出较强工程优化能力,其自研推理引擎在相同硬件下将 P90 首 token 延迟从 SGLang 的约 12 秒压缩至 0.48 秒,还通过调度优化等提升了整体处理效率与显卡产出表现。
Claude 自研推理引擎将首 token 延迟压缩到半秒
ITBear 科技资讯
Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒
maomu.com/aibase
体验专业版特色功能,拓展更丰富、更全面的相关内容。