决策模型也有专用推理引擎了：StartLux 开源 Prism，单卡最高提速 5.3 倍

两家中国 AI 公司近期相继开源针对自家模型优化的推理系统，将优化重点从模型本身延伸至推理系统。其中 StartLux 开源的专用推理引擎 StartLux-Prism 围绕决策模型无需逐 Token 生成长文本、仅需计算有限候选选项概率的核心特性，推出四项核心优化：仅计算候选答案对应的输出分数以减少输出层开销，将共享同一份输入材料的多问题任务组织为类似「森林」的结构复用公共上下文计算结果，基于 INT8 Tensor Core 搭配 INT32 累加实现确定性计算保障不同并发等条件下输出概率逐位一致，让需生成思考过程的长任务与直接输出结果的短任务共享 GPU 资源避免长任务阻塞短请求。测试显示在单张 NVIDIA H200 GPU 上运行 StartLux-Decision v1.1 27B 模型时，Prism 相对原有 vLLM 方案推理速度达 1.2 至 5.3 倍，特定场景加速效果显著，高并发下吞吐量提升约 17%，同时量化后的模型准确率与原始精度基本持平，还支持张量并行与数据并行组合部署。这类针对特定模型和场景的专用推理优化，正成为 AI 领域新的竞争方向。