logo
科技新闻,每天 3 分钟
高通推出 Cloud AI 100 Ultra 云推理卡,单卡可运行 100B 参数大模型
2023 年 11 月 15 日

高通发布了 Cloud AI 100 Ultra,属于云 AI 推理加速卡,专为生成式 AI 和大型语言模型而设计 … 这款产品可提供相当于上一代产品四倍的性能,可以在单张 150W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数,甚至还可以通过高通 AI 堆栈和云 AI SDK 的多 个 Cloud AI 100 Ultra 支持更大的模型 … 它利用高通 AI 堆栈,可以使客户能够 「在任何地方训练并在高通 Cloud AI 100 Ultra 上进行推理」,从而支持模型的移植和优化。

行业标签
芯片
icon订阅
公司
高通icon-arrowNASDAQ:QCOM15 天前已发布季度报告
二维码

更多体验

前往小程序

二维码

24 小时

资讯推送

进群体验