高通推出 Cloud AI 100 Ultra 云推理卡，单卡可运行 100B 参数大模型

高通发布了 Cloud AI 100 Ultra，属于云 AI 推理加速卡，专为生成式 AI 和大型语言模型而设计 … 这款产品可提供相当于上一代产品四倍的性能，可以在单张 150W 的卡上部署 100B 参数模型，在两张卡上部署 175B 参数，甚至还可以通过高通 AI 堆栈和云 AI SDK 的多 个 Cloud AI 100 Ultra 支持更大的模型 … 它利用高通 AI 堆栈，可以使客户能够「在任何地方训练并在高通 Cloud AI 100 Ultra 上进行推理」，从而支持模型的移植和优化。