2023 年 6 月 27 日
ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本 ... ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确 ...微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。
话题追踪
2023-09-15
微软招聘首席应用科学家:为 Edge 浏览器开发 SOTA 人工智能技术2023-06-27
微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本2021-10-12
微软和 NVIDIA 共同推出迄今为止训练的最大的语言模型2018-08-28
微软暂停 Xbox VR 头盔开发:等待相关技术成熟2018-02-04
微软:Windows 10 多个版本将额外提供 6 个月技术支持2017-06-13
微软的 Xbox One X 不支持虚拟现实技术 // 主管辟谣:将支持虚拟现实