微软和英伟达今天宣布了由 DeepSpeed 和 Megatron 驱动的 Megatron-Turing 自然语言生成模型(MT-NLG),这是迄今为止训练的最大和最强大的解码语言模型 … 例如,通过紧密合作,英伟达和微软将最先进的 GPU 加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率 … 微软与 NVIDIA 建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。
行业标签
更多体验
前往小程序
24 小时
资讯推送
进群体验