昆仑万维开源 2 千亿稀疏大模型天工 MoE

昆仑万维开源了名为 Skywork-MoE 的千亿稀疏大模型，该模型基于 Skywork-13B 模型扩展而来，并首次将 MoE Upcycling 技术应用于实际场景。Skywork-MoE 是首个可使用单台 4090 服务器进行推理的开源千亿 MoE 大模型，具有出色的性能和较低的推理成本。