通义千问再开源 推出最大尺寸 1100 亿参数模型

通义千问宣布开源千亿级参数模型 Qwen1.5-110B，该模型在多项基准测评中表现优异，支持多语言，并已累计开源 10 款大模型。其 1100 亿参数模型采用分组查询注意力方法，具备 32K 上下文长度，与 Meta 发布的 Llama-3-70B 模型性能相当。研发团队表示，性能提升主要来自参数规模的扩增。此外，Qwen1.5 系列还包含一款代码模型 CodeQwen1.5-7B 和一款混合专家模型 Qwen1.5-MoE-A2.7B。目前，通义千问开源模型下载量已超过 700 万，并在多个领域得到应用。