阿里达摩院发布语言模型 PLUG

阿里达摩院发布了超大规模语言模型 PLUG，该模型参数规模达 270 亿，是中文纯文本预训练语言模型。PLUG 采用 1TB 以上高质量中文文本训练数据，涵盖新闻、小说、诗歌、问答等类型及领域。接下来，PLUG 将扩大参数规模至 2000 亿级，并进一步提升文本生成质量。