Meta 开源「记忆层」，重塑 Transformer 架构大模型

Meta 推出「记忆层」研究，提出高效查询机制 Product-Key Lookup，通过分解键集合提高大模型参数查询效率，减少算力和时间消耗。此外，并行记忆层和共享记忆参数优化了硬件使用和参数效率，动态调整策略增强了系统灵活性。