MemT 1.0 发布:迈向递归自我改进,让记忆成为模型内生能力
上周二
MemT 1.0 作为业内首个记忆原生基座模型发布,包含两个不同参数规格的版本,是当前业内最大的开源参数化记忆模型。它打破过往外挂式记忆的思路,将历史信息编码为可持续更新的内部记忆状态,在 Transformer 层中并联原有注意力与参数化记忆,通过动态局部记忆与超记忆配合,搭配多类门控机制与混合存储机制,实现记忆的原生读写与跨会话延续,无需反复将历史文本注入上下文,也无需为每次交互微调基座。该模型通过三轨数据流水线结合蒸馏对齐完成训练,在智能体任务、多语言任务、各类记忆基准测试中表现优于现有参数化记忆基线,长历史场景下的推理速度、存储占用效率相比完整上下文方案优势显著,可实现单会话持久状态大小与历史长度增长解耦,做到模型越用越高效、越用越便宜。它补齐了大模型记忆架构的长期缺口,让经验积累直接参与后续推理,为 AI 递归自我改进提供了必要的架构基础,也能让部署方沉淀独有的模型资产,为大模型开辟了新的增长路径。
RSI 三块关键拼图,MemT 1.0 从模型层补上「记忆」
36Kr / 量子位
MemT 1.0 发布:迈向递归自我改进,让记忆成为模型内生能力
腾讯网/36Kr/maomu.com/机器之心
体验专业版特色功能,拓展更丰富、更全面的相关内容。