上智院开源 1.9B 记忆模块 REMORY 可驱动小模型多日递归改进
21 分钟前
上海科学智能研究院研究员夏翰宸为第一作者、复旦大学教授朱思语为通讯作者的团队推出开源 RSI 模型 REMORY,仅用 1.9B 可训练参数、两张 H800 实现完全自监督训练,通过拟合上下文压缩产生的记忆残差,生成软记忆残差 token 附加到概要后供主模型使用,训练全程冻结基模权重,分两阶段仅更新记忆模块参数。该技术在多项评测中大幅减少工具报错与重复输出,降低生成开销,提升不同架构主模型的任务表现,还可驱动自动化科研智能体在跨数日的长周期科研任务中跨上下文边界延续记忆,支撑递归自改进,产出接近 GPT-6.1-Terra 的效果。
体验专业版特色功能,拓展更丰富、更全面的相关内容。