全球公开做预训练 RSI 的仅两家:一家在 40 亿美元公司,一家在 801 教室
3 小时前
当前全球公开将递归自我改进 RSI 应用于从零开始的前沿预训练的主体仅有两家,一家是估值 40 亿美元的美国明星创业公司 Recursive,另一家是上海 801 教室相关团队。该团队联合发布了首份完整公开的预训练级 RSI 技术报告、801-30B base 模型及高质量轻量 SFT 数据,仅用时三个月就训练出跻身同尺寸开源基座第一梯队的模型。团队将传统无法直接闭合的 RSI 大循环拆分为三类可快速闭合的小循环,搭配共享生产记忆沉淀经验,解决了多个跨团队疑难问题,大幅提升了训练效率与模型效果。相关评测显示该模型在多维度对比中表现突出,甚至仅经轻量 SFT 就可与多家厂商完整后训练的模型正面交手。将 RSI 落地到预训练层面,能让 AI 参与到制造 AI 的核心工序中,推动基座模型生产方式变革,实现预训练经验的复利增长,对算力受限的主体提升单位算力智能产出尤为关键。
体验专业版特色功能,拓展更丰富、更全面的相关内容。