TML 开源新模型,循环 Transformer 架构,笔记本就能跑
22 分钟前
Thinking Machines Lab 发布开源多模态模型 Inkling 2 Mini,总参数 26B,采用循环 Transformer 架构搭配 MoE 设计,仅需存储 24 层权重即可实现每个 token48 次层计算,激活参数约 3.4B,计入循环重复计算的有效激活量约 5.4B,支持文本图像输入,上下文窗口达 100 万 token,以 Apache 2.0 许可开放。模型采用低精度格式存储,检查点约 20GB,可在 32GB 内存以上的普通设备本地离线运行,编程、智能体相关任务表现突出,还同步开放了支持调整循环次数的研究版本,目前在多轮对话、复杂推理等方面仍存在短板。
TML 开源新模型,循环 Transformer 架构,笔记本就能跑
机器之心 / 腾讯网
体验专业版特色功能,拓展更丰富、更全面的相关内容。