淘宝 TaoMate-H3 开源：三步生成「分钟级」音视频连续创作

TaoMate-H3 是阿里巴巴 TaoLive AIGC 团队基于 MiniMax H3 研发的音视频联合流式生成模型，将三步 LoRA 推理与自回归生成结合，以小片段为单位推进生成，无需等待整段视频完成，支持根据文本描述生成含对白、歌声或环境音的视频，可实现分钟级续写，提供多档横竖屏分辨率输出，大幅缩短首段内容产出时间，为直播、虚拟角色表演等场景提供技术基础。目前其推理代码与 LoRA 权重已在 GitHub 和 Hugging Face 开放，开发者可下载体验开展相关开发与研究。该模型具备三步流式生成、音视频联合生成、分钟级连续续写三大核心能力，可应用于电商讲解、角色演唱表演、动漫对白创作、环境特效生成等多种场景，其推理流程分为分段组织内容、准备音频引导、联合流式生成、解码输出四个环节，依托三步 LoRA、Self Forcing 自回归训练、音视频 KV 缓存、连续时间编码、音频轨迹引导等关键技术实现高效稳定生成，经测试在指定硬件下相比原版 MiniMax H3 生成效率大幅提升，首段内容就绪时间显著缩短。项目遵循相关开源协议，团队后续还将持续优化速度，陆续开源更多流式音视频生成模型。