清华等机构联合推出全球首个流式交互视频评测榜单
14 小时前
AI 实时交互视频是当前热门技术方向,但赛道存在定义不统一、缺乏适配评测标准的混乱问题,现有沿用传统视频生成逻辑的评测工具无法覆盖其核心的连续指令实时响应、状态一致性保持等核心能力。海内外多所顶尖高校与机构联合发起全球首个流式交互视频生成评测基准 StreamEval,覆盖五类共 300 个测试用例,从四大维度十项指标建立可量化评测体系,目前相关代码、数据集和评分规则已全部开源,支持开发者独立复测、自主接入模型参与测试。已完成 38 个模型的评测,结果显示不同模型各有能力优势,连续指令执行是行业共同面临的核心难点。该基准作为面向全行业的公共评测框架,旨在为实时交互视频领域建立可复现、可持续演进的统一评价标准,后续将长期维护并每月更新榜单,开发者可按公开流程分三步参与评测。
清华、英伟达等开了个新榜,38 个 AI 实时视频模型露短板
maomu.com/36Kr/腾讯网/机器之心
体验专业版特色功能,拓展更丰富、更全面的相关内容。