清华、英伟达等开了个新榜，38个AI实时视频模型露短板

编辑｜杨文 AI 实时交互视频，是今年最热的技术方向之一。 过去大半年，相关模型密集破圈。阿里推出 HappyOyster，昆仑万维发布 Matrix-Game 4.0、爱诗科技发布 PixVerse R2，生数科技 7 月推出 Vidu S1，9 月紧接着发布 Vidu S2…… 资本同样在跑步入场，多家公司完成新一轮融资，世界模型、数字人、实时编辑…… 各路人马从不同方向涌入。 但火热背后， 这个赛道正处于一种混乱状态 混乱首先来自定义。同样做实时交互视频，有人叫它「交互世界模型」，有人叫「实时交互多模态模型」，有人把它理解为独立于视频生成和世界模型之外的第三条路线。连赛道叫什么都没有共识，评测标准自然更谈不上。 现有评测工具还在沿用老框架，给模型一段提示词，生成一段视频，看画面清不清晰、动作合不合理、风格符不符合描述，VBench、EvalCrafter 等主流基准都是这个逻辑，但对实时交互视频系统来说，这套方法测的根本不是最难的那部分。 实时交互视频的核心挑战在于，用户的指令是连续的，模型需要在不中断生成的前提下及时响应新指令，同时保持人物身份、已有场景和此前所有有效修改不变。而这些，现有评测工具几乎没有触及。 最近，清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校机构联合发起了一个新的评测基准 —— StreamEval Leaderboard: https://streameval.ai Paper: https://arxiv.org/pdf/2610.28402 Github Code: https://github.com/StreamEval/StreamEval Benchmark Data on Huggingface: https://huggingface.co/datasets/StreamEval/StreamEval Benchmark Data on ModelScope: https://www.modelscope.ai/datasets/StreamEval/StreamEval 这是 行业内全球首个流式交互视频生成评测榜单 ，覆盖数字人对话、虚拟人表演、世界生成、指令编辑和参考编辑五类任务，共 300 个测试用例，涵盖 38 个模型。 与现有基准相比，StreamEval 不只测「生成质量」，更测「交互能力」，把指令执行、状态一致性、视觉质量和音画协调纳入同一套可量化的评测体系，让不同技术路线的模型在统一条件下完成测试。 目前代码、数据集和评分规则全部开源 ，开发者可以按照公开流程独立复测、核查评分过程。 榜单持续更新，任何开发者都可以接入自己的模型参与测试 StreamEval 具体测什么？怎么测？ 评测实时交互系统，必须让它在接近真实的条件下运行，指令分批到达，场景持续演化，模型在时间流动中持续响应。 StreamEval 正是基于这一逻辑设计的，覆盖数字人对话、虚拟人表演、世界生成、指令编辑和参考编辑五类任务，每类包含 60 个测试用例，分别覆盖 15 秒、30 秒、60 秒、120 秒和 300 秒五档时长，测评维度非常全面。 每个用例由同一模型独立运行三次 ，以减少偶然因素对结果的影响。 StreamEval 整体框架。该基准涵盖五类任务，涉及数字人交互、世界生成和实时视频编辑。 整套数据包含 1347 个在线事件，语音、文字指令、参考图和源视频帧会按照时间轴逐步释放，模型只能看到当前已经释放的输入，无法提前得知后续要求，也接触不到用于评分的预期答案。 基准数据集的构成。（a）任务与功能分布；（b）预设输入类型；（c）每个测试会话中的输入事件数量；（d）相邻预设输入事件之间的时间间隔。图中展示了 200 个测试用例，共包含 562 个在线输入事件，不包括初始化输入和连续输入的源视频帧。统计输入间隔时，排除了涉及触发事件的事件对。 五类任务各有重点： 数字人对话考察模型能否理解用户语音，给出符合上下文的回应，同时维持人物身份和对话状态； 虚拟人表演要求角色根据实时指令完成视线、表情、姿态和手势等动作； 世界生成关注连续控制下的场景变化、镜头移动和空间连续性； 指令编辑与参考编辑则要求模型在源视频持续播放时，根据文字或参考图完成修改，并保留未被指定的内容。 五类任务的覆盖范围与评测时长。Dlg. 表示数字人对话，Perf. 表示虚拟人表演，World 表示世界生成，Instr./Ref. 分别表示基于文本指令和参考图像的实时视频编辑。✓ 表示包含该任务，× 表示不包含该任务。 StreamEval 将表现拆成 四个维度、十项指标 任务执行关注对话表现、指令跟随和完整编辑；状态一致性考察画面稳定性、时间连续性及非目标内容保留；视觉保