StreamEval/StreamEval

🔥 The first-ever interactive streaming video generation benchmark.

它解决了什么问题

StreamEval 解决了衡量交互式视频生成模型在实时场景下表现的挑战。与静态视频生成不同，流式模型必须响应持续的用户输入，在长达 300 秒的会话中保持上下文，并处理动态请求。

工作原理

该项目提供了一个模拟交互式会话的标准化测试框架。它通过十个不同的指标，在五个特定任务（如数字人对话、世界生成和视频编辑）中评估模型。系统会跟踪模型在实时指令遵循、视觉稳定性以及在整个交互过程中保持身份或连续性方面的表现。

适用对象

该基准测试专为构建或测试需要实时交互性的生成式视频模型的研究人员和开发人员而设计。它适用于那些需要一种严谨、可重复的方法，根据一套一致的协议和评估规则来对模型性能进行评分的用户。

亮点

  • 首个专注于交互式流式视频生成的基准测试。
  • 完全开源，包括所有评估代码、协议和评分规则。
  • 涵盖从虚拟人交互到复杂视频编辑的五个不同任务。
  • 包含十个特定指标，用于评估质量、稳定性和指令遵循能力。
  • 每月更新排行榜，以跟踪最新的模型进展。

相关

  • 项目
    TencentARC/GameHorizon

    GameHorizon 是一个用于评估 AAA 游戏环境中 AI 模型的综合套件，提供海量数据集、自动化标注流水线以及用于测试多视界推理的双轨基准测试。

  • 项目
    Han-1413141/dsh-cost-meter

    一个全面的成本跟踪插件，用于 DeepSeek Harness 网页界面，可监控多个 AI 提供商的令牌使用量、订阅配额和预算限制。

  • 项目
    DocAILab/XRAG

    XRAG 是一个用于检索增强生成（RAG）的开源基准测试框架。它允许用户使用经典 IR 指标和基于 LLM 的质量评分来评估各个 RAG 组件——检索器、嵌入模型、LLM、编排器。其特性包括模块化插件架构、支持 OpenAI、Ollama 和 Hugging Face 模型、CLI、用于交互式测试的 Web UI，以及 REST API 服务。通过 pip 安装，使用 TOML 文件配置，并运行基准测试或生成合成 QA 数据。非常适合构建或比较 RAG 系统的研究人员和工程师。

  • 项目
    Tencent-Hunyuan/CL-bench

    CL-bench 是一个基准测试套件，旨在评估语言模型在专业和现实场景中从提供的上下文中学习和应用新知识的有效性。