StreamEval/StreamEval

解決する課題

StreamEvalは、インタラクティブな動画生成モデルがリアルタイムでどの程度機能するかを測定するという課題に対処します。静的な動画生成とは異なり、ストリーミングモデルは継続的なユーザー入力に応答し、時間の経過とともにコンテキストを維持し、最大300秒続くセッション中に動的なリクエストを処理する必要があります。

仕組み

このプロジェクトは、インタラクティブなセッションをシミュレートする標準化されたテストフレームワークを提供します。デジタルヒューマンの対話、ワールド生成、動画編集といった5つの特定のタスクにおいて、10種類の指標を用いてモデルを評価します。システムは、モデルがライブの指示にどの程度従い、視覚的な安定性を維持し、インタラクション全体を通じてアイデンティティや連続性を保持しているかを追跡します。

対象ユーザー

このベンチマークは、リアルタイムのインタラクティブ性を必要とする生成動画モデルを構築またはテストする研究者や開発者向けに設計されています。一貫したプロトコルと評価ルールに基づいてモデルのパフォーマンスをスコアリングするための、厳密で再現性のある方法を必要とする方に適しています。

ハイライト

• インタラクティブなストリーミング動画生成に特化した初のベンチマーク。
• すべての評価コード、プロトコル、スコアリングルールを含む完全オープンソース。
• アバターの対話から複雑な動画編集まで、5つの異なるタスクをカバー。
• 品質、安定性、指示への追従性を評価するための10の特定の指標を含む。
• 最新のモデルの進歩を追跡するための月次リーダーボード更新。