MME-Benchmarks/Video-MME-v2

何を解決するか

Video-MME-v2 は、マルチモーダル大規模言語モデル（MLLM）の本質的な動画理解能力を評価するためのベンチマークです。既存のベンチマークでの高スコアと実際のユーザー体験とのギャップを埋めるために、モデルが「散発的な正解」や「幸運な推測」で高スコアを達成できないように、より堅牢で段階的な評価システムを導入しています。

仕組み

このベンチマークは、動画理解を3段階の段階的な難易度に分解しています：

1. レベル1（複数ポイント情報の統合）： 動画全体から画像、音声、字幕などのマルチモーダル手がかりを取得・統合する能力をテストします。
2. レベル2（時間的理解）： 状態の変化、行動の順序、因果関係を捉える能力を評価します。
3. レベル3（時間的複雑な推論）： 時間的情報と外部の世界知識、社会的常識を組み合わせる能力をテストします。

堅牢性を確保するために、グループ化された非線形スコアリング機構を使用しています。質問は4つの相互に関連する質問グループに分類されます。スコアは「関連性」（グループ内の回答の一貫性）または「論理性」（推論の整合性）に基づき、関連する質問を一貫して論理的に正しく回答できるモデルを報酬します。

対象ユーザー

このプロジェクトは、動画ベースのマルチモーダル LLM の研究者や開発者向けです。モデルの時間的推論能力とマルチモーダル融合能力を厳密に測定したい方々に最適です。

特徴

• 3段階の段階的進行： 単純な情報取得から複雑な時間的推論まで、体系的にテストします。
• グループ化された非線形スコアリング： ランダムな正解への感受性を低減し、モデルの安定性と堅牢性をより正確に反映します。
• 言語的文脈のサポート： 字幕を連結または交互に配置するオプションを提供し、テキストモダリティが推論に与える影響をテストします。
• 包括的なデータセット： 800本の動画と3,200の人工アノテーション付き質問-回答ペアを含み、専門家による3,300時間以上のアノテーション作業を経て作成されています。
• 柔軟な評価パイプライン： VLMEvalKit、lmms-eval、EvalScope との統合をサポートし、独自の Transformers ベーススクリプトでも利用可能です。