TimeScope: 長動画大規模マルチモーダルモデル理解のための新しいベンチマーク
Hugging Face は TimeScope をリリースしました。これは、長時間の動画を処理する際のビジョン・ランゲージモデル（LMM）の実際の時間的理解度を測定するために設計されたオープンソースベンチマークです。1 分から 8 時間までのベース動画に短い「needle」クリップを挿入することで、モデルが本当にイベントのシーケンスを理解しているのか、あるいは表面的なビジュアル検索だけを行っているのかを評価します。
時間的ベンチマークの必要性
多くの現在のビジョン・ランゲージモデルは、数千フレームを処理できる大規模コンテキストウィンドウをサポートすると主張しています。しかし、Hugging Face は、これらの主張は過大評価されがちであると指摘しています。なぜなら、学習データはしばしばクリップあたり 256 フレームに制限されており、動画の長さが増すにつれて性能が大幅に低下するためです。
Video Needle in a Haystack（VideoNIAH）などの既存ベンチマークは、針として静止画像を使用することが多く、視覚検索を測定するだけで時間的ダイナミクスは評価できません。TimeScope はこのギャップを埋めるべく、5〜10 秒の短い動画クリップを針として使用し、モデルに静止フレームの識別だけでなく、時間情報や動きを処理させます。
TimeScope ベンチマーク設計
TimeScope は「needle‑in‑a‑haystack」アプローチを採用し、1 本以上の手作業でキュレーションされた短い動画針を長いベース動画（例：講義やドキュメンタリー）に挿入します。このベンチマークは以下の 3 つの具体的な能力を評価します。
1. ローカライズド検索
このタスクは、長い動画内の特定の短いセグメントを見つけ出し、そのセグメントに関する質問に答えるモデルの能力をテストします。このカテゴリで成功するには、針から関連フレームをサンプリングし、特定のオブジェクトやイベントを特定できることが通常必要です。
2. 情報統合
このタスクは、動画全体に散在する複数のテキストベースの針（例：画面上に表示される「シークレットワード」）を特定し、正しい時間順に報告することをモデルに要求します。これにより、モデルがタイムライン全体を走査し、相対的な位置関係を理解できるかが評価されます。
3. 細粒度時間認識
このタスクは、単一フレームのサンプリングでは解決できない動きやシーケンスに焦点を当てます。モデルは複数フレームにわたるダイナミクスを認識しなければなりません。たとえば、人物が斧を振る回数を数えるといったタスクで正しい答えを導く必要があります。これにより、長コンテキスト処理が時間的忠実性を保っているかが検証されます。
評価結果と主要な発見
Gemini 2.5‑Pro やさまざまなバージョンの Qwen 2.5‑VL、InternVL 2.5 など、主要なビジョン・ランゲージモデルの初期評価により、以下の重要な洞察が得られました。
- Temporal Horizon Limits: 多くのモデルは動画の長さが増すにつれて「パフォーマンスクリフ」を経験します。Gemini 2.5‑Pro は、1 時間以上の動画でも高い精度を維持できた唯一のモデルでした。
- Parameter Scaling vs. Temporal Ability: モデルサイズを大きくしても時間的ホライズンが自動的に拡大するわけではありません。たとえば、Qwen 2.5‑VL の 3B と 7B、InternVL 2.5 の 2B、4B、8B は、ほぼ同一の長動画性能曲線を示し、概ね同じコンテキスト長で頭打ちになっています。
- Task‑Specific Trade‑offs: モデルは 3 つの柱それぞれで異なる強みを示します。Qwen 2.5‑VL は情報統合（OCR タスク）で優れた結果を出す一方、細粒度時間認識（動きのカウント）では苦戦しました。
オープンソースでの提供
TimeScope はコミュニティによるベンチマークとモデル改善を促進するため、完全にオープンソース化されています。以下のリソースが利用可能です。
- Dataset: Hosted at
Apollo-LMMs/TimeScopeon Hugging Face. - Leaderboard: Available via the
Apollo-LMMs/TimeScopeHugging Face Space. - Evaluation Framework: Integrated into the
lmms-evalGitHub repository.