CinePile 2.0 リリース：対抗的リファインメントでビデオ QA データセットの品質向上

TL;DR

CinePile 2.0 は、長時間ビデオの質問応答データセットの大幅なアップグレードで、adversarial refinement パイプラインを使用して弱いまたは退化した QA ペアを高品質で視覚依存の質問に変換します。また、リリースには完全なパイプラインコードと、商用およびオープンソースのビデオ‑LLM の両方で大幅な性能向上を示す更新されたベンチマークが含まれています。

CinePile とは？

CinePile は、視覚障害者向けの音声解説付き YouTube 映画クリップから構築された長時間ビデオ QA データセットです。2024年5月の最初のリリースには約 30 万件のトレーニングサンプルと 5 千件のテストサンプルが含まれていました。その特徴は次のとおりです：

  • Question diversity – 時間的推論、プロット分析、キャラクターのダイナミクス、設定の詳細、テーマの探求を網羅しています。
  • Question difficulty – ベンチマークにおいて、人間のアノテータは最高の商用ビジョンモデルを 25 % 上回り、オープンソースモデルを 65 % 上回りました。

データ作成パイプライン（CinePile 1.0）

  1. Template mining – MovieQA と TVQA の質問を UAE‑Large‑V1 類似度モデルでクラスタリングしました。各クラスタから 10 件のランダム例を GPT‑4 に入力し、テンプレートと典型的な質問を生成しました。
  2. Template selection – Gemini 1.0 Pro が各クリップに最も適したテンプレートを選択しました。
  3. Scene‑specific generation – 言語モデルはシーンの文字起こし、選択されたテンプレート名、例質問、システムプロンプトを受け取りました。プロンプトはモデルにタイムスタンプの使用と根拠の提供を強制し、回答の妥当性とディストラクタの品質が向上しました。
  4. Scale – 1 本のビデオにつき約 32 件の質問が生成されました。
  5. Quality filters – 3 つの LLM（Gemini、GPT‑3.5、Phi‑1.5）が degenerate 質問（質問だけで答えが明らかなもの）にフラグを付けました。Gemini は質問が視覚情報を必要とするかもスコア付けしました。難易度はフルコンテキストでモデルをテストして測定されました。

最初のリリースの制限事項

  • Degeneracy フィルタリングにより、まだ有用なビデオ情報を含む多くの質問が除外されました。
  • フィルタはテスト分割のみを対象としており、完全なトレーニングセットで複数のプロプライエタリモデルを実行するコストが高すぎました。
  • 一部の質問は視覚や対話のコンテキストなしで回答可能であり、ベンチマークの視覚的推論への焦点が薄れました。

対抗的リファインメント：弱い QA を強い QA に変換

新しい adversarial refinement パイプラインは、単純に除外するのではなく、反復的な改善を行います：

  1. Deaf‑Blind LLM – 質問と選択肢のみを見て（文字起こしや視覚データは見ない）動作するモデルです。CinePile 2.0 では LLaMA 3.1 70B がこの役割を担います。
  2. Rationale extraction – Deaf‑Blind LLM は回答とテキスト形式の根拠を返し、暗黙の手がかりを露出させます。
  3. Question modification – GPT‑4 が質問や選択肢を書き換えて、特定された手がかりを除去します。
  4. Iterative loop – 手順 1‑3 を最大 5 回繰り返し、Deaf‑Blind LLM の正答率がランダム（≈20 %）まで低下するまで続けます。
  5. Robustness checks – 5 通りの回答順序すべてをテストし、モデルが 3 回以上正解すれば質問は degenerate とマークされます。

データセットへの影響

指標 テストセット トレーニングセット
退化ペアの修正率 90.24 % 90.94 %
修正不可能なペア（手動レビュー） ~80 of 800 保持（負の影響なし）

実装の詳細

  • Code release – 完全な adversarial refinement パイプライン（プロンプト含む）はオープンソースで、https://github.com/JARVVVIS/Adversarial-Refinement にあります。
  • Local execution – LLaMA 3.1 70B はローカルで実行でき、API のレート制限やクラウドコストを回避します。
  • Prompt design – プロンプトは GPT‑4 に対し、質問の根本的な意味を変えずに暗黙の手がかりを除去するよう指示します。

CinePile 2.0 の評価

改訂されたテストセットは、以前ベンチマークされたモデルと 16 の新しいビデオ‑LLM で評価されました。主な結果は次のとおりです：

  • Gemini 1.5 Pro は商用 VLM の中でトップで、特に Setting and Technical Analysis（環境やキャラクター相互作用に関する質問）で優れています。
  • GPT‑based models は Narrative and Plot Analysis で卓越しています。
  • Gemini 1.5 Flash は全体で 58.75 % の正答率を達成し、設定関連カテゴリで高いパフォーマンスを示しました。

オープンソースモデルの進捗

モデル 正答率 注目すべき点
LLaVa‑One Vision 49.34 % Video‑LLaVA の CinePile 1.0 における 22.51 % から大幅に向上
LLaVa‑OV (7B) – より大きな 26 B モデルと競合
MiniCPM‑V 2.6 (8B) – InternVL2（26 B）を上回った

最高のオープンソースモデルでさえ、hard split では正答率が 15‑20 % 低下し、CinePile 2.0 が視覚的ナラティブ理解のための挑戦的なベンチマークであることが確認されます。

ハードスプリット分析

hard split は、より深い視覚的推論を必要とする質問を抽出します。評価されたすべてのモデルで正答率の顕著な低下が見られ、複雑なビデオ理解タスクにおける現在の AI システムと人間のパフォーマンス間に大きなギャップがあることが浮き彫りになります。

リーダーボードとコミュニティの関与

ライブ CinePile 2.0 リーダーボード（https://huggingface.co/spaces/tomg-group-umd/CinePileLeaderboard）は新しいモデルの提出を受け付け、継続的に更新され、進捗を追跡するための透明なプラットフォームを提供します。

CinePile 2.0 が重要な理由

  • Dataset quality at scale – adversarial refinement は、手動でのキュレーションなしに既存データセットをアップグレードする実用的な手法を示します。
  • Benchmark relevance – 改良されたテストセットはモデルに視覚情報への依存を強制し、性能向上をより意味のあるものにします。
  • Open‑source accessibility – パイプラインとコードを公開することで、他の研究者が同様の手法を自分のマルチモーダルデータセットに適用できるようになります。
  • Community signal – リーダーボードと改善されたオープンソース結果は急速な進展を示す一方、hard‑split のギャップは今後の研究に十分な余地があることを示しています。

この投稿の著者は Hugging Face の Ruchit Rawal、Miquel Farré、Gowthami Somepalli、Leandro von Werra です。

Sources