google-deepmind/physics-IQ-benchmark

Physics‑IQ と Physics‑IQ Verified – 生成動画モデル用のベンチマーク

何であるか – 4K @ 30 fps の高品質な実世界動画データセットで、衝突、流体、重力、磁気、光など多様な物理現象を3つのカメラアングルから撮影し、各シナリオごとに2回の記録を含んでいます。このリポジトリは、ベンチマークの2バージョンの評価ワークフローを提供しています：

• Physics‑IQ – 初期リリース版。
• Physics‑IQ Verified – 改善されたバージョンで、より良いプロンプト、マスク、スコアリング（推奨）。

なぜ重要か – 生成動画モデル（テキストから動画、動画から動画など）はますます強力になっていますが、生成された動画が物理法則に従っているかどうかをテストする標準的な方法がありません。このベンチマークは現実的なテストセットと再現可能なスコアリングパイプラインを提供し、モデル間の公平な比較を可能にします。

使い方

1. データのダウンロード – Hugging Face ハブ（Anates‑Labs‑Research/Physics‑IQ‑Verified）からデータをダウンロードします。データセットには以下の内容が含まれます：
   • full‑videos/ – 元の5秒間のクリップ。
   • split‑videos/testing/ – V2Vモデル用に条件付き部分とターゲット部分に分割された同じクリップ。
   • switch‑frames/ – I2Vモデル用のシードとして使用される単一フレーム画像。
   • video‑masks/real/ – スコアリングメトリクスに必要な真値マスク。
2. 環境のセットアップ – 現代的な uv ツール（uv sync）または pip（pip install .）を使用します。Linux + ffprobe が必要です。
3. プロンプトテンプレートの選択 – ベンチマークは2種類のプロンプトスタイルをサポートしています：
   • bpp（best‑practice‑prompt） – descriptions/best_practice/ 内のテンプレータで生成されたモデル固有のプロンプト。
   • op（original prompt） – 元のデータセットからの生プロンプト。 カスタムモデル用に新しいCSVを生成するには uv run physiq/generate_descriptions.py <model_name> を実行します。
4. 動画の生成 –
   • I2Vモデル：switch‑frames/ の単一フレームと選択した説明CSVを入力。
   • V2Vモデル：split‑videos/conditioning‑videos/ の条件付き動画（およびオプションで説明CSV）を入力。 各出力動画はベンチマークIDプレフィックス（0001_… .mp4）で保存してください。
5. 実行の整理 – 各モデル実行ごとに <model>-<prompt_setting>-run_<01‑04> という名前のフォルダを作成します。統計的に信頼性のあるリーダーボードスコアを得るには4回の独立した実行を推奨します。
6. 5秒にトリム – 評価前に、すべての生成されたクリップが正確に5秒であることを確認してください。
7. スコアラーの実行 – physiq/run_physics_iq.py（または同等のエントリポイント）を実行します。このスクリプトは、生成動画と真値マスクを比較し、パーセンテージスコア（100 % = 完全な物理的リアリズム）を返します。
8. リーダーボードへの提出 – 結果を表示したい場合は、プルリクエストでマークダウンテーブルに行を追加してください。

リーダーボード – READMEには現在のスコアが記載されています（例：Magi‑1 24B + GeoPhys ≈ 58 % on the Verified benchmark, Cosmos3‑Super ≈ 39 %）。スコアは4回の実行における平均 ± 標準偏差で報告されます。

引用とライセンス – プロジェクトは許容的なライセンス（License セクションを参照）でリリースされており、結果を発表する際には付随する arXiv 論文を引用するよう求めています。

---

結論 – Physics‑IQ Verified は研究者が即座に使える実世界動画セットと再現可能な評価スクリプトを提供し、生成動画モデルが物理法則をどれだけ理解し、尊重しているかを測定するためのものです。これはAI生成動画分野における本物で、コミュニティ志向のベンチマークです。