google-deepmind/physics-IQ-benchmark

解決する課題

Physics-IQは、生成ビデオモデルが実際に物理法則を理解しているのか、それとも単に見た目はもっともらしいが物理的に不正確なシーケンスを生成しているだけなのかを評価することの難しさに対処します。現実的な物理現象をシミュレートするモデルの能力を測定するための、標準化された高品質なベンチマークを提供します。

仕組み

このプロジェクトは、さまざまな物理イベントを捉えた実世界のビデオ（レンダリングではない）の包括的なデータセットを提供します。オリジナルのPhysics-IQと、プロンプトとメトリクスが改善された「Verified」バージョンの2つのバージョンを提供します。このベンチマークは、生成された出力をこれらの実世界のキャプチャと多様なシナリオ（重力、流体力学、衝突、磁気を含む）で比較することでモデルをテストします。各シナリオは、自然な物理的変動を考慮するために、複数の視点から撮影され、複数回記録されています。

対象者

生成ビデオモデルを構築する研究者や開発者で、モデルの物理的精度を厳密に定量化し、他の最先端モデルのリーダーボードに対して進捗を追跡する必要がある方。

ハイライト

• 実世界データ: 合成レンダリングではなく、高品質なカメラキャプチャを使用。
• 広範な物理的範囲: 衝突、流体力学、重力、材料特性、光、影、磁気をカバー。
• 高忠実度: ビデオは4K解像度（3840×2160）で30フレーム毎秒で記録されています。
• 多視点: 各シナリオは、堅牢性を確保するために3つの異なる角度から撮影されています。