Vchitect/VBench

VBench – ビデオ生成モデルのためのベンチマークスイート

何ですか？ VBench（およびその拡張版 VBench++ と VBench-2.0）は、現代のビデオ生成AIのためのオープンソース評価フレームワークです。研究者や開発者が、定義された広範な品質ディメンションに基づいて、生成されたビデオを自動的にスコア付けできる統一されたコードベースを提供します。

なぜ重要なのか ビデオからテキストへのモデルの能力は飛躍的に向上していますが、出力の品質を測定する方法について、単一の合意された方法はありません。VBenchは、「ビデオ生成品質」を評価ディメンション（例：被写体の一貫性、時間的なフリッカー、動きの滑らかさ、美的品質、信頼性、本質的な忠実度など）の階層構造に分解し、以下を提供することでこの問題に対処します：

• プロンプトスイート – 各ディメンションおよびコンテンツカテゴリごとに精選選定されたテキストプロンプト。
• 評価方法スイート – 各ディメンションのスコアを計算する自動メトリクスとパイプライン。
• 人間との一致性アノテーション – 自動スコアが、人間が「良い」と知覚する内容と一致していることを示す検証層。
• リーダーボード & アリーナ – 研究者が結果をアップロードし、ビデオのサンプルを閲覧し、モデルを比較するための公開 Hugging Face spaces。

主要な構成要素

コンポーネント	範囲	リポジトリ内の場所
VBench (オリジナル)	16個のtext-to-videoディメンション（被写体の一貫性、背景の一貫性、時間的なフリッカー、動きの滑らかさ、動的程度、美的品質、画質、物体クラス, 多物体, 人間のアクション, 色, 空間関係, シーン, 時間的スタイル, 外観スタイル, 全体的な一貫性）	. (root)
VBench++	VBenchを拡張： • VBench-I2V – 画像からビデオへの評価 • VBench-Long	VBench-Trustworthiness – 公平性、バイアス、安全性チェック
VBench-2.0	本質的な忠実度ディメンションを追加（常識的推理、物理的リアリズム、人間の動作、創造的構成など）– 5つの広範なカテゴリ、18個の細かな能力
VBench-2.0	VBench-2.0

どのように開始するか

1. インストール (Python 3.9+ 推奨) – パッケージは PyPI にあります：

   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118   # pick the CUDA version you need
   pip install vbench
   

2. ベンチマークを選択 – 適切なクラス（例：VBench, VBenchI2V, VBenchLong, VBenchTrustworthiness, または VBench-2.0スイート）をインポートし、生成されたビデオのフォルダを対象にします。
3. 評価の実行 – 単一の call を行えば、選択されたディメンションのすべてのメトリクスを計算し、スコアの辞書を返します。ライブラリは、レーダーチャートの可視化や公開リーダーボードとの比較のためのユーティリティも提供します。
4. 結果の提出：README にリンクされた Hugging Face “VBench Arena” spaces にスコア（または生成ビデオ）をアップロードし、すでにリストされている ~40以上のモデルとの比較を比較してください。

リソース & コミュニティ

• 論文：CVPR 2024 (VBench) および TPAMI 2025 (VBench++) – どちらも README にリンクされています。
• リーダーボード & ビデオアリーナ：VBench, VBench-I2V, VBench-2.0 などの Hugging Face spaces。
• データセット：ベンチマークで使用されるすべてのサンプリングビデオが含まれる Google-Drive フォルダ（ダウンロードリンクは README に記載）。
• 引用：各バージョンごとに BibTex エントリが提供されています。ベンチマークを使用する際は、適切な論文を引用してください。

誰が使うべきか？

• 新しい text-to-video, image-to-video, または長尺ビデオ生成モデルを開発している研究者。
• 客観的な品質報告書が必要な、商用ビデオ生成サービスを構築しているエンジニア。
• ビデオ生成の公平性、バイアス、安全性に関する進展を追跡することが興味のあるすべての人。

---

上記の情報はリポジトリの README から直接引用されています。外部の仮定は追加されていません。