linzhiqiu/t2v_metrics

Evaluating text-to-image/video/3D models with VQAScore

What it solves

VQAScore は、テキストからビジュアル（画像、動画、3D）を生成するモデルの品質と整合性を自動的に評価することを目的としています。従来の CLIPScore などの指標に代わり、画像‑テキスト生成を利用して、ビジュアル出力が与えられたテキストプロンプトとどれだけ合致しているかをスコア化する、より堅牢なアプローチを提供します。

How it works

このフレームワークは、大規模マルチモーダルモデル（LMM）を活用し、ビジュアル入力とプロンプトに関する質問が与えられたときに特定の回答（例："Yes"）の確率を算出します。GPT-4o、Gemini 2.5、Gemma 3、そして Qwen ファミリー（VL、3.5、Omni）など、最先端モデルを幅広くサポートします。

オープンソースの Qwen モデルに対しては、forward_with_trace を提供し、トークンレベルの透明性を実現。スコア付け時にモデルが考慮した正確な確率や代替案をユーザーが確認できます。

Who it’s for

複雑なプロンプトへの忠実度を標準化・自動化された方法で測定したい、生成系ビジュアルモデルを開発する AI 研究者や開発者向けです。特に、構成的なテキスト‑ビジュアル生成に適しています。

Highlights

  • Multimodal Support: 画像、動画、音声‑映像の整合性を評価（Qwen3‑Omni 経由）。
  • Broad Model Integration: プロプライエタリ API（GPT-4o、Vertex AI 経由の Gemini）とオープンウェイトモデル（Qwen、Gemma、PaliGemma）の両方に対応。
  • Flexible Templating: 質問・回答テンプレートをカスタマイズでき、スコアリング方法を変更可能。
  • Benchmarking Tools: 組成生成の評価に GenAI‑Bench との統合を含む。