Karine-Huang/T2I-CompBench

[Neurips 2023 & TPAMI] T2I-CompBench (++) for Compositional Text-to-image Generation Evaluation

What it solves

T2I-CompBench (およびその強化版 T2I-CompBench++) は、テキストから画像を生成する (T2I) モデルが、構成要素をどれだけうまく扱えるかを評価するための包括的なベンチマークです。AI 生成画像が複雑なプロンプトを正確に反映しているかという課題に対し、特に属性の結合、空間的関係、および数値表現（数え上げ）に焦点を当てています。

How it works

このプロジェクトは、T2I モデルをテストするためのデータセットと評価指標のスイートを提供します。精度を測定するために、いくつかの専門的なツールを使用します：

  • BLIP-VQA: 属性の結合を評価するために使用されます（例：""green bench"" が実際に緑色であることの確認）。
  • UniDet: 2D/3D 空間的関係および数値表現（物体のカウント）に使用されます。
  • CLIPScore: 非空間的関係に使用されます。
  • MLLM Evaluation: GPT-4V, MiniMax M2.7, および ShareGPT4V-CoT のようなマルチモーダル大規模言語モデル (MLLMs) を使用して、画像とテキストの一致度をスコアリングします。
  • GORS Finetuning: 報酬ベースのフィードバックに基づき、拡散モデルを (LoRA を介して) 微調整して、構成要素の性能を向上させる手法を含んでいます。

Who it’s for

  • AI Researchers: 新しい T2I モデルを開発、または既存のモデルを改善する研究者。
  • Model Evaluators: モデルが物体をオブジェクトに正しく配置し、属性を正しいアイテムに結合できるかを測定するための標準化された方法を必要とする人々。

Highlights

  • Industry Adoption: その評価指標は、DALL-E 3, Stable Diffusion 3, および PixArt-α を含む主要なモデルに採用されています。
  • Comprehensive Scope: 属性の結合、2D/3D 空間的関係、、数値表現、および複雑な構成要素をカバーしています。
  • MLLM Integration: 自動化された高品質な評価を実現するために、最新のビジョン・ランゲージ・モデルを統合しています。