人工分析テキストから画像へのリーダーボードとアリーナの開始

Hugging Faceは、人工分析テキストから画像へのリーダーボードとアリーナを導入しました。これは、主要なオープンソースおよび商用画像生成モデルの品質を比較するために設計された、人間の好みに基づくランキングシステムです。この取り組みは、クラウドソーシングされた人間の判断を用いてモデル性能を評価するスケーラブルな方法を提供し、従来の客観的指標が埋めきれなかったギャップを埋めます。

人間の好み手法とELOスコアリング

Artificial Analysis Text to Image Leaderboardは、スケールで人間の好みデータを収集するためにクラウドソーシング手法を活用しています。画像品質の好みは本質的に変動するため、プロジェクトはImage Arenaを使用し、参加者にプロンプトと2つの生成画像を提示し、プロンプトを最もよく反映したものを選択します。

  • ELO Calculation: モデルのランキングは、すべての人間の好みの回帰から導出されたELOスコアによって決定され、Chatbot Arenaで使用されている方法に類似しています。
  • Data Volume: ELOスコアは、45,000件以上の人間の画像好みから情報を得ています。
  • Evaluation Breadth: 幅広いユースケースを確保するため、自然、動物、アート、人間のポートレート、グループ写真など多様なカテゴリで、各モデルにつき700枚以上の画像が生成されています。

現在の市場洞察とモデルパフォーマンス

リーダーボードの初期結果は、商用とオープンソースの画像生成モデル間のギャップが縮小していることを示しています。

商用 vs. オープンソース

商用モデル、具体的にはMidjourney、Stable Diffusion 3、DALL·E 3 HDが現在リーダーボードの上位にあります。しかし、オープンソースモデルも競争力を高めており、Playground AI v2.5がオープンソース部門で現在トップに立ち、いくつかのランキングではOpenAIのDALL·E 3を上回っています。

分野の急速な進化

画像生成の進歩速度は、以前のリーダーの衰退からも明らかです。1年前に明確なリーダーだったDALL·E 2は、現在アリーナで選ばれる頻度が25％未満となり、最下位モデルのひとつに位置しています。

Stable Diffusion 3 Medium の影響

Stable Diffusion 3は現在リーダーボードのトップ候補です。Stable Diffusion 3 Mediumが6月12日にオープンソース化されるという発表は、オープンソースコミュニティに大きな恩恵をもたらすと予想され、Stable Diffusion 1.5やSDXLの軌跡と同様に、コミュニティ主導のファインチューニング版が急増する可能性があります。

コミュニティ参加とツール

このプロジェクトはHugging Face上のSpaceとしてホストされており、ユーザーがデータとやり取りできる主な方法が2つ提供されています。

  • The Leaderboard: 主要な画像モデルの公開ランキング。
  • The Image Arena: ユーザーが好みを提供する参加型インターフェース。30票投じると、ユーザーは「Personal Leaderboard」にアクセスでき、特定の好みに基づく個別のモデルランキングを確認できます。

Sources