BigCodeArena: コード生成をエンドツーエンドでコード実行により評価

Hugging Faceは、リアルタイムコード実行を統合した、コード生成モデル向けの初のヒューマン・イン・ザ・ループ評価プラットフォームであるBigCodeArenaを導入しました。このプラットフォームは、従来のベンチマークの限界を克服し、ユーザーが生成されたコードを実行・テスト・インタラクションできるようにすることで、静的コード解析に頼ることなく実際に動作するかどうかを判断できます。

BigCodeArena評価プラットフォーム

BigCodeArenaは、Chatbot Arenaフレームワークを拡張し、生成されたコードが自動的に実行される分離されたサンドボックス環境を提供します。これにより、ユーザーはソースコードを読むだけでなく、実際のプログラムの挙動を観察できるようになります。

リアルタイム実行とインタラクション

ユーザーはコーディングタスクを提出し、2つのモデルを並べて比較できます。プラットフォームはインタラクティブなテストをサポートし、ウェブアプリのボタンをクリックしたり、生成されたゲームをプレイしたり、コードを編集して変更をテストしたりできます。また、マルチターンの会話をサポートし、要件を洗練させたり、バグ修正を複数回のやり取りで要求したりできます。

言語とフレームワークのサポート

プラットフォームは現在、10のプログラミング言語と8つの実行環境をサポートしています:

  • 言語: Python, JavaScript, TypeScript, HTML, C, C++, Java, Go, Rust, and Markdown.
  • Web フレームワーク: React, Vue, and Core Web (vanilla HTML/CSS/JS).
  • Python フレームワーク: Streamlit, Gradio, and PyGame.
  • その他: Mermaid for diagrams and general-purpose interpreters/runners for compiled languages.

コミュニティ評価インサイト

2025年2月以降、BigCodeArenaは500人以上のユーザーから14,000件以上の会話を収集し、4,700件以上の高品質な嗜好投票を得ました。

実際のプログラミングトレンド

ユーザー活動から、最も一般的にテストされているコーディングシナリオは次のとおりです:

  • Web デザイン (36%): レスポンシブなウェブサイトとインタラクティブなダッシュボード。
  • 問題解決 (23%): アルゴリズムとデータ構造。
  • ゲーム開発 (16%): 物理とグラフィックを備えたインタラクティブゲーム。
  • 科学計算 (14%): データ分析と数値シミュレーション。
  • クリエイティブコーディング (8%) と 図表作成 (3%)。

Pythonが最も支配的な言語で（4,000件以上の会話）、次いでJavaScript/TypeScript（3,359件）とHTML（1,601件）です。

モデル性能とEloランキング

Bradley-Terryモデルを使用してペアワイズ比較をElo評価に集約し、コミュニティは明確な性能層を特定しました：

  • トップ層: o3-mini と o1-mini が常に最高のElo評価と全環境・全言語での高いロバスト性でリードしています。Claude-3.5-Sonnet がそれに続きます。
  • 中間層: GPT-4o、o1、Gemini-2.0-Pro/Flash が競争力のある中間グループを形成しています。
  • オープンソースモデル: Qwen2.5 系列と Llama-3.3-70B は現在、最先端の商用モデルに遅れを取っています。

具体的な強みも指摘されました：Gemini-2.0-Pro はRustで特に強く、o3-mini はReact、Streamlit、PyGameなど多様なフレームワークで最も一貫した性能を示しました。

新ベンチマーク: BigCodeReward と AutoCodeArena

クラウドソースデータを補完するため、Hugging Faceはコード品質の評価方法を向上させる2つの新ベンチマークをリリースしました。

BigCodeReward

BigCodeRewardは、LLMがコードのリワードモデルとして機能する能力を評価します。データは、実行結果（スクリーンショットやログなど）をモデルに提供することで、人間の嗜好との整合性が大幅に向上することを示しています。例えば、実行出力を提供した場合、GPT-4oの正確性は54.6%から63.8%に上昇しました。

AutoCodeArena

AutoCodeArenaは、600の代表的なプロンプトからなる自動ベンチマークです。自動化されたLLMジャッジ（Claude-3.7-Sonnet）を使用して、実行結果をGPT-4.1ベースラインと比較して評価します。初期結果は以下を示しています：

  • GPT-5 が大きな差で新たな最先端を確立。
  • Claude-Opus-4 と Claude-Sonnet-4 が強力な第二層を形成。
  • Qwen3-Coder、Kimi-K2、GLM-4.5 が主要なオープンモデルであり、中間層の商用システムとのギャップを縮めています。

オープンソースへの貢献

BigCodeプロジェクトの透明性目標に沿って、以下のリソースが公開されています：

  • コードベース: 完全な評価パイプラインとGradioアプリケーションのソースがGitHubで利用可能です。
  • クラウドソースデータ: 14,000件の生会話と4,700件の嗜好投票がHugging Faceコレクションで利用可能です。
  • データセット: BigCodeReward と AutoCodeArena のデータセットが研究利用のためにリリースされています。

Sources