facebookresearch/ProgramBench

Can Language Models Rebuild Programs From Scratch?

What it solves

ProgramBenchは、AIエージェントが完全なコードベースをゼロから再構築できるかどうかを評価するためのベンチマークを提供します。これは、コンパイル済みのバイナリとそのドキュメントのみを使用して、元のバイナリの動作を再現するプログラムを設計・実装するモデルの能力をテストします。

How it works

このプロジェクトは、AIエージェントがプログラムを再作成しようとするための一連のテストとフレームワークを提供します。エージェントにはコンパイル済みのバイナリとドキュメントが与えられ、元のプログラムの機能と一致するコードベースを生成しなければなりません。

Who it’s for

このツールは、AIエージェント、特にソフトウェアエンジニアリングとコード生成能力に焦点を当てている研究者や開発者向けに設計されています。

Highlights

  • プログラムをゼロから再構築するためのベンチマーク。
  • エージェントのパフォーマンスを追跡するためのリーダーボードを含む。
  • mini-swe-agent ベースラインと統合されている。
  • pip または uv を介して Python パッケージとして利用可能。

関連

  • Dispatch
    ProgramBench: LLM ソフトウェア再構築の限界をテストする

    LLM が既存プログラムをゼロから再構築できるかを評価するベンチマーク ProgramBench の分析と、AI コーディングパターンや評価手法に関する議論の概要。

  • Dispatch
    OpenAI PaperBench: AIエージェントのAI研究再現能力の評価

    OpenAIはPaperBenchというベンチマークを導入し、AIエージェントが最先端のAI研究論文をゼロから再現できるかをテストしました。その結果、現行の最先端モデルは依然として人間のML PhDに劣ることが分かりました。

  • プロジェクト
    aisa-group/PostTrainBench

    A benchmark that measures the ability of CLI agents to autonomously post-train pre-trained LLMs to improve their performance on specific benchmarks.

  • Dispatch
    Databricks、数百万行コードベースでコーディングエージェントをベンチマーク

    Databricksは、数百万行規模のコードベースに対してコーディングエージェントを評価するベンチマークを公開し、AIアシスタントが大規模な実際のソフトウェアでどのように性能を発揮するかを示しました。

  • プロジェクト
    benchflow-ai/skillsbench

    AIエージェントが指示、スクリプト、リソースといったモジュール化されたスキルをどのように活用し、組み合わせて専門的なワークフローを実行するかを評価するベンチマーク。