openai/frontier-evals

解決する課題

Frontier Evals は、高度なAIモデルの能力を測定するための標準化されたフレームワークを提供します。ソフトウェアエンジニアリング、学術研究、スマートコントラクトセキュリティといった複雑な領域において、厳密で再現性の高いテストを行う必要性に応えます。

仕組み

このリポジトリは、独立した評価プロジェクトの集合体として機能します。各プロジェクトには、独自の環境設定、依存関係、ドキュメントが含まれています。ユーザーは特定の評価ディレクトリ（PaperBench、SWE-Lancer、EVMbenchなど）に移動し、uv を使用して環境を同期させ、プロジェクト固有の指示に従ってテストを実行し、モデルのパフォーマンスを解釈します。

対象読者

このプロジェクトは、標準化された再現可能な手法を用いて、現実世界の高リスクなタスクに対してフロンティアAIモデルをベンチマークする必要があるAI研究者、開発者、エンジニアを対象としています。

ハイライト

• 最先端のAI研究論文を再現するための PaperBench を含みます。
• 現実世界のフリーランスのソフトウェアエンジニアリングタスクにおけるモデルのパフォーマンスをテストするための SWE-Lancer を備えています。
• スマートコントラクトセキュリティにおけるAIの能力を評価するための EVMbench を含みます。
• モジュール化された分離されたディレクトリ構造を使用し、各ベンチマークの依存関係と構成の一貫性を維持します。