arcprize/arc-agi-benchmarking

何を解決するか

このプロジェクトは、ARC-AGI（抽象化と推論コーパス）タスクにおけるAIモデルのベンチマーク評価のための標準化されたフレームワークを提供します。複数のモデルプロバイダーでこれらの複雑な推論タスクを実行するプロセスを簡素化し、APIのレート制限、リトライ、パフォーマンススコアリングといった技術的負荷を管理します。

動作方法

システムは、さまざまなAIプロバイダー（OpenAI、Anthropic、Geminiなど）と連携するためのモデルアダプターのセットを使用しています。ユーザーはYAMLファイルでモデル設定を定義し、モデルID、プロバイダー、温度などのパラメータを指定します。その後、フレームワークはARC-AGIデータセットからのタスクを実行し、レート制限を回避するためのリクエストのペーシングを管理し、モデルの応答を提出物として保存します。最後に、専用のスコアリングスクリプトがこれらの提出物を正解と比較して正確性メトリクスを計算します。

対象ユーザー

• AI研究者：LLMの汎用知能および推論能力をテストしたい方。
• モデル開発者：自身のモデルをARC-AGIベンチマークと比較したい方。
• ベンチマークエンジニア：複数のモデル設定を複数のデータセットで同時に実行できるスケーラブルな方法が必要な方。

特徴

• マルチプロバイダー対応：OpenAI、Anthropic、Gemini、Fireworks、Grok、OpenRouterなど、幅広いプロバイダーに対応する組み込みアダプター。
• 並列実行：複数のモデル設定とデータセットを同時に実行可能で、共有されたレート制限管理が可能。
• 堅牢なエラー処理：統合されたレート制限、tenacityベースのリトライ、タスクレベルのタイムアウト。
• 詳細なログ記録：各タスクに対してリクエストとレスポンスペイロードを含む、自動生成されたAPI JSONLログを保存。
• 拡張性のあるアーキテクチャ：新しいモデル設定やカスタムプロバイダーアダプターを簡単に追加できる設計。