harbor-framework/terminal-bench

何を解決するか

Terminal-Bench は、先端 AI エージェントの能力を測定するための標準化された方法を提供します。異なるエージェントビルダーのパフォーマンスを追跡・比較するための、高品質で多様かつ進化する難易度の高いタスクセットの必要性に対応しています。

動作方法

継続的ベンチマークとして機能し、タスクはタグ付きリリースとして公開されます。ユーザーは Harbor フレームワークを使用してベンチマークを実行し、テスト対象のエージェントとモデルを指定できます。システムは、Modal を使用して開発されたサンドボックス環境をサポートし、タスクが安全かつ一貫して実行されることを保証しており、環境が正しく動作しているかを検証するための「オラクル」ソリューションも含まれています。

対象ユーザー

このツールは、複雑な現実世界のターミナルベースのタスクを処理できる能力を評価したい先端エージェント開発者や研究者向けに設計されています。

特徴

• 継続的な進化: 時間とともに新しい難易度の高いタスクが追加され、停滞を防ぎます。
• 多様なタスクセット: 複数の分野にわたる幅広い難易度の高いタスクを含みます。
• コミュニティ主導: 構造化された提案およびレビュープロセスを通じて、新しいタスクの貢献を積極的に促進しています。
• 統合: Harbor フレームワーク上で構築されており、Modal と統合されて CI/CD およびランク付け実験に利用できます。