harbor-framework/terminal-bench-science

解決する課題

Terminal-Bench-Science は、実際の科学研究ワークフローにおける AI エージェントの厳格かつ専門家が厳選した評価の必要性に応えます。生命科学、物理学、地球科学、数学、工学の各分野から抽出されたタスクを最先端の AI エージェントがどの程度実行できるかを測定し、科学者が AI の進歩を形作る上で直接的な発言権を持ち、AI の能力とともに進化する継続的なベンチマークを提供します。

仕組み

このベンチマークには、ターミナル環境で客観的に検証可能な結果を生み出す、専門家が作成した 71 のタスク（100 以上を目指して増加中）が含まれています。タスクは構造化されたフローを経ます：専門家がアイデアを提案し、実装し、プルリクエストを提出します。自動チェック（静的検証、Docker ビルド、オラクル/ノーオペレーション実行、類似性検出、チート試行、マルチエージェント試行）と並行した分野別・技術レビューにより品質が保証されます。システムは Harbor フレームワークを介してエージェントを実行し、ユーザーは特定のエージェントやモデルをタスクに対してテストできます。リーダーボード、タスクダッシュボード、タグ付きリリースがパフォーマンスと開発を追跡します。

対象者

科学研究タスクにおけるエージェントのパフォーマンスを理解または向上させたい AI 研究者、モデル開発者、科学者を対象としています。また、AI 開発を導くために自身の現実的なワークフローを貢献したい、科学分野の専門家にも適しています。貢献プロセスは、生命科学、物理学、地球科学、数学、工学の研究者を明示的に招待しています。

ハイライト

• 5つの主要な科学分野にわたる 71 の専門家厳選タスク、公開リーダーボードとタスクダッシュボード付き
• コミュニティ主導：専門家がタスクを提案、構築、レビューし、貢献募集と Discord チャンネルを提供
• Docker ビルド、オラクル/ノーオペレーション検証、類似性チェック、チート試行、マルチエージェント実行を含む自動品質保証
• Harbor Hub でのタグ付きリリースと引用用 DOI を備えた継続的ベンチマーク
• トレーニングデータの汚染を防ぎ、リークを検出するためのカナリア文字列を含む