harbor-framework/terminal-bench-science

Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains

何を解決するか

Terminal-Bench-Science は、実際の科学的調査ワークフローを標準化された方法で測定するための仕組みを提供します。生命科学、物理学、地球科学、数学、工学などの科学分野における専門的・エキスパートレベルのタスクと、一般のAI能力とのギャップを埋めます。

どう動くか

このプロジェクトは、専門家がキュレートしたタスクから構成される継続的なベンチマークであり、ターミナル環境で客観的に検証されます。Harbor フレームワークを使用して、エージェントがこれらのタスクに挑戦するように設定されています。コミュニティ主導のパイプラインを通じて、分野の専門家がタスクを提案・構築・レビューし、最先端のAIモデルにとって常に挑戦的で関連性のある状態を維持します。

対象は誰か

このベンチマークは、エージェントを開発するAI研究者、およびAIシステムが実際に支援すべき業務を反映したタスクを貢献したい科学分野の専門家向けです。

特徴

  • 専門家がキュレート: 5つの広範な科学分野の専門家がタスクを執筆・レビューしています。
  • 客観的に検証可能: すべてのタスクはターミナル環境内で検証可能な結果を生成します。
  • コミュニティ主導: タスクの提案、実装、レビューを透明なパイプラインで行います。
  • 汚染防止: キャニオン文字列を使用して、トレーニングデータパイプラインがベンチマークデータをトレーニングコーパスから検出・除外できるようにしています。

関連

  • プロジェクト
    harbor-framework/terminal-bench

    Terminal-Bench は、多様で進化する難易度の高いタスクを用いて、先端AIエージェントの能力を継続的に測定するためのベンチマークです。

  • プロジェクト
    InternLM/WildClawBench

    ブラウザやbash terminalなどのツールを使用して、ライブ環境で複雑な現実世界のタスクを遂行するAIエージェントの能力をテストする、エンドツーエンドのエージェント・ベンチマーク。

  • プロジェクト
    AISBench/benchmark

    AISBench Benchmarkは、LLM、マルチモーダルモデル、AIエージェント向けのオープンソース評価フレームワークです。ローカル実行またはサービスベースのモデルに対して、多数の公開データセットを用いた精度（accuracy）テストと、遅延、スループット、キャッシュを含むパフォーマンステストをサポートしています。最近の拡張機能には、Harborエージェントベンチマーク、プレフィックスキャッシュストレステスト、レスポンス異常検出が含まれます。

  • プロジェクト
    synthetic-sciences/openscience

    科学研究のためのオープンソースAIワークベンチで、文献レビュー、コーディング、実験の実行を含む研究ループを自動化します。

  • プロジェクト
    zli12321/LHTB

    Long‑Horizon Terminal‑Bench (LHTB) は、Dockerベースのターミナル内で数百ステップにわたり作業を継続できるように、LLMエージェントの能力を測定する46タスクのベンチマークです。オープンソースのHarborハーネスのパッチ版を提供し、「タイムアウトまで継続」ループとサンドボックス化された検証器の隔離を追加することで、エージェントによる不正行為を防ぎます。結果は、現在のフロンティアモデルですらタスクの少数しか解けないことを示しており、自律的AIエージェントのための困難で先端的な評価ツールであることがわかります。