zli12321/LHTB

Long‑Horizon Terminal‑Bench (LHTB)

何であるか – LHTB は、大規模言語モデル（LLM）エージェントが 長期間 データベースのターミナルで作業できるかを評価する研究用ベンチマークです。46の異なるタスクを含み、モデルが1回の出力で終了するのではなく、数百ステップにわたりDockerコンテナ内で継続的に作業する必要があります。

なぜ重要か – 既存の多くのコーディングや推論ベンチマークは短時間のもので、モデルが1つのスクリプトを生成し、テストが実行されれば完了です。LHTBはエージェントが状態を維持し、インタラクティブなプログラムを扱い、失敗から回復する能力を90分（またはそれ以上）の予算内で試すことで、その限界を押し上げます。結果は、現在の最強モデルですらタスクのわずか一部しか解けないことを示しており、長期的な自律的機能における明確なギャップが存在することが浮き彫りになっています。

主要な構成要素

タスクセット – ゲーム、マルチモーダル解析、リバースエンジニアリング、科学シミュレーション、地球エネルギー系、セキュリティ、研究の再現、プロフェッショナルな APEX スタイルのワークフローをカバーする46の「Harbor」タスク定義。
修正済み Harbor ハーネス – オープンソースの Harbor 評価フレームワークのフォークで、以下の2つの重要な機能を追加しています：
1. continue_until_timeout – タスクごとのタイムアウトまでエージェントが継続して実行され、各試行後に隠し検証器が再起動されます。
2. 検証器の隔離 – 検証器は別々のサンドボックスで実行され、検証中はエージェントのプロセスツリーが凍結され、エージェントが隠しテストデータを覗き見することを防ぎます。
リーダーボードとデータセット – 21のフロンティアモデル（2026年7月スナップショット）の結果がライブリーダーボードに公開され、各実行の詳細データはHugging Faceデータセットとして利用可能です。
例の設定ファイル – APIキー不要の「オラクル」実行用、OpenAI互換API、OpenRouter、フルベンチマーク実行用の準備済みYAMLファイルが用意されています。

使い方

ハーネスのインストール – オリジナルの harbor パッケージ（シングルショットのみ）またはリポジトリに同梱のLHTBパッチ版を使用します：
```
pip install -e harbor   # continue‑until‑timeout を含む編集可能インストール
```

リポジトリのクローン（大容量アセット用にGit LFS）：

git lfs install
git clone https://github.com/zli12321/LHTB.git
cd LHTB
git lfs pull

簡単な健全性チェックの実行（APIキー不要）：
```
harbor run -c configs/examples/oracle_smoke.yaml
```
独自のエージェントを実行 – 環境変数にAPIキーを設定し、設定ファイルを指定します。例：
```
export OPENAI_API_KEY=sk-...
harbor run -c configs/examples/terminus2_openai.yaml   # サブセットを実行
```
フルベンチマークの実行：
```
export OPENAI_API_KEY=sk-...
harbor run -c configs/examples/full_benchmark.yaml
```
結果は ./jobs/ ディレクトリに保存されます。

結果スナップショット（2026年7月） – 最強モデル（Grok 4.5）は平均報酬 0.505 を達成し、13/46 のタスクを解決しました。3時間の予算でも、最高成績のモデル（GPT‑5.6‑sol）は平均報酬 0.600 に留まり、17/46 のタスクしか解けず、ベンチマークがまだ飽和していないことを確認しています。

さらに学ぶには

ブログ記事： https://zli12321.github.io/LHTB/
論文（arXiv）： https://arxiv.org/abs/2607.08964
ライブリーダーボード： https://zli12321.github.io/LHTB/leaderboard.html
データセット： https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench

ライセンス – Apache 2.0。

LHTBは、単なるチュートリアルやリンク集ではなく、本格的な研究用ベンチマークです。

zli12321/LHTB

Long‑Horizon Terminal‑Bench (LHTB)

関連