zli12321/LHTB

Long‑Horizon Terminal‑Bench (LHTB)

무엇인가요 – LHTB는 대규모언어모델(LLM) 에이전트가 장기적으로 Docker 기반 터미널에서 작업할 수 있는 능력을 평가하는 연구용 벤치마크입니다. 모델이 단일 출력을 생성하고 종료하는 것이 아니라, 수백 단계에 걸쳐 Docker 컨테이너 내에서 지속적으로 작업해야 하는 46개의 독립된 작업을 포함합니다.

왜 중요한가요 – 기존의 대부분의 코딩 또는 추론 벤치마크는 단기적인 것입니다. 모델이 하나의 스크립트를 작성하고 테스트가 실행되면 작업이 끝납니다. LHTB는 에이전트가 상태를 유지하고, 인터랙티브 프로그램을 다루며, 실패를 복구할 수 있도록 90분(또는 그 이상)의 예산 내에서 도전합니다. 결과는 현재 가장 강력한 모델들조차 작업의 일부만 해결할 뿐임을 보여주며, 장기적인 자율 능력에 대한 명확한 격차가 있음을 시사합니다.

핵심 구성 요소

작업 세트 – 게임, 멀티모달 분석, 리버스 엔지니어링, 과학 시뮬레이션, 지구 에너지 시스템, 보안, 연구 재현, 전문적인 APEX 스타일 워크플로우를 포함하는 46개의 "Harbor" 작업 정의.
수정된 Harbor 하네스 – 오픈소스 Harbor 평가 프레임워크의 파생 버전으로, 두 가지 핵심 기능을 추가했습니다:
1. continue_until_timeout – 각 시도 후 숨겨진 검증기 재호출을 통해 에이전트가 태스크 타임아웃까지 지속적으로 실행됩니다.
2. 검증기 격리 – 검증기는 별도의 사전에서 실행되며, 검증 중 에이전트의 프로세스 트리가 동결되어 에이전트가 숨겨진 테스트 데이터를 탐색하는 것을 방지합니다.
리더보드 및 데이터셋 – 21개의 프론트라인 모델(2026년 7월 스냅샷)의 결과는 실시간 리더보드에 게시되며, 전체 실행 데이터는 Hugging Face 데이터셋으로 제공됩니다.
예제 구성 파일 – API 키 없이 사용 가능한 "오라클" 실행용, OpenAI 호환 API, OpenRouter, 전체 벤치마크 실행용으로 준비된 YAML 파일이 제공됩니다.

사용 방법

하네스 설치 – 일반 harbor 패키지(단일 실행만 가능) 또는 리포지토리에 포함된 LHTB 패치 버전을 사용합니다:
```
pip install -e harbor   # continue‑until‑timeout 포함 편집 가능 설치
```

리포지토리 클론 (대용량 자산용 Git LFS):

git lfs install
git clone https://github.com/zli12321/LHTB.git
cd LHTB
git lfs pull

간단한 건강 검사 실행 (API 키 필요 없음):
```
harbor run -c configs/examples/oracle_smoke.yaml
```
자신의 에이전트 실행 – 환경 변수에 API 키를 설정하고 설정 파일을 지정합니다. 예시:
```
export OPENAI_API_KEY=sk-...
harbor run -c configs/examples/terminus2_openai.yaml   # 하위 집합 실행
```

전체 벤치마크 실행:

export OPENAI_API_KEY=sk-...
harbor run -c configs/examples/full_benchmark.yaml

결과는 ./jobs/ 폴더에 저장됩니다.

결과 스냅샷 (2026년 7월) – 가장 강력한 모델(Grok 4.5)은 평균 보상 0.505 를 달성하고 13/46 개의 작업을 해결했습니다. 3시간 예산에도 최고 성능 모델(GPT‑5.6‑sol)은 평균 보상 0.600 에 그치며 17/46 개의 작업만 해결해, 벤치마크가 여전히 포화되지 않았음을 확인했습니다.

더 알아보기

블로그 게시물: https://zli12321.github.io/LHTB/
논문 (arXiv): https://arxiv.org/abs/2607.08964
실시간 리더보드: https://zli12321.github.io/LHTB/leaderboard.html
데이터셋: https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench

라이선스 – Apache 2.0.

LHTB는 단순한 튜토리얼이나 링크 모음이 아니라, 장기적 수평 LLM 에이전트를 위한 진정한 연구 수준의 벤치마크입니다.

zli12321/LHTB

Long‑Horizon Terminal‑Bench (LHTB)

관련