zli12321/LHTB

Long‑Horizon Terminal‑Bench (LHTB)

정의 – LHTB는 대규모 언어 모델(LLM) 에이전트가 실제 상태를 유지하는 터미널(Docker 스타일 샌드박스)에 투입되어 수백 단계 동안 계속 작업하도록 요청받을 때 이를 평가하는 연구용 벤치마크입니다. 프로그램이 생성되면 종료되는 일반적인 코딩 테스트와 달리, LHTB는 에이전트가 긴 시간 동안 유용하고 점진적인 작업을 지속할 수 있는 능력을 측정하며, 에이전트의 자체 로그가 아닌 최종 상태를 확인하는 숨겨진 검증기를 사용합니다.

주요 특징

• 77개 작업 – 버전 2.0에는 46개의 원래 "대화형 워크플로우" 작업과 31개의 새로운 재구성 작업(예: 과학 도구의 출력에서 해당 도구의 동작을 재현)이 포함됩니다. 작업은 게임, 역공학, 과학 컴퓨팅, 지리 공간 분석, OCR, 화학, 제어 시스템 등을 포괄합니다.
• 컨테이너화된 터미널 – 각 작업은 샌드박스 환경 내에서 실행되며, 에이전트는 셸과 유사한 인터페이스를 통해 상호 작용합니다.
• 숨겨진 아티팩트 재구성 검증기 – 에이전트가 완료를 선언한 후, 별도의 검증기가 예상 아티팩트를 재구성하여 확인합니다. 에이전트는 검증기의 내부를 볼 수 없으므로 부정 행위를 방지합니다.
• 시간 초과까지 계속 – 장기 작업의 경우 하네스는 전체 시간 예산이 소진될 때까지 에이전트를 유지하고, 각 체크포인트 후 검증기를 다시 실행하며 이진 "통과/실패" 신호만 허용합니다. 이는 에이전트가 조기 중단하지 않고 계속 개선하도록 강제합니다.
• 수정된 Harbor 하네스 – 저장소에는 오픈 소스 Harbor 평가 하네스의 패치 버전이 포함되어 있으며, 이는 시간 초과까지 계속 로직을 구현하고 검증기를 격리하여 에이전트가 숨겨진 채점 파일을 읽지 못하도록 합니다.
• 광범위한 결과 – README에는 2026년 10월(15개 모델, 작업당 3시간 예산) 및 이전 스냅샷의 리더보드가 포함되어 있으며, 평균 보상, 해결률, 작업당 비용 분석을 보여줍니다.

중요성 – LHTB는 LLM 에이전트를 일회성 코드 생성에서 실제 상태를 유지하는 환경에서의 지속적인 문제 해결로 이끕니다. 이 벤치마크에서의 성공은 에이전트가 데이터 파이프라인, 과학 시뮬레이션, 다단계 소프트웨어 디버깅과 같은 장기 실행 워크플로우를 관리할 수 있음을 시사하며, 이는 자율 AI 어시스턴트의 핵심 사용 사례입니다.

사용 방법

1. 작업 선택 – 각 작업은 tasks/ 또는 tasks-2.0/ 아래에 있으며 표준 Harbor 레이아웃(소스 파일, task.toml, 숨겨진 검증기 등)을 따릅니다.
2. Harbor 구성 – configs/examples/의 예제 YAML 중 하나(예: terminus2_openai.yaml)를 복사하여 원하는 작업 디렉토리를 가리키도록 설정합니다.
3. 하네스 실행 – 제공된 스크립트(또는 자체 러너)를 호출하여 샌드박스 내에서 에이전트를 시작합니다. 하네스는 시간 예산을 적용하고 30분마다 검증기를 체크포인트하며 시간 초과까지 계속 정책을 적용합니다.
4. 결과 확인 – 실행이 끝나면 하네스는 최종 보상(0–1)과 숨겨진 검증기 통과 여부를 보여주는 scorecard.json 및 로그를 작성합니다.

저장소에 연결된 리소스

• 개요 블로그 게시물: https://zli12321.github.io/LHTB/
• 대화형 데이터 웹사이트(Hugging Face Space): https://huggingface.co/spaces/IntelligenceLab/Terminal-Data-Website
• 작업 정의 및 벤치마크 제출의 전체 데이터셋: https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench
• 리더보드 페이지: https://zli12321.github.io/LHTB/leaderboard.html
• 수정된 Harbor 하네스(harbor/) 및 패치 세부 정보.

인용 – 이 벤치마크는 arXiv 논문 Long‑Horizon Terminal‑Bench (arXiv:2607.08964)에 설명되어 있습니다. README에는 인용을 위한 BibTeX 스니펫이 제공됩니다.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며 외부 가정은 추가되지 않았습니다.