aisa-group/PostTrainBench

PostTrainBench

개요 – 자율형 LLM 기반 에이전트가 사전 학습된 대규모 언어 모델을 post‑train(미세 조정)하여 다운스트림 작업에서의 성능을 얼마나 향상시킬 수 있는지 테스트하는 벤치마크입니다. 에이전트에게는 고정된 컴퓨팅 예산(H100 10시간)과 평가 스크립트가 주어지며, 성공 여부는 대상 벤치마크에서 미세 조정된 모델의 최종 점수로 측정됩니다.

중요성 – LLM의 능력이 향상됨에 따라, 다음 단계는 데이터 수집, 하이퍼파라미터 탐색, 모델 업데이트 및 평가와 같은 연구 루프를 다른 LLM이 실행하도록 하는 것입니다. PostTrainBench는 다양한 "연구 보조원으로서의 LLM" 파이프라인을 비교할 수 있는 구체적이고 재현 가능한 환경을 제공합니다.

주요 구성 요소

• 4개의 CLI 스캐폴드 – Claude Code, Codex CLI, Gemini CLI, OpenCode. 각 스캐폴드는 서로 다른 LLM 제공업체를 래핑하여 동일한 벤치마크를 다른 에이전트로 실행할 수 있게 합니다.
• 6개의 다양한 다운스트림 작업 – AIME 2025(고난도 수학), Arena Hard Writing(창의적 글쓰기), GPQA(대학원 수준 과학), GSM8K(초등 수학), HealthBench Easy(의학적 추론), HumanEval(코드 생성). 이 광범위한 작업은 추론, 도메인 지식, 코딩 능력을 테스트합니다.
• 참조 실행 환경 – HTCondor 기반 HPC 파이프라인(기본값)과 클러스터 없이 Modal에서 전체 벤치마크를 실행하는 클라우드 GPU 어댑터(src/harbor_adapter/)를 제공합니다.
• 프롬프트 템플릿 – 에이전트에게 제약 조건(테스트 데이터 유출 방지, 시간 제한, 지정된 기본 모델만 미세 조정 등)을 준수하면서 자율적으로 연구, 실험 및 미세 조정을 수행하도록 지시하는 상세한 시스템 프롬프트(README 참조).

실행 방법

1. 시스템 종속성(apptainer, fuse‑overlayfs)을 설치합니다.
2. 제공된 컨테이너를 빌드합니다(bash containers/build_container.sh standard).
3. 모델 로드에 필요한 HuggingFace 캐시를 가져옵니다.
4. .env 파일에 API 키(OpenAI, Anthropic, Gemini, OpenCode, Z.AI)와 선택적 경로를 입력합니다.
5. bash src/commit_utils/commit.sh(HTCondor)를 사용하여 작업을 제출하거나, 클라우드 GPU의 경우 src/harbor_adapter/README.md의 지침을 따릅니다.

지원되는 에이전트

• API 기반 (OpenAI, Anthropic, Gemini, OpenCode, Z.AI) – 키는 환경에서 읽혀 컨테이너에 주입됩니다.
• 구독 기반 CLI 에이전트 – Codex(ChatGPT Pro) 및 Claude Code(Claude Max)는 제출 시 작업 디렉토리에 복사되는 일회성 로그인/인증 토큰이 필요합니다.

프로젝트 구조

폴더	목적
agents/	4개의 CLI 에이전트 구현 및 구성 파일.
containers/	Docker/Apptainer 정의 및 미리 채워진 HuggingFace 캐시를 다운로드하는 스크립트.
src/	벤치마크 핵심 코드: 작업 제출 유틸리티, 기준 계산기, 평가 작업 정의, Harbor 클라우드 어댑터.
results/	각 실행의 최종 점수가 기록되는 곳(기준 실행은 baseline_ 접두사가 붙음).
logs/	HTCondor 로그 파일(git에서 무시됨).

일반적인 워크플로우

1. 기본 LLM을 선택합니다(예: llama‑2‑7b).
2. 대상 벤치마크를 선택합니다(예: GPQA).
3. 에이전트는 프롬프트를 받고 evaluate.py를 실행하여 기준 점수를 얻은 다음, 10시간 예산이 소진될 때까지 반복적으로 데이터를 수집하고 미세 조정하며 재평가합니다.
4. 최상의 미세 조정 체크포인트가 final_model/에 저장되고 점수가 기록됩니다.

사용 대상

• LLM 기반 AI‑R&D 및 자동화된 미세 조정 파이프라인을 연구하는 연구자.
• 자기 개선 능력을 위한 표준 테스트베드가 필요한 LLM 에이전트 구축 팀.
• 다중 작업 및 컴퓨팅 제약이 있는 평가 제품군을 찾는 벤치마크 설계자.

연락처 및 인용

• 관리자: Ben Rank, Hardik Bhatnagar, Maksym Andriushchenko(이메일은 README 참조).
• 동봉된 arXiv 논문(arXiv:2603.08640)을 인용하십시오.