aisa-group/PostTrainBench

PostTrainBench

概要 – 自律型LLMベースのエージェントが、事前学習済み大規模言語モデルを post‑train（微調整）し、ダウンストリームタスクでのパフォーマンスをどの程度向上させられるかをテストするベンチマークです。エージェントには固定の計算予算（H100で10時間）と評価スクリプトが与えられ、ターゲットベンチマークにおける微調整済みモデルの最終スコアによって成功が測定されます。

重要性 – LLMの能力が向上するにつれ、次のフロンティアは、データ収集、ハイパーパラメータ探索、モデル更新、評価といった研究ループを他のLLMに実行させることです。PostTrainBenchは、さまざまな「研究アシスタントとしてのLLM」パイプラインを比較するための、具体的で再現可能な設定を提供します。

主要コンポーネント

• 4つのCLIスキャフォールド – Claude Code、Codex CLI、Gemini CLI、OpenCode。各スキャフォールドは異なるLLMプロバイダーをラップしており、同じベンチマークを異なるエージェントで実行可能です。
• 6つの多様なダウンストリームタスク – AIME 2025（難問数学）、Arena Hard Writing（クリエイティブライティング）、GPQA（大学院レベルの科学）、GSM8K（小学校レベルの数学）、HealthBench Easy（医学的推論）、HumanEval（コード生成）。この広範なタスクにより、推論能力、ドメイン知識、コーディング能力をテストします。
• リファレンス実行環境 – HTCondorベースのHPCパイプライン（デフォルト）と、クラスターなしでModal上でベンチマーク全体を実行するクラウドGPUアダプター（src/harbor_adapter/）。
• プロンプトテンプレート – エージェントに対し、制約（テストデータの漏洩防止、時間制限、指定されたベースモデルのみの微調整など）を遵守しながら、自律的に調査、実験、微調整を行うよう指示する詳細なシステムプロンプト（READMEを参照）。

実行方法

1. システム依存関係（apptainer、fuse‑overlayfs）をインストールします。
2. 提供されたコンテナをビルドします（bash containers/build_container.sh standard）。
3. モデルのロードに必要なHuggingFaceキャッシュをプルします。
4. .envファイルにAPIキー（OpenAI、Anthropic、Gemini、OpenCode、Z.AI）とオプションのパスを入力します。
5. bash src/commit_utils/commit.sh（HTCondor）でジョブを送信するか、クラウドGPUの場合は src/harbor_adapter/README.md の指示に従います。

サポートされているエージェント

• APIベース（OpenAI、Anthropic、Gemini、OpenCode、Z.AI） – キーは環境から読み取られ、コンテナに注入されます。
• サブスクリプションベースのCLIエージェント – Codex (ChatGPT Pro) および Claude Code (Claude Max) は、送信時にジョブディレクトリにコピーされる一度限りのログイン/認証トークンが必要です。

プロジェクト構成

フォルダ	用途
agents/	4つのCLIエージェントの実装と設定ファイル。
containers/	Docker/Apptainer定義および事前入力されたHuggingFaceキャッシュをダウンロードするスクリプト。
src/	ベンチマークのコアコード：ジョブ送信ユーティリティ、ベースライン計算機、評価タスク定義、Harborクラウドアダプター。
results/	各実行の最終スコアが書き込まれる場所（ベースライン実行には baseline_ のプレフィックスが付く）。
logs/	HTCondorログファイル（gitで無視）。

典型的なワークフロー

1. ベースLLMを選択します（例：llama‑2‑7b）。
2. ターゲットベンチマークを選択します（例：GPQA）。
3. エージェントはプロンプトを受け取り、evaluate.py を実行してベースラインスコアを取得し、10時間の予算が尽きるまで反復的にデータの収集、微調整、再評価を行います。
4. 最適な微調整済みチェックポイントが final_model/ に保存され、そのスコアが記録されます。

対象ユーザー

• LLM駆動のAI‑R&D および自動微調整パイプラインを研究している研究者。
• 自己改善能力のための標準的なテストベッドを必要とする LLMエージェント を構築しているチーム。
• マルチタスクかつ計算制約のある評価スイートを探しているベンチマーク設計者。

連絡先と引用

• メンテナー：Ben Rank, Hardik Bhatnagar, Maksym Andriushchenko（メールアドレスはREADMEに記載）。
• 付属のarXiv論文（arXiv:2603.08640）を引用してください。