stanford-iris-lab/meta-harness

何を解決するか

Meta-Harness は、固定されたベースモデルのパフォーマンスを特定のタスクで最大化するために、手動で設計された「ハーネス」——周囲のコード、メモリシステム、検索ロジック——の問題に対処します。モデル自体の再トレーニングではなく、モデルが成功するのを助ける最も効果的なコードベースのハーネスを自動的に探索するフレームワークです。

動作方法

このフレームワークは、凍結されたベースモデルの周囲のコードを最適化する自動探索ループを実装しています。Claude Code などの「提案エージェント」がハーネスコードを提案・反復し、そのコードがタスクに対して評価されます。ドメイン仕様（domain_spec.md）を定義し、提案エージェントのインタラクションをログに記録するラッパーを提供することで、さまざまなドメインに適用できます。

対象ユーザー

ファインチューニングやモデルの再トレーニングのコストを避けながら、特定のタスクにおけるモデルパフォーマンスを向上させたい研究者や開発者、特にエージェント、メモリシステム、および検索拡張生成（RAG）ハーネスに取り組んでいる人向けです。

主な特徴

• 自動最適化：モデルのトレーニングからハーネスコードの進化へと焦点を移します。
• 拡張性のあるフレームワーク：新しいドメインに最適化ループを適用するためのオンボーディングフローを含みます。
• 参考実験：テキスト分類用メモリシステムと Terminal-Bench 2.0 用のハーネス進化の実装を提供します。
• エージェント非依存：例では Claude Code を使用していますが、カスタムラッパーにより他の提案エージェントもサポートします。