stanford-iris-lab/meta-harness

何を解決するか

Meta-Harness は、ベースAIモデルの再トレーニングやファインチューニングを必要とせずに、「ハーネス」——データの取得、保存、表示を管理する周囲のコード——の最適化という問題に対処します。モデル自体を変更するのではなく、モデルの動作を最適化するためのソフトウェアスキャフォールドを改善することに焦点を当てます。

どう動くか

タスク固有のモデルハーネスに対する自動探索のフレームワークを提供します。Claude Code などのプロポーザーエージェントを使用して、ハーネスコードを反復的に進化・最適化します。ドメイン仕様と評価計画を定義することで、フレームワークはモデルの操作を支援する最も効果的なコード構造を探索します。

対象ユーザー

特定のドメインやタスクで固定されたベースモデルのパフォーマンスを向上させたい開発者や研究者向けです。トレーニングやファインチューニングのオーバーヘッドを回避できます。

主な特徴

• 自動探索: タスクに応じた最適なハーネス構成を自動的に探索します。
• 再利用可能なフレームワーク: 新しいドメインに適用するためのオンボーディングフローを含んでいます。
• リファレンス実験: テキスト分類と Terminal-Bench 2.0 スキャフォールド進化の例を提供しています。
• 拡張可能なプロポーザー: ラッパー スクリプトを調整することで、異なるプロポーザーエージェントをサポートします。