stanford-iris-lab/meta-harness

解決的問題

Meta-Harness 解決了手動設計「支架」（即圍繞固定基礎模型的程式碼、記憶體系統與檢索邏輯）以最大化其在特定任務上的效能的問題。此框架不重新訓練模型本身，而是自動搜尋最有效的程式碼基礎支架，協助模型成功。

作法原理

該框架實作一個自動搜尋迴圈，以優化凍結基礎模型周圍的程式碼。它使用「提案代理」（例如 Claude Code）來建議並迭代改進支架程式碼，然後在任務上進行評估。透過定義領域規格（domain_spec.md）並提供一個包裝器以記錄提案代理的互動，該系統可應用於各種領域。

適用對象

希望在不付出微調或重新訓練模型成本的情況下提升特定任務上模型效能的研究人員與開發者，特別是從事代理、記憶體系統與檢索增強生成（RAG）支架的工作者。

主要亮點

• 自動優化：將重點從訓練模型轉移到演化支架程式碼。
• 可擴充框架：包含引導流程，協助使用者將優化迴圈應用於新領域。
• 參考實驗：提供文字分類記憶體系統與 Terminal-Bench 2.0 的支架演化實作。
• 代理無關性：雖然範例使用 Claude Code，但可透過自訂包裝器支援其他提案代理。