stanford-iris-lab/meta-harness

解决的问题

Meta-Harness 解决了手动设计“支架”（即围绕固定基础模型的代码、内存系统和检索逻辑）以最大化其在特定任务上的性能的问题。该框架不重新训练模型本身，而是自动搜索最有效的代码基支架，帮助模型取得成功。

工作原理

该框架实现了一个自动搜索循环，以优化冻结基础模型周围的代码。它使用“提议代理”（如 Claude Code）来建议并迭代改进支架代码，然后在任务上进行评估。通过定义领域规范（domain_spec.md）并提供一个包装器以记录提议代理的交互，该系统可应用于各种领域。

适用人群

希望在不付出微调或重新训练模型成本的情况下提升特定任务上模型性能的研究人员和开发者，特别是那些从事代理、内存系统和检索增强生成（RAG）支架工作的人员。

主要亮点

• 自动优化：将重点从训练模型转移到演化支架代码。
• 可扩展框架：包含引导流程，帮助用户将优化循环应用于新领域。
• 参考实验：提供文本分类内存系统和 Terminal-Bench 2.0 的支架演化实现。
• 代理无关性：虽然示例使用 Claude Code，但可通过自定义包装器支持其他提议代理。