RyanAlberts/best-of-Agent-Harnesses

它是什么

best-of-Agent-Harnesses 是一个精选的、有排名的列表，包含约 166 个开源项目，核心理念是：AI “代理框架” (agent harness) —— 即将能够 回答 的语言模型转化为能够 行动 的代理的运行时机制。

README 中给出了简洁的定义（归功于 Simon Willison）：“LLM 代理在循环中运行工具以实现目标。” 框架就是该循环周围的一切：存在哪些工具、需要什么批准、模型每一步看到什么、以及崩溃后如何恢复。用 Andrej Karpathy 的话来说，模型是 “新操作系统的内核进程”，而框架则是该操作系统的其余部分 —— 它的调度程序、权限和内存。

为什么它很重要

因为代理会行动，所以它们会失败：框架质量 —— 重试逻辑、沙箱、护栏 —— 决定了代理是否真正可用。该仓库引用了基准测试数据来支持这一点，例如，更换框架对通过率的影响 超过 了许多模型升级（同一模型在某项测试中 pass@1 从 23% 提升到 52%，另一个从 15% 提升到 36%；在 ARC-AGI-3 上，裸模型约为 30%，而在合适的框架下为 95.5%）。它还指出，框架排名在不同模型之间几乎无法迁移（秩相关系数为 -0.05），因此对于一个模型合适的框架可能对另一个模型不适用 —— 这就是为什么该仓库提供了一个查询工具来帮助匹配框架与模型（见下文）。

仓库内容

• 列表本身。 项目根据与框架关注点（环境、编排、生命周期、护栏）的相关性以及 GitHub 星标/活跃度进行排名，并带有标签（如 mcp，memory）以便交叉过滤。有两个关于整个景观的可视化地图：一个根据 “采用表面积”（简单性↔能力）与星标绘制，另一个根据 自主性（无监督程度）与 恢复能力（运行死亡时发生的情况）绘制。在表格中，★ 标记了支持无头模式的项目，✱ 标记了持久化项目。
• 决策指南（“比较”页面），针对常见选择：例如终端编码代理、多代理编排框架、内存层、沙箱、浏览器代理、评估平台 —— 以及更高级别的文章，如 为什么框架比模型更重要 和 如何选择框架。
• 模板与手册。 复制粘贴设置文件（例如一个适用于 7 种编码工具的 AGENTS.md，安全的 Claude Code 权限设置，一个约 180 行的 Python 最小代理框架）以及分步的“一小时内构建自己的框架”指南。
• 技能（10 个可安装）。 小型脚本，你的代理可以加载这些脚本，在 你的机器上 运行并报告可审计的结果：在你的仓库任务上测试编码代理，检查你的代理实际加载了哪些指令文件，验证针对约 90 个危险命令的护栏，检测虚假的“测试通过”声明，发现令牌和资金浪费的地方等。任何更改文件或花费资金的操作都需要你的明确同意。
• 可搜索的网站（每个框架一个页面，按能力、自主性、恢复能力过滤）。
• 供代理自身使用的机器可读访问： 一个 MCP 服务器（带有 recommend 和 pick_harness 等命令），以及 llms.txt 和 harnesses.json，以便代理可以查询列表，推荐与其自身模型和任务相匹配的框架 —— 而不是继承别人基准测试的任何框架。（MCP 服务器大致是一种标准接口，允许 AI 代理调用外部工具和数据。）

README 以“按用例选择”读者索引结束 —— 数十个类别，如“今天的交钥匙编码代理”、“生活在我的聊天应用中的常驻个人代理”、“内存层”、“多代理编排”、“浏览器代理”、“沙箱代码执行”、“评估/基准测试代理” —— 每个类别都指向一个候选名单和相关的表格部分。

注意事项

欢迎贡献（根据徽章），整个项目通过指向一个单独的页面（谁说的，他们测量了什么，以及该声明不意味着什么）承认了其自身的框架局限性。该列表在设计上是有主见的：它投资于框架质量而不是框架管道，引用了 Anthropic 的 “构建简单” 等建议。