GVS5H：五个 Qwen3.8-27B 模型达到 Claude Fable 5 的性能水平

GVS5H 概述：Gorilla vs. 5 Humans

GVS5H (Gorilla vs. 5 Humans) 是一种无需训练的编排方法，使较小的开源权重模型能够在编码任务上达到前沿水平的性能。通过利用基于账本的零样本自我编排，单个模型的多个实例可以分解复杂问题，并通过包含计划、笔记和不断演进的解决方案的共享文件系统来协调工作。这种方法使 Qwen3.8-27B 等模型能够在 LiveCodeBench 硬编码基准测试中取得竞争性结果，在显著降低推理成本的同时，匹配了 Claude Fable 5 等专有模型的性能。

性能与方法论

GVS5H 方法的核心是持久化上下文管理。系统不依赖于单一的大型上下文窗口，而是使用磁盘上的共享工作区来维护状态。模型实例与以下内容进行交互：

• task.md：原始问题描述。
• plan.md：管理者的总体策略。
• notes.md：整理后的发现和部分证明。
• solution.py：当前版本的代码。

通过在管理者与工作者之间以新鲜上下文循环这些实例，该框架有效地管理了复杂性。在 LiveCodeBench 最近的 100 个难题上，该方法将本地部署的 Qwen3.8-27B 的 pass@1 率从 66.8% 提高到了 92.4%，紧追 Claude Fable 5 的 90.4% 分数。研究人员指出，这种效率使得在单张 GPU 上实现前沿水平的编码能力成为可能。

社区讨论与批评

GVS5H 的发布引发了关于当前基准测试实践有效性以及智能体工作流本质的辩论。批评者提出了几个争议点：

• 基准测试饱和与污染： 一些观察者认为，使用包含截至 2025 年 4 月发布的问题的 LiveCodeBench 存在数据污染的风险，可能无法准确反映现实世界中的智能体性能。正如一位评论者所指出的，“数据集的更新发布……意味着基本上保证了污染。”
• 过拟合担忧： 人们怀疑该框架是真正提高了模型的推理能力，还是仅仅针对基准测试的特定结构进行了过拟合。批评者认为，“该框架的构建纯粹是为了获得良好的基准测试分数。”
• 编排与模型智能： 关于性能提升是源于模型固有的智能还是框架的刚性结构，讨论仍在持续。一些用户指出，他们已经实现了类似的手动工作流（使用 PLAN.md 和 STATUS.md 文件）来管理自己的编码任务，这表明行业正在将共享状态协调作为复杂智能体工作的标准模式。
• 实用性： 虽然性价比被强调为主要优势，但一些用户质疑了延迟方面的权衡，询问与单次调用的前沿模型相比，多轮次方法是否会导致执行时间显著增加。

实现

GVS5H 框架可在 GitHub 上获取，并需要使用 uv 进行依赖管理。用户可以通过指定引擎（管理者模式与单次调用模式）和目标模型来运行基准测试。该项目以 MIT 许可证发布，文档和数据根据 CC BY 4.0 提供。