slee-persis/GVS5H
GVS5H: Five Qwen3.8-27B Models Match Claude Fable 5 on LiveCodeBench Hard | Fable 5 Level Coding for a Fifth the Price - or on a Single GPU
解决的问题
前沿的编程性能通常需要昂贵的大型专有模型。本项目提供了一种无需训练的替代方案：通过协调同一模型的多个实例，它可以在困难的编程基准测试中匹配甚至超过顶级闭源模型的准确率，且成本仅为后者的一小部分。
工作原理
这种被称为基于账本的零样本自编排的方法，运行同一模型的新实例来分解每个问题，并通过共享文件系统进行协调。该文件系统保存计划、笔记和当前解决方案，因此这些实例无需任何微调或额外训练即可协同工作。它在 11 个开源和闭源权重模型上，针对 100 个最新的 LiveCodeBench 困难问题进行了测试。运行代码需要 uv 和所需模型的 API 密钥；您可以选择单次调用或基于管理器（--engine multiagent）的执行方式。
适用人群
希望在不重新训练的情况下提高编程模型准确率的研究人员和从业者，特别是那些有兴趣使用可自托管的开源权重模型以低成本获得前沿水平结果的人。
亮点
- 在测试模型中，固定后端的准确率提升高达 25.6 个百分点。
- 编排后的 Qwen3.8 Flash Next 的 pass@1 达到 93.0%，而 Claude Fable 5 为 90.4%，成本仅为后者的 9%。
- 本地部署的 Qwen3.8-27B 的 pass@1 从 66.8% 提升至 92.4%。
- 提升并非普遍适用：某些模型没有表现出改进，甚至出现性能下降。
- 代码采用 MIT 许可；论文和运行数据采用 CC BY 4.0 许可。
相关
- Dispatch
- 项目
- 项目
- Dispatch
- Dispatch