slee-persis/GVS5H
GVS5H: Five Qwen3.8-27B Models Match Claude Fable 5 on LiveCodeBench Hard | Fable 5 Level Coding for a Fifth the Price - or on a Single GPU
解決する課題
最先端のコーディング性能には通常、高価な大規模プロプライエタリモデルが必要です。本プロジェクトは、トレーニング不要の代替手段を提供します。同じモデルの複数のインスタンスを調整することで、困難なコーディングベンチマークにおいて、トップクラスのクローズドモデルの精度に匹敵、あるいはそれを上回る性能を、わずかなコストで実現します。
仕組み
「台帳ベースのゼロショット自己オーケストレーション」と呼ばれるこの手法は、モデルの新しいインスタンスを実行して各問題を分解し、共有ファイルシステムを通じて調整を行います。そのファイルシステムには計画、メモ、現在のソリューションが保持されるため、微調整や追加トレーニングなしでインスタンスが連携して動作します。11種類のオープンおよびクローズドウェイトモデルを対象に、最新のLiveCodeBenchの難問100問でテストされました。コードの実行には uv と対象モデルのAPIキーが必要です。シングルコールまたはマネージャーベース（--engine multiagent）の実行を選択できます。
対象読者
再トレーニングなしでコーディングモデルの精度を向上させたい研究者や実務家、特に自己ホスト可能なオープンウェイトモデルを使用して、低コストで最先端レベルの結果を得たいと考えている方に適しています。
ハイライト
- テストされたモデル全体で、固定バックエンドにおいて最大25.6パーセントポイントの向上。
- オーケストレーションされたQwen3.8 Flash Nextはpass@1で93.0%に達し、Claude Fable 5の90.4%を上回る一方で、コストは9%に抑えられています。
- ローカルで提供されるQwen3.8-27Bは、pass@1が66.8%から92.4%に向上。
- 向上は普遍的ではなく、一部のモデルでは改善が見られない、あるいは性能が低下する場合もあります。
- コードはMITライセンス、論文と実行データはCC BY 4.0の下で公開されています。
関連
- Dispatch
- プロジェクト
- プロジェクト
- Dispatch
- Dispatch