GVS5H: 5つのQwen3.8-27BモデルがClaude Fable 5の性能に匹敵

GVS5Hの概要: Gorilla vs. 5 Humans

GVS5H (Gorilla vs. 5 Humans) は、トレーニング不要のオーケストレーション手法であり、小規模なオープンウェイトモデルがコーディングタスクにおいてフロンティアレベルの性能に到達することを可能にします。台帳ベースのゼロショット自己オーケストレーションを活用することで、単一モデルの複数のインスタンスが複雑な問題を分解し、計画、メモ、進化する解決策を含む共有ファイルシステムを通じて連携します。このアプローチにより、Qwen3.8-27Bのようなモデルは、LiveCodeBenchのハードコーディングベンチマークで競争力のある結果を達成し、Claude Fable 5のようなプロプライエタリモデルの性能に匹敵しつつ、推論コストを大幅に削減できます。

性能と手法

GVS5Hアプローチの核心は、永続的なコンテキスト管理です。単一の巨大なコンテキストウィンドウに依存するのではなく、システムはディスク上の共有ワークスペースを使用して状態を維持します。モデルインスタンスは以下とやり取りします：

• task.md: 元の問題文。
• plan.md: マネージャーの全体的な戦略。
• notes.md: 精査された調査結果と部分的な証明。
• solution.py: 現在のコードの反復。

これらのインスタンスをマネージャーとワーカーの関係で新鮮なコンテキストとともに循環させることで、フレームワークは複雑さを効果的に管理します。LiveCodeBenchの最新のハード問題100問において、この手法はローカルで実行されるQwen3.8-27Bのpass@1率を66.8%から92.4%に向上させ、Claude Fable 5の90.4%というスコアに肉薄しました。研究者らは、この効率性により単一のGPUでフロンティアレベルのコーディング能力を実現できると指摘しています。

コミュニティの議論と批判

GVS5Hのリリースは、現在のベンチマーク手法の妥当性とエージェントワークフローの本質に関する議論を巻き起こしました。批判者はいくつかの論点を挙げています：

• ベンチマークの飽和と汚染: 一部の観察者は、2025年4月までにリリースされた問題を含むLiveCodeBenchを使用することは、データ汚染のリスクがあり、現実世界のエージェント性能を正確に反映していない可能性があると主張しています。あるコメント投稿者が指摘したように、「データセットの更新版リリースは...本質的に汚染が保証されていることを意味する」とのことです。
• 過学習の懸念: このハーネスがモデルの推論能力を純粋に向上させているのか、それともベンチマークの特定の構造に過学習しているだけなのかについて懐疑的な見方があります。批判者は、「ハーネスがベンチマークで良いスコアを得るためだけに構築されている」と示唆しています。
• オーケストレーション対モデルの知能: 向上分がモデル固有の知能によるものか、ハーネスの厳格な構造によるものかについての議論が続いています。一部のユーザーは、自身のコーディングタスクを管理するために同様の手動ワークフロー（PLAN.mdやSTATUS.mdファイルを使用）を実装したことがあると述べ、業界が複雑なエージェント作業の標準パターンとして共有状態による調整に収束しつつあることを示唆しました。
• 実用性: コストパフォーマンス比が大きな利点として強調される一方で、一部のユーザーはレイテンシのトレードオフについて疑問を呈し、マルチパスアプローチがシングルコールのフロンティアモデルと比較して実行時間が大幅に長くなるのではないかと問いかけています。

実装

GVS5HフレームワークはGitHubで公開されており、依存関係の管理にはuvが必要です。ユーザーはエンジン（マネージャー対シングルコール）とターゲットモデルを指定することでベンチマークを実行できます。このプロジェクトはMITライセンスの下でリリースされており、ドキュメントとデータはCC BY 4.0の下で提供されています。