Cognition SWE-2リリース：パフォーマンス、コスト、トレーニングの革新

SWE-2はコーディングエージェントのパレート前線を押し広げる

Cognitionの新モデルSWE-2は、FrontierCode 1.1 Mainベンチマークで50.0%の解決率を達成——リーダーのFable 5.1と1ポイントの差にとどまりながら、実行コストは64 %も低く抑えられています。この結果は、単一のモデルが複数の努力レベルにおいてコスト・パフォーマンスのトレードオフ曲線を支配可能であることを示しています。

主要なパフォーマンス数値（高いほど良い、ただし別途注記あり）

ベンチマーク SWE‑2 Kimi K3 Grok 4.6 Fable 5.1 GPT‑5.6 Sol GPT‑6 Astra SWE‑1.7
FrontierCode 1.1 Main 50.0 % 44.2 % 48.0 % 50.9 % 47.5 % 53.3 % 42.0 %
DeepSWE 1.1 73.0 % 68.5 % 67.5 % 67.4 % 72.7 % 74.1 % 37.7 %
Terminal‑Bench 2.1 92.8 % 88.3 % 88.4 % 91.4 % 88.8 % 89.9 % 81.5 %
Terminal‑Bench 4 27.3 % 21.5 % 20.3 % 55.8 % 37.3 % 57.9 % 7.6 %

SWE‑2はすべてのベンチマークで前モデルSWE‑1.7を上回り、Grok 4.6をスコアとコストの両面で上回っています。GPT‑5.6 SolやFable 5.1と同等のパフォーマンスを、その数分の1の価格で達成し、GPT‑6 Astraに数ポイントの差で迫りながら、コストはその4分の1に抑えています。

SWE-2がより高い知能と低いコストを実現する方法

1. 1回のRL実行におけるパレートに裏付けられたコストペナルティ

  • 線形コストペナルティ – リワード関数は R = S – λₑ·C で表され、S はバイナリ成功、C はロールアウトコスト、λₑ は努力レベル e におけるベースモデルのコスト・パフォーマンス曲線の局所的勾配に調整されます。
  • なぜ線形なのか？ – 補足Bの証明により、アフィンペナルティのみが、ロールアウト分布にかかわらず、期待リワードが平均コストと解決率にのみ依存することを保証します。
  • 勾配一致 – λₑ をフロンティアの勾配に等しく設定することで、等リワード線がパレート曲線に接するようになり、リワードの増加がフロンティアを外側に押し出すことを保証します。

「λₑ = m（局所勾配）とすることで、目的関数がパレート曲線上の移動に影響されず、改善が直接フロンティアを上にシフトするようになります。」 – Cognitionブログ

2. 長さ重み付きリワードベースライン

  • ベースライン b̂ = Σ Rᵢ·Lᵢ / Σ Lᵢ（ロールアウト長に重み付けされたリワード）は、追加のバックワードパスなしで最適な分散低減ベースラインを近似します。
  • 実証的なアブレーションにより、推論ポリシーとトレーニングポリシー間のKLダイバージェンスが顕著に減少し、RLの安定化が実現されました。

3. RLロールアウトサービングとスペキュレーティブデコード

  • DSparkスペキュレーティブデコード – ドラフトモデルがトークンを提案し、ポリシーモデルが検証することで、スループットが10–20 %向上します。
  • SpecForge訓練済みドラフト – 受け入れられたトークン長を約15 %延長し、オンラインで進化するポリシーを追跡するように更新されます。
  • 低精度MoE推論 – NVFP4/FP8カーネルと量産化対応トレーニングにより、メモリ使用量を低く抑えつつKL整合性を維持します。

4. データ規模拡大と検証器の強化

  • RL環境の数を3倍に増やし、リポジトリのソースを拡大しました。
  • 複数の同時指示を処理しながらタスクに集中するため、指示追従オーバーレイを追加しました。
  • 再帰的なフライホイールを実装：中間チェックポイントからのロールアウトを用いて検証器の失敗を発見・修正し、リワードハッキングを低減しました。

SWE-2で観察された行動的改善

  • 集中した探索 – 最初の編集が平均18ステップ目に行われる（SWE‑1.7は48ステップ）ため、探索のオーバーヘッドが62 %削減されました。
  • テストカバレッジ – より包括的なエンドツーエンドテストを生成し、リグレッションを早期に検出します。
  • 資源的な柔軟性 – 必要な統合が利用できない場合、SWE-2は既存のコンテキスト（例：Slack履歴）から必要なデータを再構成できます。
  • 検証の厳格さ – 質問に直面すると結論を再導出したり、証拠収集アーティファクトを実行したりし、盲目的な同意を避けます。
  • 努力レベルの差別化 – 中程度の努力はシンプル/中程度のタスクで低コストで優れたパフォーマンスを発揮；高および最大の努力は、複雑な問題に対してより多くの計画と検証を割り当てます。

信頼性評価

Cognitionは、SWE-2を含む6つのモデルに対して、内部のプロパガンダ/検閲およびコンテキスト依存脆弱性テストを再実行しました。結果は以下の通りです：

  • プロパガンダおよび検閲 – SWE-2は全体で98.0 %の通過率（英語99.8 %、簡体中国語95.2 %、繁体中国語99.1 %）を達成しました。
  • コンテキスト依存脆弱性 – どのモデルに対しても統計的に有意なフレーミング効果は認められず、SWE-2の平均脆弱性シフトはほぼゼロで、同僚モデルと同等でした。

Hacker Newsでのコミュニティの反応

  • ベンチマークの一般化に対する懐疑 – 上位コメントでは、Terminal‑Bench 2.1（92.8 %）とTerminal‑Bench 4（27.3 %）の大きな差が「ベンチマックス」の可能性を示していると指摘しています。
  • Kimi K3からのポストトレーニング改善に関する懸念 – 一部のユーザーは、改善がK3の強力なベースから単に受け継がれたものであり、独自のエンジニアリングによるものではないかと疑問を呈しています。
  • オープンウェイト対クローズドウェイトの議論 – 複数のコメントで、SWE-2がオープンウェイトでリリースされるか、DeepSeek Flash 4.1のようなモデルと比較されるかが問われています。
  • 製品体験 – 混在した報告：一部のユーザーは以前のSWE‑1.7が使いづらかったと述べている一方、他のユーザーはSWE-2のUIであるDevinがプルリクエスト自動化の生産性を向上させていると報告しています。
  • 利用可能性 – モデルは現在、CognitionのDevin Desktop、CLI、Web、Fusionプラットフォームを通じて利用可能。オープンルーターまたはサードパーティAPI統合の発表はまだありません。

リリースがコーディングエージェントの分野に与える意味

  • コスト・パフォーマンスの優位性 – SWE-2は、単一のマルチエフェクトRLトレーニングモデルが、トップクラスの解決率と大幅なタスク単価の低減を同時に達成可能であることを示しています。
  • 方法論的貢献 – パレートに裏付けられた線形コストペナルティは、ユーザーの予算のスケールに応じたモデルを訓練するための原理的で再現可能なレシピを提供します。
  • 広範な採用の可能性 – Cognitionがウェイトをオープンにするか、競争力のあるAPI価格を提供すれば、SWE-2はFable 5.1やGPT‑6 Astraのようなプロプライエタリエージェントの実用的な代替手段となる可能性があります。
  • 未解決の問い – コミュニティは、提示されたベンチマークを超えた現実世界での一般化能力や、モデルのオープン性について依然として不確実な状態です。

参考文献

  1. Lu et al., FrontierCode 1.1, 2026年7月. https://cognition.com/blog/frontier-code-1.1
  2. Pan et al., SWE‑1.7: Frontier Intelligence at a Fraction of the Cost, 2026年7月. https://cognition.com/blog/swe-1-7
  3. Kimi Team, Kimi K3: Open Frontier Intelligence, arXiv:2607.24653, 2026年7月. https://arxiv.org/abs/2607.24653
  4. Kool et al., Buy 4 REINFORCE Samples, Get a Baseline for Free!, ICLR 2019ワークショップ. https://openreview.net/pdf?id=r1lgTGL5DE
  5. Greensmith et al., Variance Reduction Techniques for Gradient Estimates in RL, JMLR 5, 2004. https://jmlr.org/papers/volume5/greensmith04a/greensmith04a.pdf
  6. Hao et al., On‑Policy RL with Optimal Reward Baseline, arXiv:2505.23585, 2025年5月. https://arxiv.org/abs/2505.23585
  7. Cheng et al., DSpark: Confidence‑Scheduled Speculative Decoding, arXiv:2607.05147, 2026年7月. https://arxiv.org/abs/2607.05147
  8. Li et al., SpecForge: Efficient Training for Speculative Decoding, arXiv:2603.18567, 2026年3月. https://arxiv.org/abs/2603.18567
  9. Cognition Team, Measuring the Trustworthiness of Open‑Source‑Derived Models, 2026年7月. https://cognition.com/blog/measuring-open-source-model-trustworthiness

Sources

関連