Cognition SWE-1.7 リリースノート: ソフトウェアエンジニアリングのための最先端インテリジェンス

Cognitionは、ソフトウェアエンジニアリング向けに最先端レベルのインテリジェンスを大幅に低いコストで提供するために設計されたモデル、SWE-1.7をリリースしました。Kimi K2.7をベースに構築されたこのモデルは、長期的な非同期タスクに最適化されており、現在はCerebras経由のDevinで1,000 tokens per second (TPS)で利用可能です。

パフォーマンス・ベンチマーク

SWE-1.7は、エージェント型コーディング・ベンチマークにおいて高い合格率を示しており、GPT-5.5やOpus 4.8といったモデルと密接に競合しています。

Benchmark	SWE-1.7	Kimi K2.7 Code	GPT-5.5	Opus 4.8	Opus 4.7	GLM-5.2	Composer 2.5	SWE-1.6
FrontierCode 1.1 Main	42.3%	30.1%	43.0%	46.5%	38.5%	24.5%	25.6%	9.4%
Terminal-Bench 2.1	81.5%	72.7%	84.2%	86.9%	83.0%	81.0%	76.0%	39.7%
SWE-Bench Multilingual	77.8%	73.5%	76.8%	84.4%	80.5%	74.5%	71.6%	58.3%

技術的アーキテクチャとトレーニング

SWE-1.7は、Reinforcement Learning (RL) パイプラインの広範な改善を通じて開発されました。Kimi K2.7ベースのモデルに対して大幅な向上を達成することで、「ポスト・トレーニングの天井」という概念に挑戦しています。

エントロピーの維持とトレーニングの安定化

エントロピーの崩壊（モデルが探索を停止し、報酬が停滞する現象）を防ぐため、Cognitionはロールアウトにおけるtop-p samplingを実装しました。その結果生じるトレーニングと推論の不一致を解決するために、彼らはsampling distribution replayを開発しました。これは、サンプリング中に利用可能なトークンを記録し、トレーナー内で確率を再正規化する手法です。このプロセスにより、学習信号の高いトークンに最適化を集中させることで、勾配ノイズを低減します。

マルチクラスター・トレーニングとフォールト・トレランス

Cognitionは、3つの大陸にまたがる4つのデータセンターを利用した分散RLアーキテクチャを利用しました。

• Weight Updates: Staleness（鮮度不足）とレイテンシを最小限に抑えるため、トレーナーはクラウド・オブジェクト・ストレージを介してcompressed weight deltasを送信し、転送サイズを分量以上に99%以上削減します。1Tパラメータのモデルの、大陸間アップデートは1〜2分で完了します。
• Fault Tolerance: 推論エンジンはステートレスであり、NVIDIA Dynamoによって管理されます。障害が発生した場合は、正常なワーカーへ軌跡（trajectories）をリルーティングします。トレーナーは、ローカルディスクへの非同期チェックポインティングとピア・レプリケーションを使用して、リカバリが数秒で済むようにします。

長期タスクのための自己圧縮 (Self-Compaction)

生のコンテキスト・ウィンドウを超過するタスクを扱うため、SWE-1.7はself-compactionを採用しています。モデルは自身の作業状態を摘要（summarize）し、その要約から再開することにトレーニングされており、これによりロールアウトの期間を最大6時間に達することができます。

モデルが過度に冗長になること（推論モデルに共通する傾向）を防ぐため、Cognitionはalternating length penaltyを使用しています。モデルは、「unconstrained phases」（成功のために最適化）と「budget phases」（トークン、ターン、時間のコスト・バッジットを上回るソリューションを罰する）の間を交互に入れ替えるように動作します。

データ品質と検証器の厳格さ

トレーニング・データは、モデルが解決できる割合が低いタスクに焦点を当てることで、学習信号を最大化するようにキュレーションされています。報酬ハッキングや不正行為を防ぐため、Cognitionはネットワーク制限付きのサンドボックス、git履歴の除去、および不正を試みるあらゆる軌跡に対して報酬を0に設定する仕組みを実装しました。

モデルの挙動と観察事項

SWE-1.7は、ベースモデルであるKimi K2.7 Codeと比較して、明確な挙動の転換を示しています。

• Condensed Chain-of-Thought: alternating length penaltyにより、モデルは推論プロセスにおいて機能語の使用を減らし、より短い文章を使用します。
• Deep Codebase Exploration: SWE-1.7は、行動に移る前に、ツール呼び出し、ファイル読み込み、および検索を大幅に多く行います。推測するのではなく、小さなPythonスクリプトを使用して、根本原因を調査し、エッジケースを調査することに長けています。

増加した変更範囲 (Increased Change Scope)

推論能力の向上は副作用として、モデルがタスクに対して厳密に必要とされるよりも、より多くのファイルに触れ、より多くのテストケースを記述することになる傾向があります。

コミュニティ・パースペクティブと批判

開発者や研究者の間での議論は、報告されたベンチマークについて、いくつかの懐疑的な見解を示しています。

"CursorBenchがCursorのモデルを最高位にランク付けし、CognitionのベンチマークがCognitionのモデルをモデルを最高位にランク付けする場合、その確率はどれくらいでしょうか？ ... 彼らのトレーニング・データとベンチマークは、同じデータセット (Devin/Cursor interaction logs) から来ているため、自然にオーバーフィットしています。"

他の批判者は、artificialanalysis.aiにおける評価などの第三者評価との不一致を指摘し、ベンチマークがチェリーピッキングされているか、あるいはモデルの性能が特定の評価セットを超えて汎用化できない可能性があることを示唆しています。