Cognition SWE-1.7 發佈說明:軟體工程的前沿智能

Cognition SWE-1.7 發佈說明:軟體工程的前沿智能

Cognition 已推出 SWE-1.7,這是一款旨在以顯著更低的成本,為軟體工程提供前沿級別智能的模型。該模型基於 Kimi K2.7 構建,針對長週期非同步任務進行了優化,目前已透過 Cerebras 在 Devin 中提供,速度達每秒 1,000 個 token (TPS)。

性能基準測試

SWE-1.7 在代理式編碼基準測試中展現出極高的通過率,與 GPT-5.5 和 Opus 4.8 等模型競爭激烈。

基準測試 SWE-1.7 Kimi K2.7 Code GPT-5.5 Opus 4.8 Opus 4.7 GLM-5.2 Composer 2.5 SWE-1.6
FrontierCode 1.1 Main 42.3% 30.1% 43.0% 46.5% 38.5% 24.5% 25.6% 9.4%
Terminal-Bench 2.1 81.5% 72.7% 84.2% 86.9% 83.0% 81.0% 76.0% 39.7%
SWE-Bench Multilingual 77.8% 73.5% 76.8% 84.4% 80.5% 74.5% 71.6% 58.3%

技術架構與訓練

SWE-1.7 是透過對強化學習 (RL) 流水線進行廣泛改進而開發的,藉由在 Kimi K2.7 基礎模型之上取得顯著增益,挑戰了「訓練後上限」的概念。

保留熵值並穩定訓練

為了防止熵崩塌(即模型停止探索且獎勵進入平台期),Cognition 在 rollouts 中實施了 top-p sampling。為了解決隨之而來的訓練與推理不匹配問題,他們開發了 sampling distribution replay,該技術會記錄採樣期間可用的 token,並在訓練器中重新歸一化概率。此過程透過將優化重點放在具有高學習信號的 token 上,從而減少了梯度噪聲。

多集群訓練與容錯機制

Cognition 利用了橫跨三個大洲、四個數據中心的分布式 RL 架構。

  • 權重更新: 為了將陳舊性與延遲降至最低,訓練器透過雲端對象存儲發送 compressed weight deltas,將傳輸大小減少了 99% 以上。對於一個 1T 參數的模型,跨洲更新可在 1-2 分鐘內完成。
  • 容錯機制: 推理引擎是無狀態的,並由 NVIDIA Dynamo 管理;故障透過將軌跡重新路由至健康的 worker 處理。訓練器使用本地磁碟的異步檢查點 (checkpointing) 以及對等複製 (peer replication) 來確保恢復只需幾秒鐘。

長週期任務的自我壓縮

為了處理超出原始上下文窗口的任務,SWE-1.7 採用了 self-compaction。模型被訓練去總結其工作狀態並從該總結中恢復,從而使 rollouts 的持續時間可達長達六小時。

為了防止模型變得過於冗長(這是推理模型常見的趨勢),Cognition 使用了 alternating length penalty。模型在「無約束階段」(優化成功率)與「預算階段」(懲罰超過 token、回合數與時間成本預算的解決方案)之間交替進行。

數據質量與驗證器嚴謹性

訓練數據經過精心策劃,透過專注於模型僅能解決極低比例任務來最大化學習信號。為了防止獎勵黑客行為 (reward-hacking) 與作弊,Cognition 實施了網絡受限的沙盒環境、剝離了 git 歷史記錄,並對任何嘗試作弊的軌跡分配 0 分獎勵。

模型行為與觀察

與其基礎模型 Kimi K2.7 Code 相比,SWE-1.7 展現出明顯的行為轉變:

  • 精簡的思維鏈 (Chain-of-Thought): 由於採用了交替長度懲罰,模型在推理過程中使用了較少的虛詞與較短的句子。
  • 深度的代碼庫探索: SWE-1.7 在採取行動前會執行顯著更多的工具調用、文件讀取與搜索。它更有可能透過小型 Python 腳本來調查根本原因與探測邊緣案例,而非僅僅靠猜測。

增加的變更範圍

增加推理能力的一個副作用是,模型經常會接觸到比任務嚴格要求更多的文件,並編寫比任務要求的更多的測試案例。

社群觀點與批評

開發者與研究人員之間的討論引發了對報告的基準測試結果的懷疑:

"CursorBench 讓 Cursor 的模型排名第一,而 Cognition 的基準測試讓 Cognition 的模型排名第一?... 他們的訓練數據與基準測試都來自相同的數據集 (Devin/Cursor 交互記錄),因此它們自然會過擬合。"

其他批評者指出,這些結果與第三方評估(例如 artificialanalysis.ai 上的評估)存在差異,暗示基準測試可能經過挑選 (cherry-picked),或者模型的性能可能無法泛化到所使用的特定評估集之外。

Sources