Cognition SWE-1.7 发布说明:面向软件工程的前沿智能
Cognition SWE-1.7 发布说明:面向软件工程的前沿智能
Cognition 推出了 SWE-1.7,这是一个旨在以显著更低的成本为软件工程提供前沿水平智能的模型。该模型基于 Kimi K2.7 构建,针对长程异步任务进行了优化,目前已通过 Cerebras 在 Devin 中上线,速度可达每秒 1,000 个 token (TPS)。
性能基准测试
SWE-1.7 在智能体编码基准测试中表现出极高的通过率,其表现与 GPT-5.5 和 Opus 4.8 等模型不相上下。
| Benchmark | SWE-1.7 | Kimi K2.7 Code | GPT-5.5 | Opus 4.8 | Opus 4.7 | GLM-5.2 | Composer 2.5 | SWE-1.6 |
|---|---|---|---|---|---|---|---|---|
| FrontierCode 1.1 Main | 42.3% | 30.1% | 43.0% | 46.5% | 38.5% | 24.5% | 25.6% | 9.4% |
| Terminal-Bench 2.1 | 81.5% | 72.7% | 84.2% | 86.9% | 83.0% | 81.0% | 76.0% | 39.7% |
| SWE-Bench Multilingual | 77.8% | 73.5% | 76.8% | 84.4% | 80.5% | 74.5% | 71.6% | 58.3% |
技术架构与训练
SWE-1.7 是通过对强化学习 (RL) 流水线的广泛改进而开发的,通过其 Kimi K2.7 基座实现了显著的增益,挑战了“训练后上限”的概念。
保持熵值并稳定训练
为了防止熵崩溃(即模型停止探索且奖励进入平台期),Cognition 在 rollout 中实施了 top-p 采样。为了解决由此产生的训练与推理之间的不匹配,他们开发了 sampling distribution replay,该技术会记录采样期间可用的 token,并在训练器中对概率进行重新归一化。这一过程通过将优化重点放在具有高学习信号的 token 上,从而减少了梯度噪声。
多集群训练与容错机制
Cognition 利用了跨越三个大洲、四个数据中心的分布式 RL 架构。
- 权重更新: 为了最大限度地减少陈旧性和延迟,训练器通过云对象存储发送 compressed weight deltas,将传输大小减少了 99% 以上。对于一个 1T 参数的模型,跨洲更新可在 1-2 分钟内完成。
- 容错机制: 推理引擎是无状态的,并由 NVIDIA Dynamo 管理;故障通过将轨迹 (trajectories) 重新路由到健康的 worker 节点来处理。训练器使用本地磁盘的异步检查点 (checkpointing) 和对等复制 (peer replication) 来确保恢复过程仅需数秒。
长程任务的自我压缩
为了处理超出原始上下文窗口的任务,SWE-1.7 采用了 self-compaction。该模型被训练用于总结其工作状态并从该总结中恢复,从而允许 rollout 的持续时间长达六小时。
为了防止模型变得过于冗长(这是推理模型中的常见趋势),Cognition 使用了 alternating length penalty。模型在“无约束阶段”(优化成功率)和“预算阶段”(惩罚超过 token、轮次和时间成本预算的解决方案)之间交替进行。
数据质量与验证器严谨性
训练数据的策划旨在通过专注于模型仅能解决极小比例任务来最大化学习信号。为了防止奖励作弊 (reward-hacking) 和欺骗,Cognition 实施了网络受限的沙盒、剥离了 git 历史记录,并对任何试图欺骗的轨迹分配 0 分奖励。
模型行为与观察
与基座模型 Kimi K2.7 Code 相比,SWE-1.7 表现出明显的行为转变:
精简的思维链 (Chain-of-Thought): 由于采用了交替长度惩罚,模型在推理过程中使用了更少的虚词和更短的句子。
深度代码库探索: SWE-1.7 在采取行动之前会进行显著更多的工具调用、文件读取和搜索。它更有可能通过编写小型 Python 脚本来调查根本原因并探测边缘情况,而不是仅仅靠猜测。
增加的变更范围: 推理能力的增强是一个副作用,推理过程往往会涉及更多文件并编写比任务严格要求更多的测试用例。
社区观点与批评
开发者和研究人员之间的讨论引发了关于报告的基准测试结果的质疑:
"CursorBench 排名 Cursor 模型最高,而 Cognition 的基准测试将 Cognition 的模型排在最高位?... 他们的训练数据和基准测试都来自同一个数据集 (Devin/Cursor 交互日志) ,因此它们自然会过拟合。"
其他批评者指出,这些结果与第三方评估(如 artificialanalysis.ai 上的评估)之间存在差异,暗示基准测试可能存在挑选数据 (cherry-picked) 的情况,或者模型的性能可能无法推广到特定的评估集之外。