Cognition SWE-1.7 릴리즈 노트: 소프트웨어 엔지니어링을 위한 최첨단 인텔리전스
Cognition SWE-1.7 릴리즈 노트: 소프트웨어 엔지니어링을 위한 최첨단 인텔리전스
Cognition은 SWE-1.7을 출시했습니다. 이 모델은 소프트웨어 엔지니어링을 위한 최첨단 수준의 인텔리전스를 훨씬 낮은 비용으로 제공하도록 설계되었습니다. Kimi K2.7 기반으로 구축되었으며, 장기 비동기 작업에 최적화되어 현재 Cerebras의 Devin에서 초당 1,000 토큰(TPS)으로 이용할 수 있습니다.
성능 벤치마크
SWE-1.7은 에이전시 코딩 벤치마크에서 높은 통과율을 보이며 GPT-5.5 및 Opus 4.8과 근접한 경쟁력을 나타냅니다.
| 벤치마크 | SWE-1.7 | Kimi K2.7 Code | GPT-5.5 | Opus 4.8 | Opus 4.7 | GLM-5.2 | Composer 2.5 | SWE-1.6 |
|---|---|---|---|---|---|---|---|---|
| FrontierCode 1.1 Main | 42.3% | 30.1% | 43.0% | 46.5% | 38.5% | 24.5% | 25.6% | 9.4% |
| Terminal-Bench 2.1 | 81.5% | 72.7% | 84.2% | 86.9% | 83.0% | 81.0% | 76.0% | 39.7% |
| SWE-Bench Multilingual | 77.8% | 73.5% | 76.8% | 84.4% | 80.5% | 74.5% | 71.6% | 58.3% |
기술 아키텍처 및 학습
SWE-1.7은 강화 학습(RL) 파이프라인에 대한 광범위한 개선을 통해 개발되었으며, "사후 학습 한계"라는 개념에 도전하여 Kimi K2.7 기반 대비 상당한 향상을 달성했습니다.
엔트로피 보존 및 학습 안정화
엔트로피 붕괴(모델이 탐색을 멈추고 보상이 정체되는 현상)를 방지하기 위해 Cognition은 롤아웃에서 top‑p 샘플링을 적용했습니다. 이로 인해 발생하는 학습‑추론 불일치를 해결하기 위해 **샘플링 분포 재생(sampling distribution replay)**을 개발했으며, 이는 샘플링 중 사용 가능한 토큰을 기록하고 트레이너에서 확률을 재정규화합니다. 이 과정은 학습 신호가 높은 토큰에 최적화를 집중시켜 그래디언트 노이즈를 감소시킵니다.
다중 클러스터 학습 및 내결함성
Cognition은 세 대륙에 걸친 네 개의 데이터센터에 분산된 RL 아키텍처를 활용했습니다.
- 가중치 업데이트: 신선도와 지연을 최소화하기 위해 트레이너는 **압축된 가중치 델타(compressed weight deltas)**를 클라우드 객체 스토리지를 통해 전송하며, 전송 크기를 99% 이상 감소시킵니다. 1조 파라미터 모델의 대륙 간 업데이트는 1~2분 내에 완료됩니다.
- 내결함성: 추론 엔진은 무상태이며 NVIDIA Dynamo가 관리합니다; 장애 발생 시 트래젝터리를 정상 작업자에게 재라우팅합니다. 트레이너는 비동기 체크포인팅을 로컬 디스크에 수행하고 피어 복제를 통해 복구 시간을 몇 초 수준으로 유지합니다.
장기 작업을 위한 자체 압축
원시 컨텍스트 윈도우를 초과하는 작업을 처리하기 위해 SWE-1.7은 **자체 압축(self‑compaction)**을 사용합니다. 모델은 작업 상태를 요약하고 그 요약으로부터 재개하도록 학습되어, 롤아웃이 최대 6시간까지 지속될 수 있습니다.
모델이 과도하게 장황해지는 현상을 방지하기 위해 Cognition은 **교대 길이 페널티(alternating length penalty)**를 적용합니다. 모델은 "제한 없는 단계(unconstrained phases)"(성공 최적화)와 "예산 단계(budget phases)"(토큰, 턴, 시간 비용 예산 초과 솔루션에 페널티 부여) 사이를 교대로 전환합니다.
데이터 품질 및 검증 엄격성
학습 데이터는 모델이 낮은 비율로만 해결하는 작업에 초점을 맞춰 학습 신호를 극대화하도록 선별되었습니다. 보상 해킹 및 부정 행위를 방지하기 위해 Cognition은 네트워크 제한 샌드박스, 깃 히스토리 제거, 그리고 부정 행위를 시도하는 모든 트래젝터리에 보상 0을 부여하는 정책을 구현했습니다.
모델 행동 및 관찰
SWE-1.7은 기본 모델인 Kimi K2.7 Code와 비교해 뚜렷한 행동 변화를 보입니다:
- 압축된 사고 사슬(Condensed Chain‑of‑Thought): 교대 길이 페널티 덕분에 모델은 추론 과정에서 기능어와 문장을 더 짧게 사용합니다.
- 깊은 코드베이스 탐색: SWE-1.7은 행동에 앞서 도구 호출, 파일 읽기, 검색을 훨씬 많이 수행합니다. 루트 원인을 조사하고 엣지 케이스를 작은 Python 스크립트로 탐색하는 경향이 높으며, 추측에 의존하지 않습니다.
- 증가된 변경 범위: 추론이 늘어나면서 모델은 작업에 꼭 필요한 것보다 더 많은 파일을 수정하고 테스트 케이스를 작성하는 경우가 빈번합니다.
커뮤니티 시각 및 비판
개발자와 연구자 사이의 논의에서는 보고된 벤치마크에 대해 몇 가지 회의적인 의견이 제기되었습니다:
"CursorBench가 Cursor 모델을 가장 높게 평가하고, Cognition의 벤치는 Cognition 모델을 가장 높게 평가할 가능성은 얼마나 될까요? ... 그들의 학습 데이터와 벤치마크가 동일한 데이터셋(Devin/Cursor 인터랙션 로그)에서 나오기 때문에 자연스럽게 과적합됩니다."
다른 비평가들은 artificialanalysis.ai와 같은 제3자 평가와의 불일치를 지적하며, 벤치마크가 선택적으로 제시되었거나 모델 성능이 특정 평가 세트에만 일반화될 수 있다고 주장했습니다.
요약: Cognition은 장기‑에이전시 소프트웨어 엔지니어링 작업에 최적화된 SWE-1.7 모델을 출시했으며, 특화된 코딩 벤치마크에서 GPT-5.5 및 Opus 4.8과 견줄 만한 성능을 달성했습니다.
제목: Cognition SWE-1.7 릴리즈 노트: 소프트웨어 엔지니어링을 위한 최첨단 인텔리전스