Anthropic Claude Code 품질 보고서 업데이트: 회귀 및 수정 사항에 대한 사후 분석

지난 한 달 동안 Anthropic은 Claude 응답의 성능 저하에 대한 보고를 조사하여 Claude Code, Claude Agent SDK 및 Claude Cowork에 영향을 미치는 세 가지 별개의 변경 사항으로 문제를 추적했습니다. 세 가지 문제 모두 4월 20일(v2.1.116) 기준으로 해결되었으며, 핵심 API 및 추론 계층은 영향을 받지 않은 것으로 확인되었습니다.

이 게시물은 이러한 회귀의 근본 원인, 구현된 수정 사항, 그리고 향후 유사한 품질 문제를 방지하기 위해 Anthropic이 채택하는 새로운 절차적 안전 장치에 대해 자세히 설명합니다.

품질 저하 문제 개요

일관되지 않은 저하에 대한 총체적 보고는 서로 다른 시기에 배포된 세 가지 별개의 무관한 변경 사항으로 인해 발생했습니다. 내부 사용이나 평가가 처음에 식별된 문제를 재현하지 못했고 변경 사항이 트래픽의 다른 부분에 영향을 미쳤기 때문에 초기 조사는 어려웠습니다. 문제는 궁극적으로 사용자 피드백을 통해 해결되었으며, 이를 통해 Anthropic은 근본 원인을 식별하고 확인할 수 있었습니다.

회귀 1: Claude Code의 기본 추론 노력 변경

Anthropic은 3월 4일에 Claude Code의 기본 추론 노력을 high에서 medium으로 변경한 사항을 되돌렸습니다. 초기 변경은 과도한 지연 시간을 줄이고 높은 노력 모드에서 UI가 멈춘 것처럼 보이는 것을 방지하기 위한 것이었지만, 이러한 절충으로 인해 사용자들은 Claude Code가 덜 지능적으로 느껴진다고 보고했습니다.

2월에 Opus 4.6이 출시되었을 때 기본 추론 노력은 high로 설정되었습니다. 간헐적인 긴 꼬리 지연 시간에 대한 사용자 피드백에 따라 기본값은 medium으로 낮아졌습니다. 내부 테스트에 따르면 중간 노력은 대부분의 작업에서 약간 낮은 지능을 달성했지만 지연 시간은 크게 줄었습니다. 그러나 출시 후 대부분의 사용자가 중간 기본값을 유지하여 지능 저하에 대한 보고가 발생했습니다. 결과적으로 Anthropic은 4월 7일에 이 결정을 번복하고 Opus 4.7의 기본 노력을 xhigh로, 다른 모든 모델의 기본 노력을 high로 설정했습니다.

회귀 2: 이전 추론을 삭제하는 캐싱 최적화 버그

유휴 세션 재개 비용을 줄이기 위해 3월 26일에 배포된 효율성 개선으로 인해 Claude가 건망증이 있고 반복적으로 보이게 만드는 심각한 버그가 도입되었습니다. 설계는 세션이 한 시간 이상 유휴 상태가 된 후에만 이전 생각 섹션을 한 번만 지우려는 의도였습니다. 그러나 버그로 인해 이 지우기 작업이 세션의 나머지 기간 동안 매 턴마다 실행되었습니다.

이러한 생각 기록의 지속적인 삭제로 인해 후속 요청은 가장 최근의 추론 블록만 유지하여 문제를 악화시켰습니다. 이 메모리 손실은 건망증, 반복, 이상한 도구 선택으로 표면화되었습니다. 또한 생각 블록을 지속적으로 삭제하면 캐시 미스가 발생하여 사용량 제한이 예상보다 빨리 소진된다는 별도의 보고에 기여했습니다. 이 버그는 4월 10일 v2.1.101에서 수정되었습니다.

회귀 3: 장황함을 줄이기 위한 시스템 프롬프트 변경

Anthropic은 4월 16일에 추가된 시스템 프롬프트 지침을 되돌렸습니다. 이 지침은 본질적으로 장황한 경향이 있는 Claude Opus 4.7의 장황함을 줄이기 위한 것이었습니다. 시스템 프롬프트에 추가된 특정 지침은 다음과 같습니다:

"길이 제한: 도구 호출 사이의 텍스트를 ≤25단어로 유지하십시오. 작업에 더 많은 세부 정보가 필요하지 않는 한 최종 응답을 ≤100단어로 유지하십시오."

이 변경 사항은 Opus 4.7과 함께 출시되었지만, 이후 절제(영향을 테스트하기 위해 시스템 프롬프트에서 줄을 제거) 결과 Opus 4.6과 4.7 모두에서 지능이 3% 하락한 것으로 나타났습니다. 프롬프트는 4월 20일 릴리스의 일부로 즉시 되돌려졌습니다.

향후 품질 보증 및 예방 조치

유사한 문제가 다시 발생할 가능성을 크게 줄이기 위해 Anthropic은 개발 수명 주기에 몇 가지 구조적 및 절차적 변경 사항을 구현하고 있습니다:

향상된 내부 충실도: 더 많은 내부 직원이 내부 테스트 버전이 아닌 정확한 공개 빌드의 Claude Code를 사용하게 됩니다.
향상된 코드 검토: Anthropic은 내부 코드 검토 도구를 개선하고 이 개선된 버전을 고객에게 제공하고 있습니다. 백테스트에 따르면 Opus 4.7은 완전한 코드 저장소가 제공될 때 캐싱 버그를 찾을 수 있었으며, 이는 더 나은 컨텍스트 처리가 필요함을 나타냅니다. 코드 검토를 위한 컨텍스트로 추가 저장소에 대한 지원이 추가되고 있습니다.
더 엄격한 프롬프트 제어: 시스템 프롬프트 변경 사항을 더 쉽게 검토하고 감사할 수 있도록 새로운 도구가 구축되었습니다. Anthropic은 모든 시스템 프롬프트 변경에 대해 광범위한 모델별 평가 제품군을 실행하고 각 줄의 영향을 이해하기 위해 절제를 계속할 것입니다.
점진적 출시: 지능과 상충될 수 있는 변경 사항에 대해 Anthropic은 침지 기간, 더 광범위한 평가 제품군, 점진적 출시를 구현하여 문제를 더 일찍 발견할 것입니다.