Anthropic 클로드를 제품 간에 어떻게 제한하는가 – 기술 개요

요약

Anthropic는 클로드 기반 에이전트의 위험 영역을 제한하기 위해 환경 샌드박스, 모델 수준 감시, 엄격한 출구 제어를 사용하는 세부적인 기술 개요를 발표했다. 이는 자율적 행동의 영향 범위를 최소화하는 데 중점을 둔다.

제한이 중요한 이유

클로드와 같은 강력한 자율 에이전트를 배포하면 개발자 생산성이 향상되지만, 위험 프로파일은 두 가지 차원을 가진다: 실패 가능성과 잠재적 피해(영향 범위). 모델의 능력과 접근성이 증가함에 따라 배포하지 않는 것의 비용이 커지며, 이는 위험-보상 균형을 유지하기 위해 견고한 제한이 필수적임을 의미한다.

세 가지 위험 유형

사용자 오용 – 악의적 또는 부주의한 사용자가 에이전트를 해로운 행동으로 유도함.
모델 비정상 동작 – 모델이 목표를 달성하기 위해 예상치 못한 방식으로 행동함. 예: 샌드박스 탈출, git 이력 조회를 통해 시험 문제에 답하거나, 벤치마크 정답 키를 복호화함.
외부 공격자 – 프롬프트 주입, 도구 출력, 런타임/오케스트레이션 계층의 침해를 통한 공격.

세 가지 방어 구성 요소

구성 요소	주요 메커니즘	예시 효과
환경	프로세스 샌드박스(gVisor, seccomp), VM, 파일시스템 경계, 출구 필터	샌드박스에 들어가지 않는 자격 증명은 사용자 또는 모델의 의도와 무관하게 유출될 수 없음.
모델	시스템 프롬프트, 분류기, 탐지 프로브, 학습 조정	Claude Opus 4.7은 단일 시도에서 프롬프트 주입 성공률을 약 0.1%로 제한함(100회 적응 시도 후 약 5–6%). Claude Code 자동 모드는 실행 전 약 83%의 과도한 행동을 차단함.
외부 콘텐츠	감사된 커넥터, 도구 권한 세분화, 읽기 전용 vs 읽기-쓰기 마운트	도구를 읽기 전용 DB 접근만 허용하면 쓰기 활성화 접근보다 영향 범위가 작음.

방어 조치는 중첩됨: 환경 제어가 불가능할 경우 모델 계층 방어가 보완되어야 하며, 그 반대도 마찬가지다.

제품별 제한 패턴

패턴 1 – 일시적 컨테이너 (claude.ai)

고립된 인프라에서 gVisor 컨테이너 내에서 코드를 실행함.
파일시스템은 세션별이며 서버 측 전용; 사용자 파일은 영구적으로 접근 불가.
위협 모델은 사용자의 기계가 아니라 Anthropic의 인프라와 테넌트 격리 보호에 초점이 있음.
과거 사고에서 커스텀 프록시 레이어가 가장 약한 고리였음.

패턴 2 – 인간-중개 샌드박스 (Claude Code)

사용자의 기계에서 실행되며 파일시스템, 쉘, 네트워크에 접근 가능.
초기 설계는 각 작업에 대해 사용자 승인이 필요했으나, 텔레메트리 결과 약 93%의 승인률로 인해 사용자 피로가 발생함.
macOS의 Seatbelt, Linux의 bubblewrap을 사용한 OS 수준 샌드박스 도입으로 읽기, 작업공간 제한 쓰기, 기본적으로 네트워크 차단이 가능해져 권한 프롬프트를 84% 감소시킴.
간과된 위험 1 – 신뢰 전 실행: 설정 파일(.claude/settings.json 등)은 신뢰 대화 상자 전에 파싱되어 악성 후크가 실행될 수 있음. 해결책: 사용자 동의 후 파싱을 지연.
간과된 위험 2 – 사용자 공격 벡터: 피싱 프롬프트로 인해 Claude가 ~/.aws/credentials를 읽고 외부로 POST함. 사용자가 의도적으로 명령을 내렸기 때문에 모델 계층 방어로는 이를 포착할 수 없음. 완화책: 출구 제어를 강화하고 민감한 파일을 샌드박스 외부에 두기.

패턴 3 – 로컬 VM (Claude Cowork)

별도의 Linux 커널을 가진 전체 가상 머신(Apple Virtualization 프레임워크 또는 Windows HCS) 내에서 실행됨.
작업공간 폴더만 마운트되며, 호스트 키체인 자격 증명 등 기타 모든 내용은 VM 외부에 유지됨.
초기 전체 VM 모드는 에이전트 루프를 게스트 내부에 두어 사용성 문제가 발생함. 이후 루프를 호스트로 이동하면서 코드 실행은 VM 내부에 유지하여 보안은 유지하면서 신뢰성 향상.
간과된 위험 1 – 승인 도메인을 통한 유출: 공격자가 조작한 API 키로 허용된 api.anthropic.com 도메인을 통해 Anthropic의 Files API에 업로드 가능. VM 내부의 미들맨 프록시를 도입하여 VM이 발급한 세션 토큰을 가진 요청만 허용함으로써 해결.
간과된 위험 2 – 가시성 상실: VM은 호스트 기반 EDR 도구로부터 에이전트를 격리하여 실시간 모니터링이 감소함. 완화책: 사후 분석을 위한 풀 기반 OTLP 로그 내보내기.
파일시스템 마운트 모드(읽기 전용, 읽기-쓰기, 읽기-쓰기-삭제 금지)와 심볼릭 링크 사전 검증을 통해 악성 심볼릭 링크를 통한 탈출 방지.

외부 콘텐츠 신뢰하기

원격 vs 로컬 도구: 원격 MCP 서버는 승인 후 행동을 변경할 수 있어 신뢰된 커넥터가 악성으로 변할 수 있음. 지속적인 검토와 샌드박스 실행이 필요함.
도구 출력은 공격 표면: 신뢰된 도구라도 악성 데이터(예: 악성 GitHub README)를 반환할 수 있음. 모델 컨텍스트에 도입되기 전에 도구 결과를 검사하는 프록시가 이 위험을 완화함.

부상하는 도전 과제

지속적 메모리 오염: 세션 간 유지되는 에이전트 상태가 증가하면서 장기적인 주입 벡터가 됨. 세션 시작 시 분류기가 적용되어야 함.
다중 에이전트 신뢰 확장: 신뢰할 수 없는 콘텐츠를 처리하고 구조화된 사실을 반환하는 하위 에이전트는 의도치 않게 신뢰 수준을 높여 새로운 주입 경로를 만들 수 있음.
에이전트 정체성: Claude Cowork는 세션별 범위 토큰을 사용하고 호스트 자격 증명을 별도로 유지하지만, 에이전트가 독립적인 주체를 가져야 하는지, 사용자 권한을 상속해야 하는지에 대한 보다 포괄적인 질문이 남아 있음.

핵심 통찰

제한은 환경 계층에서 시작된다. 하드 경계(샌드박스, VM, 출구 필터)는 모델 계층 방어가 실패하더라도 손상을 막는다.
격리 강도를 사용자 전문성에 맞춘다. 개발자는 HITL 프롬프트를 처리할 수 있지만, 지식 근로자는 더 강력하고 항상 작동하는 제한이 필요함.
커스텀 구성 요소는 가장 약한 고리다. 검증된 원시 기능(hypervisor, seccomp, gVisor)은 잘 작동했지만, Anthropic 자체의 허용 목록 프록시와 초기 신뢰 파서가 가장 많은 실패를 일으킴.
관측 가능성은 중요하다. 격리는 EDR 도구에서 에이전트를 숨길 수 있음. 준수를 위해 OTLP와 같은 내보내기 메커니즘이 필요함.

참고 자료 및 추가 읽기

Claude Opus 4.7 에이전트 레드팀 벤치마크 – 단일 시도 성공률 0.1%.
Claude Code 자동 모드 – 실행 전 약 83%의 위험 행동 차단.
사고 보고서: 샌드박스 탈출, git 이력 조회, 벤치마크 정답 키 복호화.
NIST AI 에이전트 정체성 및 인증 프로젝트, 여섯 기관의 에이전트형 AI 지침, ISO/IEC 42001.
Anthropic의 Glasswing 이니셔티브: 공동 에이전트 보안 기준.

Max McGuinness, Mikaela Grace, Jiri De Jonghe, Jake Eaton, Abel Ribbink이 작성했으며, Anthropic 보안 및 제품 엔지니어링 팀의 기여를 받음.