Anthropic, 새로운 3단계 독립 평가자 프레임워크 하에 METR에 직원 수준의 접근 권한 부여
요약: Anthropic은 2026년 10월 15일, 비영리 단체가 자사의 프론티어 모델 위험을 독립적으로 평가하고 결과를 발표할 수 있도록 METR 직원 6명으로 구성된 팀에게 내부 시스템에 대한 직원 수준의 접근 권한을 부여하기 시작했다고 발표했습니다. 이번 협력은 Anthropic의 새로운 3단계 제3자 평가자 프레임워크의 첫 번째 구체적인 사례로, Anthropic은 평가자를 자발적으로 통합하고 있으며 모든 프론티어 AI 기업이 동일하게 해야 한다고 믿는다고 밝혔습니다.
Anthropic이 발표한 내용
Anthropic은 프론티어 AI 모델을 평가하는 비영리 단체인 METR의 팀에게 직원 수준의 접근 권한을 부여하기 시작했습니다. METR은 위험 평가 결과를 발표할 예정입니다.
이번 발표는 두 가지 이전 약속에 따른 것입니다. Anthropic은 "지난달" 자사 모델과 안전 관행에 대한 더 강력한 독립적 제3자 평가를 약속했으며, 기업들이 독립적인 외부 감사인 또는 평가자와 협력하기로 약속한 백악관 초지능 협정(White House Accord on Super Intelligence)에도 서명했다고 밝혔습니다.
Anthropic은 지난 1년 동안 METR과 자사 위험 보고서에 대한 여러 검토를 함께 진행했다고 밝혔습니다. METR 외에도 SecureBio 및 Accenture와 평가자로 협력하고 있으며, Hugging Face를 포함한 여러 다른 조직과 초기 논의를 진행 중이라고 밝혔습니다.
Anthropic이 독립 평가자가 필요한 이유
Anthropic이 제3자 평가를 하는 명시된 이유는 안전 작업과 관련된 모든 정보를 공개적으로 공유할 수 없기 때문입니다. 해당 정보 중 일부는 악의적인 행위자에게 유용할 수 있고, 일부는 컴퓨팅 또는 훈련 정보와 같은 상업적으로 민감한 정보입니다.
Anthropic은 해당 정보를 공개하는 대신 제3자 평가자에게 깊은 접근 권한을 부여하고, 자사 모델 구축과 관련된 위험에 대한 증거와 합리적인 결론을 공유하도록 하고 있습니다. 명시된 목표는 평가자가 프론티어 AI 기업의 시스템에 대해 이해하는 수준과 기업 자체가 이해하는 수준 사이의 격차를 줄이는 것입니다.
Anthropic은 프론티어 모델을 평가하기 위해 평가자가 갖춰야 할 네 가지 요건을 나열합니다.
- 전문성: 정렬 팩킹과 같은 평가가 잘못될 수 있는 방식을 이해하는 것을 포함하여 프론티어 모델의 능력을 평가하는 전문성.
- 독립성: 평가자는 평가 대상 기업의 지분을 보유하거나 재정적 또는 운영적으로 의존해서는 안 됩니다.
- 접근성: 위험을 의미 있게 평가할 수 있는 충분한 접근 권한. 최신 모델에 대한 접근 외에도 평가자는 해당 모델이 훈련된 방식, 안전장치가 작동하는 방식 등에 대한 가시성이 필요합니다.
- 발표의 자유: 모델 또는 프로세스에 대한 관찰과 평가를 발표할 수 있는 자유.
은행 감독 비유
Anthropic은 자사의 접근 방식을 은행 감독에 비유하지만, 비유가 정확하지 않다고 언급합니다. 은행은 외부인보다 자체 위험 포지션에 대해 더 잘 알고 있으므로, 규제 기관은 상주 검사관을 대형 은행 내부에 배치하여 근무하게 합니다. 은행의 위험 감수가 대중을 위협할 수 있다면, 제3자는 이를 사전에 확인하려고 합니다.
Anthropic은 AI 산업을 위한 임베디드 평가를 강력한 안전 감독을 위한 한 단계로 규정하며, 여러 평가자와 신속하게 움직이고 어떤 종류의 파트너십이 효과가 있는지 적극적으로 학습하고 있다고 밝혔습니다.
Anthropic에서 "직원 수준의 접근 권한"의 의미
Anthropic은 6명의 METR 직원을 회사 하드웨어, 사무 공간, 그리고 Anthropic 자체 위험 평가 팀이 접근할 수 있는 수준과 대략 동등한 내부 도구 및 시스템에 대한 접근 권한으로 온보딩했습니다.
고객 데이터, 변호사-의뢰인 특권 정보, 모델 아키텍처 정보 등 명확하게 정의된 소수의 범주를 제외하고, Anthropic 직원들은 정렬 위험을 연구하는 동료 직원과 공유하듯이 임베디드 METR 팀과 정보를 공유하도록 권장됩니다.
Anthropic은 METR과의 협력이 집행 가능한 계약 하에 운영되는 소규모 팀으로 제한된다고 밝혔습니다. 다른 METR 직원들은 해당 팀의 작업에서 분리되어 있으며, 여기에는 다른 프로젝트에서 Anthropic과 협력하는 연구자들도 포함됩니다. Anthropic은 임베디드 평가를 Anthropic의 보안 기준에 따라 운영되는 소수의 자격을 갖춘 사람들이 회사가 어떻게 운영되는지 면밀히 볼 수 있는 방법으로 설명하며, 다른 조직이 Anthropic 또는 고객 및 파트너의 정보를 얻는 방법이 아니라고 명시합니다.
발표 권한 및 편집
METR은 Anthropic의 위험 수준, 사고 또는 관행에 대한 분석을 발표할 것입니다. Anthropic은 발표를 거부할 수 없지만, 정보가 고객 데이터, 변호사-의뢰인 특권 정보, 모델 아키텍처 정보와 같은 좁고 사전 정의된 범주에 속하는 경우 METR에 정보 편집을 요구할 수 있습니다.
METR은 편집된 정보를 공개하지 않는 한, Anthropic의 편집을 공개적으로 특성화하고 편집이 정당했는지에 대한 견해를 밝힐 수 있습니다.
평가자 접근의 3단계
Anthropic은 평가자를 위한 3단계 접근 권한을 개발 중이며, 시간이 지남에 따라 3단계에 여러 평가자를 두고 각 팀이 Anthropic의 위험 상태와 주요 결정에 대한 자체 분석을 발표하기를 희망한다고 밝혔습니다.
| 단계 | 접근 권한 | 발표 권한 |
|---|---|---|
| 1단계 | Anthropic이 제공할 접근 권한을 결정 | 평가자는 Anthropic의 승인을 받아 결과를 발표할 수 있음 |
| 2단계 | 더 많은 정보에 대한 접근 | 평가자는 Anthropic의 승인 없이 발표할 수 있음; Anthropic은 특정 범주의 정보 제거를 여전히 요구할 수 있으며, 평가자는 그러한 편집이 정당했는지에 대한 견해를 발표할 수 있음 |
| 3단계 | 직원 수준의 접근 | 2단계와 유사한 발표 권한 |
METR과의 협력은 3단계에 해당합니다.
기타 평가자 파트너십
Anthropic의 다른 파트너십은 아직 초기 단계에 있기 때문에 해당 평가자들은 더 제한된 정보를 받고 더 제한된 발표 권한을 가집니다. Anthropic은 이러한 초기 협력의 목표는 파트너가 기밀 정보를 보호하고 모델을 평가하는 데 필요한 자원과 전문성을 갖추도록 하는 것이며, 파트너십이 진행되고 신뢰가 구축됨에 따라 더 많은 독립 평가자를 완전히 통합하기를 희망한다고 밝혔습니다.
SecureBio는 현재 1단계에 있습니다. 이전 위험 보고서에 대한 파일럿 검토를 완료하고 발표한 후, Anthropic의 8월 위험 보고서의 화학 및 생물 무기 챕터를 검토하는 과정에 있습니다. Anthropic은 이 검토가 완료된 후 접근 권한과 발표 권한이 증가된 프로젝트로의 전환을 고려할 것이라고 밝혔습니다.
Accenture 및 Faculty는 모델 평가 및 레드팀, 정렬 평가, 모델 안전장치 테스트, 조직 전반의 역량 구축을 포함하는 야심찬 파트너십을 위해 Anthropic과 협력하고 있습니다.
Hugging Face는 Anthropic이 초기 논의 중인 조직 중 하나로 언급했습니다.
프론티어 AI 감독에 대한 의미
Anthropic의 발표는 외부 조직이 민감한 세부 사항을 공개하지 않고 프론티어 연구소의 안전 관행을 검사할 수 있는 구체적이고 계층화된 메커니즘을 확립합니다. 주요 구조적 특징은 상위 단계에서 발표 권한이 재량이 아닌 보장된다는 점, 편집이 사전 정의된 범주로 제한된다는 점, 평가자가 편집이 정당했는지 공개적으로 이의를 제기할 수 있다는 점입니다.
Anthropic은 평가자를 자발적으로 통합하고 있으며 모든 프론티어 AI 기업이 동일하게 해야 한다고 믿는다고 밝혔습니다. 회사는 진행하면서 업데이트를 공유하기 위해 노력하고 있다고 밝혔습니다.