OpenAI 임베디드 평가 1단계 개요

임베디드 평가 개요

OpenAI는 Apollo Research, METR, Transluce, Goodfire 등 4개의 독립 평가 기관에 자사 모델, 학습 데이터 및 모니터링 시스템에 대한 심층적인 접근 권한을 부여하는 새로운 안전성 평가 단계를 시작했습니다. 이 프로그램은 모델 정렬(alignment) 및 안전 장치의 효과에 대한 독립적인 검증을 제공하고, 백악관의 슈퍼 인텔리전스 협약(White House Accord on Super Intelligence)에 따른 회사의 광범위한 안전성 사례 및 약속을 지원하기 위해 설계되었습니다.

파트너 조직 및 중점 분야

각 평가 기관은 전복(subversion) 탐지부터 해석 가능성 및 평가 품질에 이르기까지 파트너십에 고유한 초점을 맞추고 있습니다.

Apollo Research

Apollo Research는 모델이 개발자의 의도에 반하여 은밀하게 행동할 수 있는지 조사할 예정입니다. 이들의 평가는 학습이 전복을 조장하는지 여부와 현재의 레드팀 기법이 이러한 행동을 탐지하기에 충분한지 여부를 포함한 4가지 주요 주장을 다룹니다.

Goodfire

Goodfire는 학습 실행 모니터링 및 정렬에 집중할 예정입니다. 해석 가능성 연구원을 배치하고 독자적인 플랫폼을 활용하여, OpenAI의 내부 연구 팀이 학습 과정에서 안전성을 개선할 수 있도록 실행 가능한 통찰력을 제공하는 것을 목표로 합니다.

METR

METR은 두 가지 특정 평가를 수행하고 있습니다. 첫 번째는 OpenAI의 현재까지 가장 큰 강화 학습(RL) 실행 내에서의 모델 정렬에 초점을 맞추며, 특히 기존 모니터가 놓친 실패 사례를 찾습니다. 두 번째는 모니터 스트레스 테스트 및 제어 평가와 관련된 이전 작업의 연장선입니다.

Transluce

Transluce는 OpenAI의 사후 학습 정렬 평가의 품질과 범위를 평가할 예정입니다. 이 초기 단계 이후 2027년 초에는 평가 결과가 모델 출시 결정에 어떤 영향을 미치는지에 대한 정보에 더 깊이 접근하는 보다 광범위한 참여가 이어질 것입니다.

운영 프로토콜 및 보안

투명성과 민감한 지적 재산 보호 사이의 균형을 맞추기 위해 OpenAI는 이러한 참여를 위한 특정 프로토콜을 수립했습니다:

  • 현장 환경: 민감한 정보에 대한 접근이 필요한 평가자는 보안 표준이 유지되도록 OpenAI 사무실 현장에서 회사에서 제공한 하드웨어를 사용하여 작업해야 합니다.
  • 감독: OpenAI 재단 이사회의 안전 및 보안 위원회(SSC)는 수정되지 않은 보고서에 대한 접근을 포함하여 전체 프로세스에 대한 완전한 가시성을 가집니다. OpenAI와 평가자 간의 분쟁은 최종 해결을 위해 SSC로 이관됩니다.
  • 직원 참여: 평가자와 OpenAI 직원 간의 논의는 솔직한 대화를 장려하기 위해 비공개로 진행됩니다. 평가자는 논의 중에 습득한 정보를 확인하거나 명확히 하기 위해 OpenAI에 "확인된 진술(attested statements)"을 요청할 수 있습니다.
  • 출판: 평가자는 보고서의 독립성을 유지하지만, OpenAI는 기밀 정보를 수정하고 식별된 보안 또는 안전 위험을 해결하기 위해 책임 있는 공개 지연을 요청할 권리를 보유합니다.

향후 전망

이번 임베디드 평가의 첫 번째 단계는 보다 일관되고 장기적인 제3자 감독을 위한 기반을 마련하기 위한 것입니다. OpenAI는 조직 문화, 내부 프로세스 및 확립된 안전 프레임워크 준수 평가를 포함하여 더 광범위한 안전성 문제를 다루기 위해 이러한 노력을 확대할 계획입니다.

Sources