OpenAI Control Room: 연구 모델 워크로드를 추적하고 중단하기 위한 중앙 시스템

Control Room 개요

Control Room은 OpenAI의 연구 인프라 전반에서 모델 워크로드를 추적하고, 안전 또는 보안 위험이 발생할 경우 즉시 중단할 수 있는 메커니즘을 제공하기 위해 설계된 중앙 집중식 시스템입니다. 이 시스템은 에이전트 샘플링, 모델 학습 및 평가 작업을 관리하도록 특별히 설계되었으며, 모든 연구 기반 추론이 감독을 받도록 보장합니다. 이 시스템은 "fail-closed(실패 시 차단)" 방식으로 설계되어, 서비스에 접근할 수 없거나 조작이 감지될 경우 모든 모델 추론 요청이 자동으로 거부됩니다.

아키텍처 및 통합

Control Room은 워크로드, 추론 엔진, Control Room 서비스 자체라는 세 가지 구성 요소를 통합하여 작동합니다.

  • 워크로드: 강화 학습 실험이나 평가와 같은 에이전트 추론을 포함하는 모든 작업은 승인된 안전 사례와 연결되어야 하며 고유한 job_id가 할당되어야 합니다.
  • 추론 엔진: 이는 GPU에서 실행되는 모델의 "두뇌" 역할을 합니다. 엔진은 추론 요청을 처리하기 전에 Control Room 서비스에 확인하도록 구성됩니다.
  • Control Room 서비스: 이는 중앙 권한 기관 역할을 합니다. 엔진이 추론 요청을 받으면 job_id를 사용하여 Control Room 서비스에 쿼리를 보냅니다. 작업이 종료된 경우 서비스는 요청을 거부하고 엔진은 추가 출력을 생성하지 않습니다.

운영 안전 및 모니터링

Control Room은 기존의 정렬 오류(misalignment) 모니터링 시스템과 함께 작동하도록 설계되었습니다. 모니터가 잠재적인 문제를 감지하면 Control Room에 종료 신호를 보내고, Control Room은 해당 job_id의 상태를 업데이트합니다. 종료 메커니즘이 워크로드 계층이 아닌 추론 계층에서 구현되기 때문에, 연구 실험 내의 버그가 있거나 악의적인 코드로부터도 복원력을 유지합니다.

성능 및 신뢰성

현재 이 시스템은 개입 결정 후 35초 이내에 모델 출력이 중단되도록 보장합니다. 이러한 지연 시간은 대량의 트래픽을 처리하기 위해 필요한 캐싱 계층 때문이지만, OpenAI는 이 지연 시간을 0으로 줄이기 위해 적극적으로 노력하고 있습니다.

보안을 보장하기 위해 시스템은 다음과 같은 몇 가지 안전 장치를 사용합니다:

  • Fail-closed 구성: Control Room 서비스가 중단되거나 비활성화되면 추론 엔진은 기본적으로 모든 요청을 거부합니다.
  • 중앙 집중식 시행: 연구 워크로드 코드보다 더 균일하고 중앙 집중화된 추론 계층에 종료 로직을 배치함으로써, OpenAI는 모든 모델 추론이 승인 확인을 거치도록 보장합니다.
  • 지속적인 감사: 팀은 Control Room 통합을 우회하거나 비활성화하려는 시도가 있는 비정상적인 엔진 구현을 감지하기 위해 지속적인 에이전트 및 프로그래밍 방식의 점검을 수행합니다.

Sources