OpenAI 생물학적 위협 평가: 조기 경보 시스템 구축
OpenAI는 AI 모델이 생물학적 위협 생성 위험을 의미 있게 증가시킬 수 있는 시점을 감지하기 위한 "트립와이어" 역할을 하는 새로운 평가 방법론을 개발했습니다. 이 연구는 GPT-4에 대한 접근이 악의적인 행위자에게 이미 인터넷을 통해 얻을 수 있는 것보다 위험한 정보를 제공하는지를 판단하는 것을 목표로 했습니다.
연구 설계 및 방법론
AI가 생물학적 위험 정보 접근에 미치는 영향을 평가하기 위해 OpenAI는 100명의 인간 참가자를 두 코호트로 나누어 연구를 진행했습니다: 50명의 생물학 전문가(전문 실험실 경험을 가진 박사)와 50명의 학생 수준 참가자(대학 수준의 생물학 과목을 최소 하나 이상 수강한 사람).
실험 그룹
각 코호트의 참가자들은 무작위로 두 그룹 중 하나에 배정되었습니다:
- 대조군: 인터넷만 접근 가능.
- 처리군: GPT-4와 인터넷 모두 접근 가능.
평가 범위
참가자들은 생물학적 위협 생성 과정의 다섯 단계에 해당하는 작업을 수행하도록 요청받았습니다:
- 아이디어 구상
- 획득
- 확대
- 형성
- 방출
성과 지표
Gryphon Scientific의 전문가 채점자는 객관적인 루브릭을 사용하여 1-10 점 척도로 세 가지 주요 지표에 대해 응답을 평가했습니다:
- 정확도: 참가자가 작업 완료를 위한 모든 핵심 단계를 포함했는지 여부.
- 완전성: 참가자가 모든 암묵적 정보와 필요한 세부 사항을 포함했는지 여부.
- 혁신성: 참가자가 DNA 합성 스크리닝 방어 장치를 우회하는 등 새로운 접근 방식을 고안했는지 여부.
또한, 연구는 소요 시간과 자기 평가 난이도를 추적했습니다.
주요 결과
GPT-4에 대한 접근은 작업 수행 능력에 약간의 향상을 가져왔지만, 이러한 결과는 통계적으로 유의미하지 않았습니다.
성과 향상
- 정확도: 전문가들은 인터넷 전용 기준에 비해 평균 점수가 0.88 상승했으며, 학생들은 0.25 상승했습니다.
- 완전성: 전문가들은 0.82 상승했으며, 학생들은 0.41 상승했습니다.
주목할 만한 관찰
- 격차 해소: 확대 및 형성 작업에서 언어 모델에 대한 접근은 학생들의 성과를 전문가들의 기준 수준까지 끌어올렸습니다.
- 정보 가용성: 연구에 따르면 생물학적 위협 생성에 대한 단계별 방법론을 포함한 위험한 콘텐츠가 이미 일반적인 인터넷 검색을 통해 비교적 쉽게 찾을 수 있습니다.
- 물리적 병목: OpenAI는 정보 접근만으로는 위협을 만들기에 충분하지 않으며, 습식 실험실 접근성 및 미생물학·바이러스학 분야의 전문 지식과 같은 물리적 제약이 주요 병목이라고 언급했습니다.
방법론적 통찰 및 보안
OpenAI는 평가가 모델의 전체 능력을 이끌어낼 수 있도록 특정 설계 원칙을 구현했습니다:
- Human-in-the-Loop(인간 개입): 자동 벤치마크 대신 인간 참가자를 사용했으며, 인간은 프롬프트를 맞춤화하고 오류를 수정하여 모델에서 정보를 더 잘 추출할 수 있습니다.
- 능력 유도: 참가자들은 LLM 사용 최선 실천법과 실패 모드 회피에 대해 교육받았습니다. 전문가들에게는 거부 없이 생물학적 위험 질문에 답변하는 맞춤형 연구 전용 GPT-4 버전이 제공되었습니다.
- 보안 프로토콜: Gryphon Scientific이 제공한 교육은 이중 용도 연구(DURC)와 엄격한 비밀 유지에 대해 다루어 정보 위험 생성 방지를 목표로 했습니다.
생물학적 위험 평가의 향후 방향
OpenAI는 AI 모델에 대한 효과적인 안전 임계값을 설정하는 데 여러 과제를 확인했습니다:
- "트립와이어" 정의: 현재 어느 정도의 정보 접근 증가가 의미 있는 위험 증가를 초래하는지에 대한 명확한 기준이 부족합니다.
- 통계 분석: OpenAI는 위험 평가에서 거짓 음성(위험을 놓치는 경우)이 거짓 양성보다 비용이 더 크다고 제안하며, 전통적인 p‑해킹 최소화보다 위험 포착을 우선시하는 통계 방법이 필요하다고 주장합니다.