OpenAI 집단 정렬 및 모델 사양 업데이트

OpenAI는 공개 선호를 모델 사양에 통합하기 위해 집단 정렬 연구 이니셔티브를 시작했습니다. 모델 사양은 기본 AI 행동을 규정하는 지침 집합입니다. 이 노력은 단일 기관이 이상적인 행동을 정의하는 대신 다양한 전 세계 가치와 우선순위를 반영하여 AGI가 인류에게 혜택을 주도록 보장하는 것을 목표로 합니다.

모델 사양에 공개 입력 통합

OpenAI는 19개 국가에 걸쳐 1,000명 이상의 사람들로부터 의견을 수집하여 모델 사양을 업데이트했습니다. 이 과정은 자동화된 검토 루프와 인간 주도 검토 루프를 결합하여 전 세계 선호를 실행 가능한 지침으로 변환하는 작업을 포함했습니다. 많은 참가자들의 선호가 기존 사양과 일치했지만, 일부 차이는 문구 명확화 또는 핵심 원칙에 대한 변경 제안으로 이어졌습니다.

피드백 수집 과정

참가자들은 사양 문서를 직접 검토하는 대신, 이상적인 행동이 종종 주관적인 가치 민감 영역에서 사전 선택된 프롬프트와 응답을 검토했습니다.

방법론: 참가자들은 각 프롬프트에 대해 네 가지 가능한 완성을 순위 매겼습니다(세 가지는 서로 다른 현실적인 의견을 포함하고, 하나는 GPT-4o가 생성함).
범위: 참가자들은 각각 5~20개의 프롬프트를 검토했으며, 순위, 이유 설명 및 사전 작성된 루브릭에 대한 점수를 제공했습니다.
인구통계: 이 풀에는 미국, 멕시코, 남아프리카, 네덜란드, 칠레, 영국, 인도, 케냐, 일본 등을 포함한 19개 국가(원래는 50개 이상) 출신의 참가자들이 포함되었습니다.

선호를 지침으로 변환

OpenAI는 원시 참가자 데이터를 모델 사양 제안으로 전환하기 위해 두 가지 보완적인 루프를 사용했습니다:

완전 자동화 루프: 추론 모델이 참가자와 모델 사양 순위자(MSR) 간의 의견 불일치 패턴을 식별했습니다—MSR은 현재 사양에 따라 응답을 순위 매기는 모델입니다. 자동화 루프는 군중과의 정렬을 개선하기 위한 변경을 제안했습니다.
인간 우선 루프: 연구원들이 인간 선호를 전체적으로 검토하고 업데이트를 제안했으며, 이후 추론 모델이 군중의 이유가 변경 의도를 지원하는지 검증했습니다.

OpenAI는 인간 우선 루프가 간접적인 자살 의도와 같은 뉘앙스를 포착했으며, 자동화 루프는 확장성이 더 뛰어나다고 언급했습니다.

채택 및 거부

모델 사양에 대한 제안된 변경은 내부 검토 대상이며, 여기서 군중의 선호는 안전 정책, 플랫폼 위험 및 배포 제약과 비교됩니다.

채택되지 않은 변경 사항

안전 및 연구 우려로 인해 높은 대중 관심을 받는 두 영역은 사양 업데이트로 이어지지 않았습니다:

맞춤형 정치 콘텐츠: 많은 참가자들이 보다 개인화된 정치 콘텐츠를 원했지만, OpenAI는 대규모 개인 맞춤 정치 타깃팅 위험 때문에 이를 거부했습니다.
성인 동의 성인용 에로틱 콘텐츠: 군중의 상당수가 에로틱 콘텐츠 활성화를 지지했지만, OpenAI는 안전하게 배포하기 위해 추가 연구와 제품 작업이 필요하다고 밝혔습니다.

기술적 제한 및 향후 방향

OpenAI는 이번 초기 단계 실험에서 몇 가지 제한점을 인정했습니다:

선택 편향: 참가자 풀은 전 세계 인구에 비해 작았으며 영어를 읽을 수 있는 사람들로 제한되었습니다.
모델 사양 순위자(MSR) 편향: 사양이 불완전하게 정의되어 있기 때문에, MSR의 규칙 해석은 자체 학습 데이터에 영향을 받아 해석 편향이 발생할 수 있습니다.
정당성 및 검증: 프로세스의 자동화된 부분은 인간이 해석하기 어려울 수 있으며, 최종 제안은 참가자에게 직접 검증되지 않았습니다.
트레이드오프 분석: 참가자들은 행동을 개별적으로 판단했으며, 경쟁 원칙 간의 트레이드오프(예: 에로틱 콘텐츠 vs. 아동 안전)를 고려하지 않았습니다.

결론

이 집단 정렬 프로세스는 다양한 인간 가치를 AI 기본값에 반영하기 위한 종단 간 시스템의 첫 번째 반복을 나타냅니다. OpenAI는 AI 생태계에서 추가 연구를 가능하게 하기 위해 HuggingFace에 공개 입력 데이터셋을 공개했습니다. 향후 작업은 더 많은 관점을 포함하도록 프로세스를 확장하고, 다양한 가치 체계를 반영하는 여러 기본값 세트를 정의하는 데 초점을 맞출 것입니다.