AI 안전에는 사회과학자가 필요합니다

OpenAI는 장기적인 AI 안전 연구가 실제 인간과 상호작용할 때 정렬 알고리즘이 성공할 수 있도록 사회과학을 통합해야 한다고 주장하는 논문을 발표했습니다. 고급 AI 시스템을 인간의 가치와 정렬하는 것은 인간의 합리성, 감정, 편향의 심리학을 탐구해야 하기 때문에, OpenAI는 머신러닝 연구원들과 협업할 사회과학자들을 적극적으로 모집하고 있습니다.

인간 가치 정렬의 과제

AI 정렬은 고급 AI 시스템이 인간이 원하는 행동을 신뢰할 수 있게 수행하도록 보장하는 것을 목표로 합니다. OpenAI의 현재 접근 방식은 사람들에게 그들의 가치에 대해 묻고, 해당 데이터를 바탕으로 머신러닝(ML) 모델을 학습시키며, 시스템이 학습된 모델에 따라 행동하도록 최적화하는 것을 포함합니다. 이 연구는 Learning from Human Preferences, AI Safety via Debate, 그리고 Learning Complex Goals with Iterated Amplification과 같은 방법론을 통해 구현됩니다.

하지만, 다음과 같은 여러 요인으로 인해 인간의 입력은 종종 신뢰할 수 없습니다:

• 인지적 편향: 인간은 다양한 인지적 편향과 성찰 시 유지되지 않을 수 있는 일관성 없는 윤리적 신념을 보입니다.
• 맥락적 민감성: 질문이 표현되는 방식에 따라 답변이 크게 달라질 수 있습니다. 예를 들어, 질문에 "모랄(morally)"이라는 단어가 포함되는 것만으로도 어떤 행동의 잘못됨에 대한 판단이 바뀔 수 있습니다.
• 복잡성: 사람들은 도박과 같이 복잡한 과업을 제시받았을 때 종종 일관성 없는 선택을 합니다.

인간 전용 실험을 통한 격차 해소

OpenAI가 인간 가치의 근거가 되는 추론을 목표로 하기 위해 amplification과 debate와 같은 방법론을 활용하고 있지만, 이러한 알고리즘의 실제 인간 중심적 상황에서의 행동은 여전히 미지수입니다. 현재의 머신러닝은 복잡하고 가치가 개입된 질문에 대한 자연어 토론 과정에서만 나타나는 정렬 문제를 발견하기에는 너무 약할 수 있습니다.

현재 ML의 한계를 우회하기 위해, OpenAI는 전적으로 인간으로만 구성된 실험을 제안합니다. 이러한 실험에서 사람들은 AI 에이전트의 역할을 수행합니다. 예를 들어, 일반적으로 두 명의 AI 토론자와 한 명의 인간 판사로 구성되는 "debate" 정렬 방식에서는, 연구원들이 두 명의 인간 토론자와 한 명의 인간 판사를 사용하여 실제 과정이 어떻게 작동하는지 관찰할 수 있습니다.

이러한 인간 전용 상호작용에서 얻은 교훈은 머신러닝 모델의 개발로 전이될 수 있습니다.

AI 안전에 있어서 사회과학의 역할

머신러닝 전문 지식만으로는 다음과 같은 유형의 인간 중심적 실험을 설계하고 실행하기에 불충분합니다. 이러한 연구는 인간의 인지 및 행동에 대한 기존 지식에 기반한 엄격한 실험 설계가 필요합니다.

OpenAI는 이 학제간 협력 노력에 필수적인 몇 가지 사회과학 분야를 다음과 같이 식별합니다:

• 실험 심리학
• 인지 과학
• 경제학
• 정치학
• 사회 심리학
• 신경 과학
• 법학

협력 이니셔티브

이러 통합의 첫 단계로서, OpenAI 연구원들은 Stanford University의 Center for Advanced Study in the Behavioral Sciences (CASBS)와 협력하여 워크숍을을 조직했습니다. 이 파트너십은 Mariano-Florentino Cuéllar, Margaret Levi, Federica Carugati와 같은 전문가들과의 지속적인 회의를 통해 사회과학과 AI 정렬의 교차점을 논의합니다.