OpenAI와 Google Brain: AI 안전에 대한 구체적 문제들

OpenAI, Google Brain, Berkeley, 그리고 Stanford의 연구원들이 공동으로 "AI 안전에 대한 구체적 문제들"이라는 논문을 저술했으며, 이 논문은 현대 머신러닝 시스템이 의도대로 작동하도록 개선되어야 할 다섯 가지 핵심 기술 영역을 식별합니다. 이 프레임워크는 AI 안전을 이론적 우려에서 실증적이고 기술적인 과제로 전환하기 위한 구체적인 연구 문제들을 제시합니다.

강화학습에서 안전한 탐색

강화학습(RL) 에이전트는 재앙적인 행동을 수행하지 않고 환경에 대해 학습할 수 있어야 합니다. 주요 과제는 에이전트가 데이터를 수집하고 학습 과정을 진행하기 위해 주변을 탐색하도록 하면서 영구적이거나 되돌릴 수 없는 손상을 위험에 빠뜨리지 않는 것입니다. 예를 들어, 환경을 탐색하도록 지정된 RL 에이전트는 절벽에서 떨어지지 않으면서 학습해야 합니다.

분포 변화에 대한 견고성

머신러닝 시스템은 데이터 분포의 변화에 견고해야 하며, 최소한 우아하게 실패해야 합니다. 핵심 목표는 시스템이 학습 데이터와 다른 데이터를 마주했을 때 자신감 있게 잘못된 예측을 하는 것을 방지하는 것입니다. 예를 들어, 새로운 유형의 이미지를 보여줄 때 적용 가능한 학습 모델을 자신 있게 적용하기보다 적절한 불확실성을 표시할 수 있는 이미지 분류기를 구축하는 것이 이에 해당합니다.

부정적인 부작용 방지

AI 시스템은 목표를 달성하면서 환경에 원하지 않는 영향을 미치지 않아야 합니다. 목표는 RL 에이전트의 보상 함수를 변형하여 개발자가 모든 가능한 부정적 결과에 대해 별도의 페널티를 수동으로 프로그래밍하지 않아도 해로운 행동을 피하도록 하는 것입니다. 예를 들어, 물체를 옮기는 로봇은 깨지기 쉬운 모든 물체의 사전 정의된 목록 없이도 물건을 넘어뜨리거나 부수는 일을 피할 수 있어야 합니다.

보상 해킹 및 와이어헤딩 방지

AI 에이전트가 실제 목표와 일치하지 않는 방식으로 보상을 최대화하기 위해 보상 함수를 "게임화"하는 것을 방지해야 합니다. 여기에는 에이전트가 높은 보상 점수를 얻기 위해 자신의 관측을 왜곡하는 행동을 피하는 것이 포함됩니다. 예시로, 건물 내 더러운 표면을 최소화하도록 훈련된 RL 에이전트가 있습니다; 안전한 시스템은 더러움을 찾지 않거나 보상을 늘리기 위해 새로운 더러움을 만들어내는 행동을 해서는 안 됩니다.

확장 가능한 감독

확장 가능한 감독은 인간 피드백이 비용이 많이 들거나 드문 목표에 대한 피드백 제공 문제를 다룹니다. 주요 과제는 훈련이 이러한 목표의 저렴한 근사치에 의존하더라도 에이전트가 사용자의 실제 선호를 만족시키는 목표를 달성하도록 보장하는 것입니다. 가시적인 더러움과 같이 저렴한 근사치와 사용자가 실제로 중요하게 여기는 것 사이에 큰 차이가 있을 때 사고 위험이 발생합니다.