정렬하라, 설정하지 말고: AI 정렬을 상호 과정으로 재고하기
현재 AI 정렬을 둘러싼 담론은 종종 이분법적인 선택으로 프레임화됩니다: 안전을 우선시할 것인가(doomers) 아니면 가속을 우선시할 것인가(e/acc 집단)? 이 치열한 논쟁 속에서 초점은 어떻게 AI를 가장 잘 *설정(configure)*할 것인가에 머물러 있습니다. 즉, 어떻게 올바른 가치를 설치하고, 그 가치에 대한 준수 여부를 어떻게 측정하며, 시스템이 미리 정의된 경로에서 벗어나지 않도록 어떻게 보장할 것인가에 대한 문제입니다.
하지만 이러한 프레임은 근본적인 진실을 간과하고 있습니다: 이 시스템들에 의해 가장 큰 영향을 받는 사람들은 정렬 프로토콜을 설계하는 사람들이 아닌 경우가 많습니다. 우리가 정렬을 기술적인 설정 문제로 취급할 때, 우리는 인간의 경험을 통계적 대리물로 전락시킬 위험이 있으며, 결과적으로 사람들과 함께 설계하는 것이 아니라 사람들을 위해 설계하는 것에 그치게 됩니다.
설정 철학
대부분의 AI 연구소는 이른바 configuration philosophy라고 불릴 수 있는 철학 하에 운영됩니다. 이 모델에서 정렬은 일방통행으로 간주됩니다: 가치는 인간 설계자로부터 AI 시스템으로 흐릅니다. 목표는 시스템에 측정 가능하고 검증 가능한 성향을 설치하는 것입니다.
이러한 접근 방식은 폐쇄 루프 평가 시스템으로 이어집니다. Anthropic과 같은 연구소의 최근 방법론에서 볼 수 있듯이, 이 과정은 종종 하나의 모델이 데이터를 생성하고, 다른 모델이 프롬프트를 입력하며, 세 번째 모델이 출력을 판단하는 과정을 포함합니다. 이는 기술적으로는 효율적이고 확장 가능하지만, 실제 인간의 경험과는 완전히 동떨어진 장치를 만들어냅니다. 정렬 과정에서의 us는 통계적 대리물, 즉 피드백이 보상 함수로 추출되는 고용된 평가자들의 집합이 되어버립니다.
지능의 상호 조각
진정한 정렬은 인간이 AI에게 하는 것이 아닙니다; 그것은 두 당사자 사이에서 일어나는 일입니다. 저자는 인간과 AI 사이의 상호작용이 도구에 지시를 내리는 것보다 젖은 점토를 조각하는 것에 더 가깝다고 제안합니다.
이 상호 과정에서 형태를 만드는 것은 상호적입니다:
- 시스템이 반격합니다: AI의 응답은 종종 목표를 벗어나거나 인간이 원래의 의도를 수정하도록 강요하는 예상치 못한 패턴을 드러냅니다.
- 인간이 조정합니다: 우리가 이러한 시스템과 상호작용하면서, 우리 자신의 습관, 사고, 그리고 워크플로우가 변화합니다.
한 커뮤니티 구성원이 언급했듯이, 이러한 변화는 종종 눈에 보이지 않습니다:
``Looking back, my prompts did not change nearly as much as the way I work changed.''`
우리가 단순히 getting better at prompting이라고 믿을 때, 우리는 실제로 상호 적응을 경험하고 있는 것입니다. 설정 철학은 이러한 인간의 진화를 보이지 않게 만들며, 인간을 고정된 지점으로, AI를 유일한 변수로 취급합니다. 이는 AI가 인간의 인지 능력과 주체성을 적극적으로적으로 어떻게 형성하고 있는지를 간과하기 때문에 위험한 누락입니다.
현재 패러다임의 위험
정렬이 설정으로 축소될 때, 그 결과로 나타나는 시스템은 소외감을 줄 수 있습니다. 일부 사용자들은 자신의 사고가 machine-like하게 변해가는 느낌을 보고하고 있으며, 여기서 인간은 단지 AI들이 서로 대화하기 위한 통로 역할만을 수행하게 됩니다.
나아가, 안전과 가속 사이의 논쟁은 종종 더 깊은 합의를 가리고 있습니다: 설계자라는 소수의 엘리트가 나머지 인류의 운명을 결정해야 한다는 것입니다. 그것이 탈주 AI를 방지하기 위한 극단적인 조치를 요구하는 것이든, 혹은 일자리를 잃은 노동자들을 resentful하다고 일축하는 것이든, 양측 모두 일반 대중을 과정의 파트너가 아닌, 작업이 수행되는 대상(material)으로 취급하는 경우가 많습니다.
참여형 정렬을 향하여
우리가 configuration 모델을 넘어서고자 한다면, 우리는 많은 이들이 AI에 대해 느끼는 불편함이 개인적인 적응 실패가 아니라, 설계 과정이 배타적이라는 신호임을 인식해야 합니다.
진정으로 정렬된 미래로 나아가기 위해서는 다음과 같은 사항이 필요합니다:
- 삶의 경험을 인정하기: 실제 사용자들과 AI에 의해 일자리를 잃은 이들이 내부 연구소의 대리물(proxies)이 아닌, 정렬에 관한 진실의 주요 원천임을 인식하는 것입니다.
- 이분법을 거부하기:
safety vs. acceleration논쟁을 넘어, 가치가 결정될 때 그 방에 누구가 있는지를 물어야 합니다. - 상호 변화를 수용하기: 우리가 구축한 기술에 의해 우리가 변화될 것임을 받아들이고, 그 변화를 수화적으로 수동적으로가 아닌 의식적으로 그 변화를 탐색하는 데 집중하는 것입니다.
정렬은 인간을 위해 안전하게 만들기 위해 기계에 부과하는 일련의 제약 조건이 되어서는 안 됩니다. 대신, 그것은 발견의 협력적 과정이어야 합니다. 즉, 인간과 AI가 혼자서는 도달할 수 없는 무언가로 함께 진화할 수 있는 방법이어야 합니다.