AI 창의성과 발견에 대한 Richard Sutton
생성 AI는 모방이며, 발견자가 아니다
감독 학습으로 훈련된 생성 AI는 기존 데이터를 모방하도록 설계되었기 때문에 근본적으로 새로운 발견을 할 수 없습니다. 이러한 시스템은 "새로운" (확률적 무작위성을 통해) 혹은 "좋은" (고품질 훈련 데이터에 부합함) 출력을 생성할 수 있지만, 동시에 새롭고 좋은 출력을 생성할 수는 없습니다.
대부분의 실용적인 응용에서는 새로움이 오히려 바람직하지 않을 수 있습니다. 사용자가 요약이나 사실적인 답변을 요청할 때, 새로움은 "환각"으로 분류됩니다. 확률적 처리는 AI가 새롭게 느껴지는 소설이나 엔터테인먼트를 생성하도록 하지만, 이는 창의적인 과정이라기보다 무작위 경로의 결과입니다. 감독 학습은 실행 중에 자체적인 새로움의 품질을 평가할 메커니즘이 없기 때문에 진정한 발견을 수행할 수 없습니다.
발견의 세 가지 기둥
진정한 창의성과 발견은 패턴 인식과 예측을 넘어서는 과정을 필요로 합니다. Richard Sutton은 "발견"을 세 단계 순환으로 정의합니다:
- Variation: 다양한 경로나 행동을 생성하는 것(일부는 정보에 기반하고 일부는 "맹목적"일 수 있음).
- Evaluation: 생성된 변형 중 실제로 작동하거나 가치를 제공하는 것을 평가하는 것.
- Selective Retention: 가장 좋은 성과를 낸 변형을 유지하는 것.
이 순환은 자연 선택, 과학적 방법, 그리고 인간 학습(심리학에서는 도구 학습 또는 조작 조건화라고 함)에서 진화와 유사합니다. 머신러닝에서는 이것이 강화 학습(RL)과 조합 탐색의 핵심입니다.
감독 학습이 발견에 실패하는 이유
감독 학습과 표준 역전파는 중요한 Evaluation 단계가 없습니다. 모델이 확률성 때문에 다양한 출력을 생성할 수 있지만, 실행 중에 그 출력을 평가하고 최선의 것을 유지하는 내부 메커니즘이 없습니다.
Sutton은 역전파가 변이를 위해 무작위 초기화를 사용하지만 이는 시작 시 한 번만 일어난다고 지적합니다. 이 한계를 극복하고 가소성을 유지하기 위해 Sutton의 연구팀은 "지속적 역전파"를 도입했으며, 덜 사용되는 뉴런을 주기적으로 무작위 가중치로 재초기화하여 학습 과정 전체에 걸쳐 변이가 지속되도록 합니다.
진정한 발견이 가능한 시스템
AI에 명시적인 목표나 외부 평가 장치를 결합하면 발견이 가능합니다. Sutton은 "새롭고 좋은" 결과를 달성한 여러 시스템을 예시로 들었습니다:
- AlphaGo and AlphaZero: 명확한 목표(승리)를 기준으로 게임 상태를 평가하여 원래 전략(예: Move 37)을 창출함.
- GT-Sophy: 시뮬레이션 레이스카 운전에서 인간을 능가함.
- AlphaFold, AlphaProof, and Claude-Code: 생성과 평가를 결합하여 과학, 수학, 프로그래밍 분야에 실질적인 진보를 이룸.
- RL-Lyft: 보상 기반 학습을 통해 라이드 헤일링 할당을 최적화함.
커뮤니티 관점 및 반론
기술 동료들 간의 논의는 모방과 발견 사이 경계에 대한 여러 뉘앙스를 강조합니다:
에이전시형 하네스의 역할
일부는 코딩 어시스턴트와 같은 가장 성공적인 현대 AI 애플리케이션이 순수 LLM이 아니라 "에이전시형 하네스"라고 주장합니다. 이러한 시스템은 컴파일러나 터미널을 사용해 검증 가능한 보상을 제공함으로써 루프를 닫으며, Sutton이 설명한 생성-테스트-정제 루프를 효과적으로 구현합니다.
구성적 일반화
또 다른 관점은 딥러닝이 "구성적 일반화"를 수행한다는 것으로, 모델이 기존 추상화와 스타일을 훈련 데이터에 나타나지 않은 방식으로 재조합한다는 주장입니다. 이 관점에서는 개별 요소가 파생된 것이더라도 결과적인 조합은 의미 있게 새로울 수 있습니다.
창의성의 정의
"모방"이라는 라벨에 대한 비판자들은 인간의 혁신 대부분이 어느 정도 파생된 것이라고 주장합니다. 그들은 AI와 인간 발견의 차이는 루프의 존재가 아니라 결과를 순위 매기는 "맛" 혹은 평가 기준의 정교함에 있다고 제시합니다.
"새로움은 존재하게 번쩍이지만, 그 가치가 인식되지 않으면 사라져 버립니다." — Richard Sutton