AutoGrad와 베이지안 뇌: 제프 벡 박사의 AI 미래 전망
AutoGrad와 베이지안 뇌: 제프 벡 박사의 AI 미래 전망
핵심 논제: 지능은 함수 근사가 아니다
진정한 인공지능은 단순히 트랜스포머를 확장하거나 함수 근사를 개선하는 것으로는 달성될 수 없습니다. 대신, 지능은 인간 인지와 동일한 영역, 즉 물리적이고 거시적인 세계에 기반해야 합니다. 제프 벡 박사는 거대한 단일 신경망에서 "많은 작은 모델" 접근법으로의 전환을 제안합니다—모듈식이며 객체 중심의 베이지안 모델들이 발견된 힘을 통해 상호 작용하는 방식으로, 이는 생물학적 뇌가 현실을 처리하는 방식과 유사합니다.
AutoGrad vs. 트랜스포머: 실제로 AI를 바꾼 것은?
산업계는 현재 AI 붐을 트랜스포머 아키텍처 덕분이라고 말하지만, 벡 박사는 실제 촉매는 자동 미분 (AutoGrad) 이었다고 주장합니다.
AutoGrad는 AI 개발을 이론적인 수학 문제에서 엔지니어링 문제로 전환시켰습니다. 기울기 계산을 자동화함으로써 연구자들은 학습 규칙을 수동으로 유도하지 않고도 다양한 아키텍처, 비선형성, 메모리 구조를 빠르게 실험할 수 있게 되었습니다. 이 엔지니어링 전환은 모델의 초대규모화를 가능하게 했고, 이는 결국 트랜스포머의 성공으로 인식되었습니다. 벡 박사는 Mamba(상태공간 모델)와 같은 다른 아키텍처도 규모를 키우면 유사한 기능을 구현할 수 있다고 지적하며, 규모 확대—AutoGrad에 의해 가능해진—가 특정 트랜스포머 아키텍처보다 더 중요하다고 강조합니다.
베이지안 뇌와 능동 추론
벡 박사는 인간 뇌가 베이지안 추론 엔진으로 작동하며, 끊임없이 세계에 대한 가설을 테스트한다고 가정합니다. 이는 인간이 신뢰할 수 있는 감각 정보와 신뢰도가 낮은 감각 정보를 놀라울 정도로 효율적으로 결합하는 "최적 단서 결합" 행동 실험으로 뒷받침됩니다.
베이지안 접근법의 핵심 원칙:
- 가설 테스트: 뇌는 특정 가설에 조건화된 세계의 생성 모델을 사용합니다.
- 정보 필터링: 뇌 활동의 대부분은 정보 과부하를 피하기 위해 무시할 대상을 결정하는 데 할당됩니다.
- 능동 추론: 칼 프리스톤의 작업에 기반한 이 프레임워크는 정보 이론과 통계 물리학을 연결하여 에이전트가 존재를 유지하기 위해 놀라움을 최소화하는 방식을 설명합니다.
그라운딩 문제: 언어보다 물리학
현재 대형 언어 모델(LLM)의 근본적인 결함은 언어에 기반하고 있다는 점입니다. 벡 박자는 언어가 사고의 모델로 부적절하다고 주장합니다. 심리학에서 자기보고 데이터는 신뢰성이 낮으며, 사람들은 실제 의사결정 과정과 일치하지 않는 방식으로 행동을 설명하는 경우가 많습니다.
인간과 같은 사고를 하는 AI를 만들려면 거시 물리학에 기반해야 합니다. 이는 AI가 세계를 픽셀이나 토큰이 아니라 특정 관계와 어포던스를 가진 객체로 인식해야 함을 의미합니다. 지능은 구현되어야 하며, 물리적 환경이 "사고의 원자적 요소"—보다 정교한 개념 모델을 구축하는 기본 블록—를 제공합니다.
"많은 작은 모델" 아키텍처
하나의 거대한 신경망 대신, 벡 박자는 비디오 게임 엔진과 같은 구조를 구상합니다. 이 아키텍처에서 AI는 수천 개의 작은 모듈식 모델 라이브러리를 유지하며, 각각은 특정 객체 또는 객체 클래스(예: "책 모델")를 나타냅니다.
모듈식 객체 모델의 장점:
- 계산 효율성: 에이전트는 현재 환경과 관련된 소수의 모델만 인스턴스화하여 희소성을 유지합니다.
- 시스템 엔지니어링: 객체와 그 관계 힘을 이해함으로써 AI는 "시스템 엔지니어링"을 수행할 수 있습니다—알려진 객체를 새로운 방식으로 결합해 새로운 것을 발명합니다(예: 날개와 제트 엔진을 결합해 비행기를 만드는 것).
- 일반화: 한 도메인(예: 집 내부)에서 학습된 모델은 객체 자체가 모듈식이기 때문에 다른 도메인(예: 공원)으로 이식될 수 있습니다.
일반화 해결: 창고의 고양이
벡 박자는 현재 AI의 실패를 "창고의 고양이" 문제로 설명합니다. 상자와 포크리프트만을 학습한 창고 로봇은 고양이를 만나면 보통 충돌하거나 환각을 일으킵니다.
베이지안, 객체 중심 시스템에서는 과정이 다음과 같습니다:
- 놀라움 감지: 로봇은 고양이가 기존 모델에 맞지 않으므로 높은 놀라움 신호를 감지합니다.
- 지식 획득: 로봇은 "친구에게 전화"(중앙 서버에 질의)하여 시각 데이터와 일치하는 잠재 객체 모델을 다운로드합니다.
- 가설 테스트: 로봇은 여러 후보 모델(예: 다양한 고양이 품종)을 고양이의 행동을 관찰하며 테스트하고 올바른 모델을 식별합니다.
- 통합: 고양이 모델은 향후 사용을 위해 로봇의 로컬 라이브러리에 통합됩니다.
신념 교환을 통한 정렬
벡 박자는 전통적인 강화학습(RL) 정렬—보상 함수를 사용하는 방식—이 근본적으로 결함이 있다고 주장합니다. 보상 값은 종종 임의적이며 퇴보 행동("악의적인 요정" 문제)을 초래할 수 있습니다.
그는 신념 교환에 기반한 정렬 전략을 제안합니다. 인간 행동은 신념과 가치의 조합이므로, 정렬은 명시적인 신념 교환을 포함해야 합니다. 내부 세계 모델을 소통하고 조정함으로써 인간과 AI는 불일치가 사실 오해(신념)인지 가치 차이(보상 함수)인지를 구분할 수 있어 보다 투명하고 안정적인 정렬이 가능해집니다.
요약: 제프 벡 박사는 진정한 지능은 함수 근사와 LLM을 넘어, 언어가 아닌 거시 물리학에 기반한 객체 중심 베이지안 모델로 이동해야 한다고 주장합니다.
제목: AutoGrad와 베이지안 뇌: 제프 벡 박사의 AI 미래 전망