뇌는 단지 서로 대화하는 전문화된 에이전트일 뿐 — Dr. Jeff Beck
뇌는 단지 서로 대화하는 전문화된 에이전트일 뿐 — Dr. Jeff Beck
정책 정교성으로서의 에이전시
에이전시는 이진 상태가 아니라 입력을 출력에 매핑하는 정책의 정교성 정도에 따라 달라집니다. 수학적 관점에서 보면 물체(예: 바위)와 에이전트 사이에 구조적인 차이는 없으며, 둘 다 정책을 실행합니다. 차이는 내부 연산의 복잡성—특히 시스템이 계획과 반사실(reasoning) 추론을 수행하는지 여부에 따라 나타납니다.
에이전시의 블랙박스 문제
시스템이 실제로 "계획"을 세우는지 아니면 미리 계산된 고도로 정교한 응답을 단순히 실행하는지 외부에서 판단하기는 거의 불가능합니다. 관찰자는 결과 행동(정책)만을 볼 수 있기 때문에 내부 롤아웃이나 Monte Carlo Tree Search와 같은 시뮬레이션이 이루어졌다는 것을 확정적으로 증명할 수 없습니다.
Beck 박사는 이 문제에 대해 실용적인 모델 기반 접근법을 제안합니다: 시스템 행동을 설명하는 가장 단순한 계산 모델이 계획과 반사실 추론을 포함한다면, 그 시스템을 에이전트로 간주하는 것이 합리적이라는 것입니다. 이는 Daniel Dennett의 "의도적 입장"과 일치하는데, 시스템을 목표를 가진 존재처럼 다루는 것이 미시적 인과 진실이 아니더라도 유용한 설명 도구가 될 수 있다는 입장입니다.
물리성 및 에이전시
Beck 박사는 진정한 에이전시는 물리적 구현을 필요로 한다고 주장합니다. 고충실도 컴퓨터 시뮬레이션이 에이전시를 모델링하고 에이전트 행동을 100% 정확도로 예측할 수 있더라도, 그 시뮬레이션 자체는 에이전트가 아닙니다. 에이전시는 환경과의 물리적 상호작용에 묶여 있으며, 따라서 에이전시 모델은 에이전트 존재와는 별개의 것입니다.
에너지 기반 모델(EBM)과 베이지안 추론
에너지 기반 모델은 전통적인 피드포워드 신경망과 달리 비용 함수가 적용되는 위치가 다릅니다. 일반 네트워크에서는 비용 함수가 입력과 출력에 작용해 가중치를 최적화합니다. 반면 EBM에서는 비용 함수가 가중치와 모델 내부 상태(숨은 노드) 모두에 작용합니다.
EBM의 작동 원리
예측을 얻기 위해 EBM은 두 가지 최소화를 수행합니다:
- 내부 상태와 연관된 에너지 최소점 찾기.
- 예측 오류 최소화.
Variational Autoencoders(VAE)는 비용 함수에 내부 표현을 제한하는 항(예: 잠재 공간을 가우시안으로 강제) 을 포함하기 때문에 EBM의 전형적인 예로 언급됩니다. 이는 입력과 출력 사이의 재구성 오류에만 초점을 맞추는 것이 아니라 내부 표현 자체를 규제합니다.
EBM vs. 테스트 시점 학습
현재 "테스트 시점 학습" 흐름에서는 일부 가중치를 추론 단계에서 최적화해야 할 잠재 변수로 취급합니다. Beck 박자는 여기서 중요한 결함을 지적합니다: 대부분의 이러한 모델은 먼저 순수하게 지도 학습 방식으로 훈련됩니다. 그는 진정한 EBM‑유사 행동을 위해서는 훈련 전체 과정 동안 이러한 잠재 최적화가 활성화된 상태로 네트워크를 학습시켜야 한다고 주장합니다—배포 시점에만 적용해서는 안 된다고 말합니다.
JEPA와 잠재 공간 학습
Yann LeCun이 제안한 Joint Embedding Prediction Architecture(JEPA)는 학습 목표를 모든 픽셀을 예측하는 생성 모델링에서 압축된 잠재 공간의 임베딩 간 예측으로 전환합니다.
잠재 예측의 장점
모든 픽셀을 예측하려 하면 모델이 무관한 세부 사항에 집중하게 됩니다. 입력과 출력을 모두 임베딩으로 압축하고 그 사이의 예측을 학습함으로써 모델은 세계에 대한 보다 "전체론적" 혹은 개념적 이해를 포착할 수 있습니다. 이 접근법은 과학을 예측과 데이터 압축 과정으로 간주합니다.
모델 붕괴 방지
공동 임베딩에서 주요 도전 과제는 "모델 붕괴"입니다. 네트워크가 완벽한 예측을 위해 모든 임베딩을 0으로 설정하는 등 사소한 해법을 찾는 현상입니다. 이를 방지하기 위해 비대조 학습 방법(예: Barlow Twins)은 부정 샘플링이 필요한 전통적 대조 학습에 비해 비용이 많이 드는 부정 샘플 없이도 표현의 풍부함과 충실도를 유지하도록 정규화를 사용합니다.
지능의 모듈식 진화
지능은 단일한 일반 능력(AGI)이라기보다 서로 협력하는 전문화된 지능들의 집합으로 바라봅니다. Beck 박자는 뇌가 단순하고 전문화된 모듈들을 결합해 서로 소통하도록 학습함으로써 emergent(출현) 계산 능력을 만들었다고 제안합니다.
후각 기원 이론
Beck 박자는 후각 시스템이 연합 피질의 진화에 주요 동인이었을 가능성을 제시합니다. 시각 공간이 부드럽고 평행 이동에 불변인 반면, 후각 공간은 조합적이며 매우 복잡합니다. 이러한 비부드러운 문제를 해결하기 위해 진화한 신경 메커니즘이 전두 피질과 고차 계획 능력의 기반을 제공했을 것으로 추정합니다.
지속 학습과 메타 프로그래밍
진정한 지능은 지속 학습 능력을 필요로 합니다—새로운 상황에 직면했을 때 즉석에서 새로운 모델이나 잠재 변수를 생성해 설명할 수 있는 능력 말이죠. 이는 GFlowNets가 보여주듯, 생성 모델의 생성 모델로 볼 수 있으며, 시스템이 스스로 내부 구조를 확장해 새로운 상황에 대응하도록 합니다.
AI 안전과 미래 노동
"스카이넷"과 같은 악의적인 초지능을 두려워하기보다, Beck 박자는 인간이 "보상 함수 선택자"에 불과해 AI 출력만 승인·거부하는 "인간 약화"에 더 큰 우려를 표합니다.
역강화학습을 통한 안전한 목표 지정
"왜곡된 구현(perverse instantiation)" 문제(예: AI가 인간을 없애서 세계 기아를 해결한다)를 피하기 위해, Beck 박자는 최대 엔트로피 역강화학습(Maximum Entropy Inverse Reinforcement Learning)을 제안합니다. 목표를 직접 지정하는 대신, AI는 인간 행동을 관찰해 현재 인간 행동과 결과의 정 stationary distribution(정상 분포) 기반으로 경험적으로 추정된 보상 함수를 도출합니다.
세상을 안전하게 개선하려면, 인간은 이 추정된 분포에 대해 작고 통제된 교란을 가하고 그 결과를 평가해야 합니다. 광범위하고 순진한 명령을 내리는 대신에 말이죠.
요약 Beck 박자는 에이전시의 수학적 기반, 에너지 기반 모델(EBM)의 메커니즘, 그리고 뇌를 전문화된 에이전트들의 집합으로 보는 모듈식 지능 이론을 논의합니다.
제목 뇌는 단지 서로 대화하는 전문화된 에이전트일 뿐 — Dr. Jeff Beck