영원한 보완: 인공지능과 진보의 미래

이 에세이는 선진 지능(탁월한 통찰을 생성할 수 있는 능력)과 기관 지능(비서, 자본, 노동을 통해 아이디어를 실행할 수 있는 능력) 사이의 관계를 탐구한다. 핵심 주장은 진보가 천재성만으로 이루어지는 것이 아니라, 아이디어를 실현하기 위해 필요한 물리적 및 조직적 지원 체계와의 상호작용에 의해 이뤄진다는 것이다.

진보의 비용 증가

과학적 및 기술적 진보는 점점 더 큰 지원 체계를 필요로 하며, 이로 인해 개별 연구 단위의 생산성이 감소하고 있다. 저자들은 모어의 법칙을 유지하기 위해 1970년대 초보다 18배 이상 많은 연구자들이 필요하다고 지적한다.

이러한 비용 증가의 주요 지표는 다음과 같다:

연구 생산성: 전 경제적 효과적 연구 노력은 1930년대부터 23배 증가했지만, 측정된 연구 생산성은 41배 감소했다.
노동력 변화: 기술자 인력은 과학자 인력보다 두 배 빠르게 성장하고 있다.
인프라 비용: 과학 분야에서 전문화된 장비의 사용은 40년 동안 두 배로 증가했으며, 현대의 반도체 공장은 30년 전보다 다섯 배 더 비싸다.

지능과 기관적 보완

경제학적으로 볼 때, 선진 지능과 실행 능력은 '보완적' 관계에 있다. 즉, 한쪽이 증가하면 다른 쪽의 가치도 상승한다.

물리적 보완: 기술적 설계를 구현하기 위해 필요한 입자 가속기, 에너지 원천, 기계 장비 등이 포함된다.
기관 지능: 이는 '실행의 소외된 지능'을 의미하며, 법률, 행정, 자금 조달 메커니즘, 공급망 등을 포함한다.

천재가 기념비를 설계하더라도, 기관 지능이 돌을 놓는다. 저자들은 심지어 10억 명의 아인슈타인이 있는 문명이라도, 선진 혁신이 가능하도록 기반 인프라를 유지하기 위해 대부분의 구성원이 회계 및 자원 채굴 업무를 수행해야 한다고 주장한다.

인공지능의 실행과 아이디어 생성 역할

현재 인공지능은 코드 작성, 문헌 검색, 프로토타이핑을 자동화함으로써 실행의 희소성을 줄이고 있다. 이로 인해 제약 요소는 실행에서 '취향'—즉, 어떤 질문이 가치 있고, 어떤 방향이 worth pursuing인지 판단할 수 있는 능력—으로 이동하고 있다.

그러나 인공지능이 스스로 탁월한 통찰을 생성하기 시작하면(수학 분야에서 이미 관찰된 바 있음), 새로운 제약 요소가 생길 수 있다. 인공지능이 가능성이 높은 가설과 개념의 수를 폭발적으로 증가시킴으로써, 지원 인프라가 새로운 아이디어의 양을 감당하지 못할 정도로 '실행 부족'이 심화될 수 있다.

문명의 두 가지 가능성

저자들은 초지능이 물리 세계와 상호작용하는 방식에 따라 두 가지 방향성을 제안한다.

1. 깊이의 문명

이 시나리오에서는 지능이 원리에서 추론하고 기존 데이터에서 새로운 통찰을 도출함으로써, 새로운 물리적 증거의 필요성을 최소화한다.

메커니즘: 초지능은 극도로 현실감 있는 시뮬레이션을 통해 불확실성을 해결함으로써 효율성을 극대화하고, 물리적 실험은 가장 중요한 것들만 수행되도록 한다.
결과: 진보는 물리적 확장이 아니라 더 깊은 사고에 의해 이뤄진다. 문명의 물리적 영향 범위는 작지만 지혜는 증가한다.

2. 폭넓은 문명

이 시나리오에서는 새로운 증거에 대한 수요가 지능의 효율성보다 더 크다. 진보는 현실 세계에서 점점 더 복잡하고 대규모의 실험을 필요로 한다.

메커니즘: 지능은 주로 '기관 지능'—거대한 기술적 및 행정적 기계의 조율—에 활용된다(예: 다이슨 구조체의 건설).
결과: 물리적 확장이 지식의 주요 원동력이 된다. 그러나 이 과정은 우주적 속도 한계(빛의 속도)와 물리적 건설에 소요되는 시간에 의해 제한되므로, 시간이 지남에 따라 진보 속도는 실제로 느려질 수 있다.

인간 호기심의 역할

인공지능이 통찰력과 조율 능력에서 인간을 능가할 가능성이 있음에도 불구하고, 저자들은 인간 호기심이 세 가지 이유로 여전히 필수적이라고 주장한다:

** enlightenment에 대한 의무:** 세계를 이해하고자 하는 욕구는 우월한 지능이 존재하더라도 여전히 근본적인 인간적 동기이다.
비교 우위: 인간은 기관 지능(일상적인 조율)보다 선진 지능(창의성)에서 상대적으로 더 우수할 수 있으며, 이는 창의적 과정에서의 전문화를 초래할 수 있다.
창의적 다양성: 인간의 독창성은 기계가 대부분의 인간 사고를 모방해도 여전히 가치 있는 다양한 시각을 제공한다.