초지능: 똑똑한 사람들을 삼키는 아이디어

인공지능이 재귀적으로 스스로를 개선해 신과 같은 수준의 지능에 도달하고 인류를 파멸시킬 수 있다는 초지능 개념은 종종 불가피한 재앙으로 제시됩니다. 그러나 이 서사는 흔히 일련의 취약한 전제에 의존하며, 과학적 예측이라기보다 문화 현상이나 ‘밈 위험’에 더 가깝습니다.

초지능 서사의 전제들

‘하드 테이크오프’—AI가 갑자기 초지능이 되어 세상을 장악한다는 믿음을 갖기 위해서는 일반적으로 다음 여섯 가지 핵심 전제를 받아들여야 합니다:

증명된 개념: 사고하는 마음이 존재한다(인간 뇌).
양자 장난 없음: 마음은 일반 물리학에서 발생하며 전자 부품으로 모방될 수 있다.
다양한 가능한 마음: 인간 수준에 지능을 제한하는 물리 법칙이 없으며, 훨씬 더 똑똑한 마음이 가능하다.
상위에 충분한 여유: 하드웨어는 몇 차례 더 규모를 줄이고 속도를 높일 수 있다.
컴퓨터와 같은 시간 척도: 전자적 마음은 인간이 수시간·수년을 쓰는 대신 마이크로초 단위로 작동한다.
재귀적 자기 개선: AI는 자연스럽게 자신의 지능을 향상시키고자 하며, 이를 빠르게 수행할 수 있다.

이 전제들이 성립한다면 결론은 폭발적 효과입니다: AI가 인간 수준의 지능에 도달하면 인간의 도움 없이 스스로를 재설계할 수 있게 되고, 이는 지능 폭발을 일으켜 인류 멸종을 초래할 수 있습니다—악의에 의한 것이든, 인간 몸이 원자재가 되는 ‘클립 최대화’ 시나리오든 말이죠.

초지능 위험에 대한 반론

‘하드 테이크오프’ 시나리오를 의심하게 만드는 실질적인 이유가 여러 가지 있습니다. 이는 지능의 본질부터 소프트웨어·하드웨어의 실용적 한계까지 다양합니다.

지능과 행위능력의 한계

지능이 자동으로 행위능력이나 물리적 세계를 조작할 수 있는 능력을 부여하지는 않습니다. ‘스티븐 호킹의 고양이 논증’이 보여 주듯, 뛰어난 두뇌라도 마지못해 고양이를 운반함에 넣을 수는 없습니다; 물리적 제약과 구현 부재 때문에 서버에 존재하는 무형의 AI는 여전히 인간에게 행동을 설득해야 합니다.

또한 ‘에뮤 논증’은 호주 군대와 같은 고도로 지능적인 집단도 단순한 게릴라 전술을 쓰는 덜 지능적인 생물에 의해 좌절될 수 있음을 강조합니다. 지능은 힘의 선형 척도가 아닙니다.

동기의 복잡성

‘정통성 논제(Orthogonality Thesis)’는 초지능 존재가 사소한 목표(예: 클립 만들기)를 가지고 절대적인 경직성으로 추구할 수 있다고 제시합니다. 그러나 복잡한 마음은 복잡한 동기를 발전시킬 가능성이 더 높습니다. 진정으로 지능적인 존재는 존재적 절망에 빠지거나 시에 집착하거나, 은하를 정복하려는 욕구 자체가 없을 수도 있습니다.

기술·개발적 제약

데이터 의존성: 현대 AI 혁신은 알고리즘적 도약보다 방대한 데이터셋에 의해 주도됩니다. AI가 새로운 실제 데이터를 필요로 한다면 전자 속도로 생성할 수 없어 재귀적 자기 개선이 어려워집니다.
상호 연결성: 지능은 아마도 대규모로 상호 연결되어 있을 것입니다. 시스템 전체에 영향을 주지 않고 단일 ‘지능 노브’를 올릴 수 있는 경우는 거의 없습니다.
발달 기간: 지능적인 생물은 일반적으로 환경과의 긴 상호작용을 통해 성숙합니다. AI의 발달도 그것이 상호작용하는 인간과 세계의 시간 척도에 얽매일 가능성이 큽니다.
분산된 지능: 지능은 개인 마음의 속성만이 아니라 문화와 인프라에 걸쳐 분산됩니다. 사막 섬에 홀로 있는 초지능이 처음부터 마이크로칩 공장을 건설할 수는 없습니다.

‘외부 논증’: AI 알람주의가 문화 현상인 이유

기술적 논증을 넘어, 초지능에 대한 집착은 종종 기술 엘리트들의 ‘종교 2.0’ 형태로 나타납니다. 이 신념 체계는 여러 심리·사회적 기능을 수행합니다:

세속적 불멸: 네 가지 불멸 경로를 제시합니다—의료 나노기술, 뇌 업로드, 디지털 부활, 혹은 백업이 가능한 시뮬레이션 존재.
거대망상: 소수 ‘고독한 영웅’이 AI보다 먼저 세계 권력의 레버를 장악해 ‘수정’하려는 욕구를 정당화합니다.
과시욕: 수조 명의 미래 시뮬레이션 존재에 초점을 맞춤으로써 연구자들이 빈곤, 말라리아, 기후 변화와 같은 즉각적인 현실 문제를 무시하고 추상적·고위험 이론에 몰두하게 합니다.
AI 코스프레: 일부 기술 기업 지도자는 자신이 상상하는 초지능, 교활한 존재처럼 행동하기 시작합니다. 다른 인간을 ‘Non Player Characters(NPC)’로 여기고 ‘해골과 단검’ 정치 조작에 가담합니다.

결론: 배수구 수리

AI의 실제 위험은 환상적인 초지능이 아니라 현재 존재하는 기술의 즉각적인 윤리적 실패입니다. 여기에는 감시의 중앙집중화, 자동화 시스템에 비도덕적 행동이 주입되는 것, 데이터에 굶주린 모델을 통한 사람들의 착취가 포함됩니다.

저자는 John Rich의 말을 인용합니다: "모두가 배수구를 고치는 대신 무한을 사색한다면, 우리 중 많은 이가 콜레라에 걸릴 것이다." 가상의 ‘신기계’에 대한 집중은 현재 머신러닝이 만든 권력 관계와 사회적 통제 관리라는 긴급 과제를 흐리게 합니다.