지능 폭발에 대한 인류의 준비성

"지능 폭발"—인간의 능력을 초월하는 초지능의 출현—의 잠재력은 글로벌 안정성에 체계적인 위험을 제시합니다. 그러한 사건의 기술적 가능성은 논쟁 중이지만, 즉각적인 위험은 노동의 경제적 대체, 민주적 제도의 침식, 그리고 미국과 중국 사이의 지정학적 경쟁 심화에 있습니다.

경제적 대체와 사회적 계층화

AI가 노동 시장에 급격히 통합되는 것은 영구적인 경제적 하층 계급을 만들 위협이 있습니다. 노동력 감소를 통해 이윤 마진을 높이려는 시도는 실업 인구가 경제를 유지할 구매력을 상실함에 따라 소비자 수요의 체계적 붕괴로 이어질 수 있습니다.

I'm not afraid of rouge agents nearly as much as I'm afraid of us building a permanent underclass of people dependent on whatever scraps the people who devalued their labor decide the grace them with. I'm afraid of the security apparatus that will be built to keep this underclass in line.

이러한 경제적 변화는 단순히 일자리 상실의 문제가 아니라, 특히 양극화된 민주주의 국가나 대중의 분노가 중앙 지도부에 쉽게 향해질 수 있는 비민주적 국가에서 혁명을 촉발할 수 있는 잠재적인 "race to the bottom"이 될 수 있습니다.

지정학적 불안정성과 협력의 실패

초지능의 위험을 관리하기 위해서는 전례 없는 국제적 협력이 필요하지만, 현재의 지정학적 추세는 그러한 단결이 어려울 것임을 시사합니다. 미국과 중국 사이의 AI 패권 경쟁은 안전과 관리(stewardship)에 관한 외교적 합의를 사실상 불가능하게 만듭니다.

국제적 실패에 관한 주요 우려 사항은 다음과 같습니다:

• Cyber Warfare and Infrastructure Terrorism: LLM의 능력 곡선은 기존의 긴장을 한계치까지 밀어붙이는 새로운 형태의 갈등을 가능하게 할 수 있습니다.
• Weakened Democracies: AI 기반 소셜 미디어 조작은 여론을 통제하고 갈등을 일으키려는 이들에게 더 큰 힘을 실어줄 수 있습니다.
• The Capability Gap: 지정학에서 적대자의 능력은 종종 그들의 의도보다 더 우려스러운 부분이며, LLM 능력의 급격한 발전은 기존의 안전 프레임워크를 앞지르고 있습니다.

AI 에이전시와 초지능에 관한 논쟁

AI가 진정으로 "agency"를 달성하거나 의식 있는 존재가 될 수 있는지에 대해서는 상당한 의견 차이가 있습니다. 어떤 이들은 AI가 토스터와 비교할 수 있는 도구일 뿐이라고 주장하며, 위험은 AI 자체가 아니라 타인을 착취하거나 강요하기 위해 AI를 사용하는 인간에게 있다고 말합니다.

지능 폭발에 반대하는 논거

• Resource Constraints: 비판론자들은 에너지와 재료와 같은 핵심 자원이 인간의 통제 하에 남아 있는 한 초지능이 급격히하게 출현할 수 없다고 주장합니다.
• Model Degradation: 일부는 "recursive self-improvement"의 개념에 의문을 제기하며, 예측 엔진으로서 "recursive self-degradation"이 더 가능성 있는 결과라고 제안합니다.
• The Hype Cycle: AI 연구소 설립자들의 주장에 대한 회의론이 존재합니다. 일부는 공포 조성이 마케팅 전략으로서 기술을 실제보다 더 강력하게 보이게 만들거나, 자신들에게 유리한 규제 포획(regulatory capture)을 확보하기 위한 전략이라고 제안합니다.

비대칭적 권력 우위

탈주 AI(rogue AI)의 위험을 넘어, 비대칭적 우위의 위험이 있습니다. 충분한 자본을 가진 단 한 명의 개인이 AI 코더와 실행자들의 "agent army"를 지휘할 수 있는 능력은 글로벌 경제와 사회에 상상할 수 없는 권력 불균형을 불균형을 만들 수 있습니다.