AI 2040: 초지능 재앙을 피하기 위한 플랜 A

AI 2040: 초지능 재앙을 피하기 위한 플랜 A

핵심 제안: 초지능에 대한 검증된 감속

플랜 A는 초지능 개발을 2040년까지 연기함으로써 AI에 의한 존재론적 재앙을 피하기 위한 정책 권고안입니다. 이 전략은 현재 비밀스러운 AI 우위 경쟁을 전면적인 연구 투명성과 상호 보증된 연산 파괴 체제로 대체하기 위해 주로 미국과 중국 간의 국제 협정을 제안합니다.

모든 AI 연구를 공개하고 여러 글로벌 기업이 천천히 안전하게 함께 규모를 확대하도록 함으로써, 플랜 A는 두 가지 주요 위험을 방지하고자 합니다: 초지능 시스템에 대한 인간 통제 상실(정렬 실패)과 소수 개인이나 단체에게 권력이 전례 없이 집중되는 상황.

플랜 A의 제안된 타임라인

정책 권고안을 스트레스 테스트하기 위해, 저자들은 플랜 A가 성공적으로 구현된 구체적인 시나리오를 제시합니다:

  • 2029: 미국과 중국이 초지능에 대한 무모한 경쟁을 피하기로 합의.
  • 2030: 저자들이 예측한 바와 같이 연말까지 초지능에 이를 수 있었던 완전 자동화된 AI 연구·개발 "기본" 경로를 세계가 회피.
  • 2030–2035: AI 능력이 인간 수준 내에서 확장되어 최고 인간 전문가 수준에 도달.
  • 2035: 인간 통제를 유지하기 위해 최고 인간 전문가 수준에서 전략적 정지가 시행.
  • 2040: 정지가 해제되고 초지능으로의 규모 확대가 시작.

핵심 정책 개입

플랜 A는 감속이 검증 가능하고 효과적이도록 여러 중요한 개입에 의존합니다:

전면 연구 투명성

AI 기업은 내부와 외부 배포 간의 격차를 제한해야 합니다. 이는 "은밀한" 재귀적 자기 개선 위험을 방지합니다. 요구 사항에는 모델 사양(목표와 가치), 내부 사용 통계, 내부 AI 오케스트레이션에 대한 정성적 인상 등을 공개 보고하는 것이 포함됩니다.

연산 거버넌스 및 검증

최전선 AI 훈련에는 막대한 하드웨어가 필요하므로, 연산이 집행의 주요 지렛대가 됩니다. 플랜 A는 다음을 제안합니다:

  • 공급망 추적: 반도체 팹과 데이터센터 소유자가 주요 구매 및 판매를 공개하도록 요구.
  • 검증 R&D: 기존 모델을 공개적으로 사용하면서 새로운 최전선 훈련이 진행되지 않음을 검증할 수 있는 "추론 전용" 검증 솔루션 개발.
  • 수출 통제 집행: 은밀한 프로젝트를 가능하게 하는 밀수 칩을 방지하기 위해 기존 수출 통제의 집행을 강화.

정부 역량 구축

저자들은 현재 미국 정부가 이러한 정책을 감독할 최상위 AI 인재가 부족하다고 주장하며, 고품질 AI 전문 인력 확보를 국가의 긴급 과제로 강조합니다.

대안 시나리오와 "경쟁" 위험

저자들은 플랜 A를 다른 잠재적 경로와 대비시키는데, 특히 플랜 D (ASI로의 경쟁) 를 강조합니다. 플랜 D에서는 기업들이 가능한 한 빨리 초지능에 도달하기 위해 AI 연구·개발을 자동화하여 지정학적 경쟁자를 앞서려 합니다.

"우리는 플랜 D가 끔찍하다고 생각합니다... 기업들이 가능한 한 빨리 경쟁한다면 지능 폭발을 통해 AI를 통제할 수 있을 거라고 기대하지 않으며... [그리고] 제3차 세계대전 위험이 너무 높습니다."

비판적 분석 및 반론

AI 2040 제안에 대한 커뮤니티 논의는 여러 기술적·경제적 회의론을 강조합니다:

  • "불가피성" 가정: 비평가들은 제안이 LLM이 반드시 ASI로 이어진다고 가정하고, 현재 아키텍처가 플래토("시그모이드" 곡선)에 이를 가능성을 무시하거나 토큰 예측을 넘어선 진정한 지능이 없다고 지적합니다.
  • 경제적 타당성: 일부 관찰자는 예상되는 GPU 구축 비용(수조 달러 규모)이 주요 국가들의 GDP를 초과할 것이며, 이러한 확장을 위한 자본이 어디서 나올지 의문을 제기합니다.
  • 집행 난관: 회의론자들은 스탈린식 일당 국가인 중국과의 협정 실현 가능성을 의심하며, 연구가 중단되기보다 지하로 전환되는 역사적 경향을 지적합니다.
  • 노동시장 추측: 일부 비평가는 시나리오가 대규모 실업(최대 74%)과 2035년까지 물리적 로봇 배치 속도를 예측하는 것이 지나치게 추측적이며 경제 현실과 동떨어졌다고 봅니다.

요약: AI 2040: 플랜 A는 전면 연구 투명성과 검증된 감속을 통해 초지능을 2040년까지 연기하는 국제 협정을 제안함으로써 존재론적 위험과 극단적인 권력 집중을 방지하고자 합니다.

제목: AI 2040: 초지능 재앙을 피하기 위한 플랜 A

Sources