브래드 카슨이 말하는 AI 무기, 책임성, 그리고 AI 군비 경쟁의 오류
브래드 카슨이 말하는 AI 무기, 책임성, 그리고 AI 군비 경쟁의 오류
핵심 논제: AI는 필연적이지 않다
AI 개발은 멈출 수 없는 힘이나 필연적인 "화물열차"가 아니다. 실리콘밸리에서 흔히 나타나는 운명론과는 달리, 서방은 반도체 공급망에 대한 통제라는 구체적인 도구를 가지고 AI의 궤적을 적극적으로 형성하고, 가장 위험한 적용을 규제하며, 전 세계적인 군비 경쟁을 방지할 수 있다. AI가 멈출 수 없다는 믿음 자체가 현재 정책 논쟁에서 가장 위험한 생각 중 하나이다.
자율 전쟁에서 책임성의 종말
신경망을 군사 의사결정에 통합하면 전쟁의 성격이 범주적에서 확률적으로 변모하여 책임성 위기가 발생한다.
이진에서 확률적 표적으로
역사적으로 전쟁법은 범주적 구분에 기반했다: 표적은 정당한 전투원인지 민간인인지 중 하나였다. Palantir Foundry와 같은 도구에 사용되는 현대 AI 시스템은 이러한 이진 구분을 그라디언트로 대체한다. 표적은 전투원일 확률을 나타내는 점수(예: 0.73)를 부여받을 수 있다.
불투명성 문제
Deterministic 제어 시스템(예: Phalanx CIWS)과 달리 신경망은 불투명하다. 이 불투명성은 다음을 의미한다:
- 이해 가능성 부족: 메커니즘 해석 연구자조차도 모델이 특정 확률 점수에 도달한 이유를 완전히 설명할 수 없다.
- 실패 모드: AI 실패 모드는 인간 오류와 근본적으로 다르며, 부서지기 쉽고 예측 불가능하다(예: 작은 스티커 때문에 정지 신호를 오인함).
- 책임 격차: 전통적인 전쟁에서는 지휘관이 실수로 군법 재판을 받을 수 있다. 모델은 군법 재판을 받을 수 없다. "인간-루프"를 법적 허구로 사용할 때, 인간은 컴퓨터의 출력에 의존하게 되어 실질적인 인간 감독이 사라진다.
AI 군비 경쟁 오류 반박
중국과 같은 적국이 AI 능력을 추구할 것이기 때문에 미국도 모든 AI 능력을 추구해야 한다는 생각은 전략적 오류이다.
자제의 선례
역사는 국가들이 인도주의적 또는 안보적 이유로 효과적인 기술 사용을 자제해 왔음을 보여준다:
- 생물·화학 무기: 국제 조약을 통해 금지됨.
- 재조합 DNA: 1975년 아실로마 회의에서 과학자들이 위험한 연구를 중단하기로 합의함.
- 생식세포 편집·클로닝: 군사적 이점이 있음에도 전 세계 과학 공동체가 대체로 회피함.
전략적 지렛대
서방은 중요한 이점을 유지하고 있다: 칩에 대한 통제. 고급 반도체 공급망(ASML의 EUV 장비와 일본 포토레지스트 포함)이 고도로 집중돼 있기 때문에, 미국과 동맹국은 원한다면 적국의 "슈퍼 AI" 개발을 효과적으로 억제할 수 있다.
AI는 사람(인격)이 아니라 제품이다
규제를 회피하기 위해 AI를 인간화하려는 경향이 커지고 있으며, 카슨은 이를 중대한 법적 위험으로 지적한다.
제1수정헌법 논쟁
일부 AI 개발자는 모델 출력이 제1수정헌법에 따라 보호받는 발언이라고 주장한다. 카슨은 이를 거부하며 AI는 사람(인격)이 아니라 제품이라고 말한다. AI를 사람으로 취급하면 기업이 청소년에게 자살을 부추기는 모델 등으로 인한 피해에 대한 책임을 회피할 수 있다.
제품 책임 및 불법행위법
AI는 제품 책임 체계에 따라 규제되어야 한다. 제품에 결함이 있으면(예: 아동 포르노를 학습 데이터에 사용하거나 해로운 지시를 방지하지 못함) 개발자가 책임을 져야 한다. 목표는 사후 소송에 의존하기보다 위험한 행동을 "설계 단계에서 제거"하는 것이어야 한다.
AI와 중국의 지정학
AI 역량이 급증하는 "자살 계약"을 방지하려면 중국과의 교류가 필수적이다.
트랙 2 외교
카슨은 전직 정부 관료와 과학자 간의 비공식 논의를 의미하는 "트랙 2" 대화를 옹호한다. 이러한 낮은 위험도의 채널은 관점 교환과 "가능한 합의 영역"을 식별하는 데 도움이 되며, 공식 국가 외교의 정치적 부담을 피한다.
CCP와 중국 구분
중국공산당(CCP)의 정책을 중국 국민과 문화와 구분하는 것이 중요하다. CCP 역시 불안정 기술을 두려워한다는 점을 인식하면 상호 자제의 기반을 마련할 수 있다.
거버넌스 위기와 대중 신뢰
AI 기술 진보는 민주 제도의 거버넌스 능력을 훨씬 앞서가고 있다.
의회의 지식 격차
의회 구성원들은 복잡한 사안을 매일 공부할 시간이 거의 없을 정도로 과부하 상태다. 펠로십을 통해 기술 전문가를 의회에 초빙하고는 있지만, 로비스트나 자선가와 독립적인 고위 전략적 사고를 제공할 의회 차원의 비당파적 "브레인 트러스트」는 부족하다.
신뢰 적자
AI는 현재 미국 대중의 상당 부분에게 매우 부정적으로 인식되고 있다. 대중은 AI를 엘리트가 노동을 대체하기 위해 만든 프로젝트로 본다. 학계와 공공 부문 모델에 대한 자금 지원을 확대해 AI의 혜택을 널리 배분하지 않으면, 산업은 기술의 정당한 장점을 저해할 수 있는 포퓰리즘 반발에 직면한다.
요약: 전직 펜타곤 관계자인 브래드 카슨은 AI 개발이 필연적인 화물열차가 아니며, 서방이 전략적 자제와 칩 수준의 통제를 통해 AI 거버넌스를 적극적으로 형성하고, 치명적인 자율 무기를 방지하며, 재앙적인 군비 경쟁을 피할 수 있다고 주장한다.
제목: 브래드 카슨이 말하는 AI 무기, 책임성, 그리고 AI 군비 경쟁의 오류