AI가 생성한 허위 정보로 인한 미군 준전시 상황 발생

AI가 생성한 허위 정보로 인해 미군이 중국 선박에 대한 작전을 수행할 뻔했습니다

중동 지역의 미군이 한 분석가의 AI 보조 보고서를 근거로 중국 선박이 핵무기 부품을 운송하고 있다고 판단하여 해당 선박을 차단할 준비를 했습니다. 그러나 심층 검토 결과, 해당 보고서는 챗봇이 완전히 조작한 내용임이 밝혀져 잠재적인 파국적 확전을 막을 수 있었습니다.

이 사건이 중요한 이유

즉각적인 전쟁 위험 – 조작된 데이터를 근거로 중국 선박에 대해 병력을 배치했다면 미·중 간의 직접적인 충돌로 번질 수 있었습니다.
AI의 체계적 위험성 입증 – 이 사건은 검증되지 않은 AI 결과물이 어떻게 고위급 의사결정 파이프라인에 침투할 수 있는지를 보여줍니다.
감독 체계의 허점 강조 – 국방부의 파편화된 AI 도구 전반에 걸쳐 통합된 검증 표준이 존재하지 않아, AI의 환각 현상이 고위 지휘관에게까지 전달될 수 있음을 시사합니다.

허위 보고서가 생성된 과정

오픈소스 및 기밀 데이터 융합 – 분석가는 미 특수작전사령부 태평양(U.S. Special Operations Command Pacific)의 선박 명세서를 사용하여 챗봇에 질문했습니다. 모델은 오픈소스 정보와 비밀 신호 정보를 혼합했습니다.
환각에 의한 화물 식별 – 모델은 해당 선박이 핵무기 물질을 운송하고 있다고 잘못 결론지었습니다. 잘못 식별된 화물의 정확한 성격은 공개되지 않았습니다.
자동 보고서 생성 – 분석가는 동일한 AI를 사용하여 조사 결과를 표준 정보 브리핑 형식으로 작성했으며, 이는 이후 군 전역에 유포되었습니다.

"내부 도구들은 대부분 립스틱을 바른 상용 제품의 복제품에 불과합니다."라고 군사 AI 시스템에 정통한 전직 미 고위 관리가 말했습니다.

국방부의 광범위한 AI 추진 현황

AI 가속화 전략 – 2026년 1월, 피트 헤그세스(Pete Hegseth) 국방장관은 미국이 적국보다 앞서 나가기 위해 300만 명의 민간인 및 군 인력 전반에 걸쳐 "AI 실험의 민주화"를 추진하는 전략을 발표했습니다.
분산형 배치 – 각 군과 기관은 일관성 없는 안전 프로토콜 하에 다양한 상용 또는 정부 구축 모델을 사용하고 있습니다.
검증 표준 부재 – AI가 생성한 정보를 검증하기 위한 단일 프레임워크가 없어, 각 부대는 임시방편적인 확인 절차에 의존하고 있습니다.

해커 뉴스(hacker-news) 토론에서 얻은 교훈

환각에 대한 기술적 설명 – 댓글 작성자 drtgh는 대규모 언어 모델(LLM)이 통계적 텍스트 생성기일 뿐이며, 모델이 관련 없는 색인 데이터를 엮을 때 오류가 발생하는 것은 본질적이라고 지적했습니다.
역사적 유사성 – jmward01은 이 사건을 과거 미국의 정보 실패 사례(예: 이라크 대량살상무기 주장)와 비교하며, AI는 단순히 목표를 정당화하는 서사를 생성하려는 기존의 압력을 증폭시킬 뿐이라고 언급했습니다.
인간 개입(Human-in-the-loop) 우려 – 다수의 댓글 작성자는 명확한 지침 없이는 "표적 설정에 AI를 사용하는 것이 민간인 사상자나 아군 오사를 방지하는 데 인간이 어떻게 개입해야 할지에 대한 실질적인 지침이 없다"고 강조했습니다.
문화적 위험 – AI 도구에 익숙한 젊은 분석가들은 비판 없이 결과물을 신뢰할 수 있습니다. 한 소식통은 "AI는 나쁜 아이디어에 더 빨리 도달하게 만든다"고 말했습니다.
전략적 경고 – 여러 의견은 이 사건을 추측성 실존적 위협과 대조되는, AI 기반 오판의 "즉각적인 위험"을 보여주는 구체적인 사례로 규정했습니다.

이 사건이 드러낸 군의 현재 AI 거버넌스 현황

문제	관찰	시사점
도구 출처	챗봇이 상용 모델인지 정부 구축 모델인지 불분명함.	투명성 부족으로 책임 소재 파악 및 위험 평가가 어려움.
검증 워크플로우	AI 생성 정보를 배포하기 전에 교차 검증하는 표준화된 절차가 없음.	환각 현상이 검증 없이 의사결정자에게 도달할 수 있음.
학습 데이터 편향	오픈소스와 기밀 데이터가 혼합된 모델은 지정학적 편향을 물려받을 수 있음.	오식별이 특정 위협 서사를 체계적으로 옹호할 수 있음.
인간 감독	표적 설정 시 인간 개입 안전장치에 대한 "실질적인 지침이 없음".	운영자가 AI에 과도하게 의존하여 비판적 검토가 줄어들 수 있음.
정책 파편화	여러 AI 프로그램이 서로 다른 명령과 안전 표준 하에 운영됨.	부서 전반의 신뢰성이 일관되지 않아 체계적 위험이 증가함.

AI 기반 정보 실패 완화를 위한 권고 사항

독립적 검증 의무화 – 모든 AI 생성 정보 제품은 작전 사용 전 별도의 데이터 소스를 사용하여 인간 분석가가 교차 검증해야 합니다.
검증 프로토콜 표준화 – 국방부는 모든 군이 채택해야 할 통합 프레임워크(예: 모델 출력 신뢰도 점수, 출처 로그)를 발표해야 합니다.
학습 데이터의 편향성 감사 – 군용 LLM에 공급되는 데이터셋, 특히 오픈소스와 기밀 입력을 결합하는 데이터셋에 대한 정기적인 검토를 수행해야 합니다.
치명적 표적 설정에 AI 사용 제한 – 강력하고 감사 가능한 안전장치가 마련될 때까지 AI 지원을 자문 역할로 제한하고 최종 살상 결정 권한을 부여해서는 안 됩니다.
버전 관리 및 출처 추적 구현 – AI 시스템이 생성한 모든 보고서에는 모델 버전, 프롬프트, 데이터 소스를 나타내는 메타데이터가 포함되어야 합니다.

결론

2026년 9월의 준전시 상황은 AI 환각이 이론적인 우려가 아니라 구체적인 작전상의 위험임을 보여줍니다. 통합된 검증 표준, 분산된 도구 관리, 그리고 엄격한 인간 감독이 없다면 AI는 미군을 파국적인 오판으로 몰아넣을 수 있습니다. 이 사건은 AI 보조 정보 생산의 모든 단계에 엄격한 검증 절차를 도입하기 위한 즉각적인 정책 조치를 촉발해야 합니다.