美軍因 AI 生成的虛假情報險些引發戰爭

AI 生成的虛假情報差點引發美國針對中國船隻的軍事行動

在一名分析師的 AI 輔助報告聲稱一艘中國船隻載有核武器零件後，美軍準備在中東攔截該船。經過深入審查，發現該報告完全是由聊天機器人捏造的，從而避免了一場可能災難性的升級。

為什麼這起事件很重要

  • 迫在眉睫的戰爭風險 – 基於虛假數據對中國船隻部署武力，可能會演變成美中直接衝突。
  • 說明了系統性的 AI 風險 – 該事件顯示未經核實的 AI 輸出如何滲透到高風險的決策流程中。
  • 突顯了監管漏洞 – 五角大廈分散的 AI 工具缺乏統一的驗證標準，導致「幻覺」內容能傳遞給高級指揮官。

虛假報告是如何產生的

  1. 開源與機密數據融合 – 分析師使用來自美國特種作戰司令部太平洋分部的清單向聊天機器人提問。該模型將開源情報與秘密信號情報混合在一起。
  2. 幻覺產生的貨物識別 – 模型錯誤地斷定該船載有核武器材料；被誤認貨物的具體性質未被披露。
  3. 自動化報告生成 – 分析師使用同一個 AI 將調查結果格式化為標準情報簡報，隨後在軍中傳閱。

「這些內部工具大多只是穿著華麗外衣的商業產品複製品，」一位熟悉軍事 AI 系統的前美國高級官員表示。 — @handle

國防部推動 AI 的更廣泛背景

  • AI 加速戰略 – 2026 年 1 月，國防部長 Pete Hegseth 宣布了一項戰略，旨在向 300 萬名文職和軍事人員「普及 AI 實驗」，以保持美國對對手的領先地位。
  • 去中心化部署 – 不同的軍種和機構在不一致的安全協議下使用各種商業或政府構建的模型。
  • 缺乏驗證標準 – 目前沒有單一的框架來審查 AI 生成的情報，導致每個單位只能依賴臨時檢查。

來自 hacker-news 討論的教訓

  • 對幻覺的技術解釋 – 評論者 drtgh 提醒說，大型語言模型 (LLMs) 是統計文本生成器；當模型將不相關的索引數據拼湊在一起時，錯誤是內在的。
  • 歷史相似之處 – jmward01 將此事件與過去美國的情報失敗（例如伊拉克大規模殺傷性武器聲稱）進行了比較，指出 AI 只是放大了現有的壓力，以產生證明目標合理性的敘事。
  • 人機協作的擔憂 – 多位評論者強調，在沒有明確指導的情況下，「AI 在目標鎖定方面的應用……對於如何透過人機協作來防止平民傷亡或誤傷，並沒有真正的指導方針。」
  • 文化風險 – 在 AI 工具環境下成長的年輕分析師可能會不加批判地信任輸出結果，正如一位消息人士所言：「AI 讓你更快地得到一個糟糕的主意。」
  • 戰略警告 – 幾條評論將此事件描述為 AI 驅動的誤判所帶來的「直接風險」的具體例子，與推測性的生存威脅形成對比。

該事件揭示了軍方目前的 AI 治理狀況

問題 觀察 影響
工具來源 不清楚該聊天機器人是商業模型還是政府構建的模型。 缺乏透明度阻礙了問責制和風險評估。
驗證工作流程 在傳播前沒有標準化的流程來交叉檢查 AI 生成的情報。 幻覺內容可能在未經檢查的情況下傳達給決策者。
訓練數據偏差 在混合開源和機密數據上訓練的模型可能會繼承地緣政治偏見。 錯誤識別可能會系統性地偏向某些威脅敘事。
人為監督 消息來源指出，在目標鎖定的人機協作保障措施方面「沒有真正的指導」。 操作員可能會過度依賴 AI，從而減少了關鍵審查。
政策碎片化 多個 AI 項目在不同的命令和安全標準下運作。 部門內部的可靠性不一致，增加了系統性風險。

減輕 AI 驅動情報失敗的建議

  1. 強制進行獨立驗證 – 每一份 AI 生成的情報產品在投入運作前，都應由人類分析師使用獨立的數據源進行交叉檢查。
  2. 標準化驗證協議 – 國防部應發布一個統一的框架（例如模型輸出置信度評分、來源日誌），所有軍種都必須採用。
  3. 審計訓練數據的偏差 – 對為軍事 LLMs 提供數據的數據集進行定期審查，特別是那些結合了開源和機密輸入的數據集。
  4. 限制 AI 在致命目標鎖定中的使用 – 在存在強大、可審計的保障措施之前，將 AI 輔助限制在諮詢角色，而非最終的殺傷決策權。
  5. 實施版本控制和來源追蹤 – 每個由 AI 系統生成的報告都應嵌入元數據，標明模型版本、提示詞和數據來源。

總結

2026 年 9 月的近乎戰爭事件表明，AI 幻覺不是理論上的擔憂，而是具體的運作風險。如果沒有統一的驗證標準、去中心化的工具管理和嚴格的人為監督，AI 可能會將美軍推向災難性的誤判。該事件應促使立即採取政策行動，將嚴格的檢查嵌入到 AI 輔助情報生產的每一個階段。

Sources

相關