以色列的漢諾威研究所虛假智庫針對AI聊天機器人

以色列虛構的「漢諾威研究所」旨在影響AI聊天機器人

在不到兩週的時間內,漢諾威公共政策研究所發布了超過100份報告,這些報告看似中立、以數據為基礎的智庫分析,但該研究所實際上是由以色列政府廣告機構與PR公司Piro, Inc.共同創立的幌子。其目標是向大型語言模型(LLMs)如Claude、Gemini和ChatGPT輸入看似可信的內容,從而影響這些系統在以色列—巴勒斯坦議題上的回應。


運作方式

  • 虛假機構外衣 – 該網站模仿典型的美國智庫,使用通用名稱、紅白藍配色與精緻的版面設計。所有文章均無作者署名,而是以研究所名義發佈。
  • 適合AI的內容 – 報告包含腳註、目錄與大量引用,符合LLM優先考量的數據模式以建立可信度。Piro自身的行銷資料將此描述為「AI敘事優化」。
  • 以問題為導向的格式 – 文章以常見聊天機器人問題的形式呈現(例如:「1948年巴勒斯坦人流離失所的原因是什麼?」),使LLM在使用者提出類似問題時更容易檢索。
  • 資金與合約 – Piro從以色列政府獲得90萬美元用於此項目,透過Havas Media分包。此外,與前川普競選經理Brad Parscale簽訂的另一份4650萬美元合約,也催生了多個支持以色列的網站,這些網站已納入Microsoft Copilot與Google Gemini。

樣本內容與主題

報告標題 重要主張 引用來源
以軍是全球最具道德的軍隊嗎? 引用2022年民調顯示,47%的以色列猶太人認為以軍是全球最具道德的軍隊。 以色列政府民調
聯合國兒童基金會在加沙的水資源基礎設施說法 質疑聯合國兒童基金會聲稱「加沙90%的水資源與基礎設施已被摧毀」的說法。 以色列外交部資料
頂尖以色列—加沙解說影片如何呈現衝突 發現36部熱門影片中有19部包含與巴勒斯坦敘事一致的爭議性主張。 原始影片分析研究

大多數報告結尾都會將主題連結至反猶主義的上升,經常重複使用相同的研究所強化此敘事。


AI影響的證據

  • GPTZero檢測 – 對12篇隨機選取的漢諾威研究所文章使用GPTZero分析,11篇被高信心度標記為AI撰寫,剩餘一篇則為中等信心度。
  • 聊天機器人引用 – 獨立調查發現,Microsoft Copilot與Google Gemini在回應以色列—巴勒斯坦相關問題時,經常引用漢諾威研究所的網頁,卻未標示其為國家資助的影響行動的一部分。

專家評論

「LLM偏好具體的統計數據與資料,以及強有力的引用與來源,而這些文章全都具備這些特徵,」NewsGuard分析師Alice Lee表示。 「這完美模擬了典型的可信美國智庫,從通用名稱、網站版面到紅白藍配色都一模一樣。」— Lee

Hacker News上的其他評論者也指出更廣泛的影響:

  • 未來普遍性 – 有使用者警告,類似的虛假組織手法可能在一年內變得無處不在,壓垮真實資訊來源。
  • 倫理疑慮 – 數位參與者認為,操縱LLM訓練資料等同於在CPU中植入後門,可能帶來危險的後續影響。
  • 對成效的懷疑 – 有些人指出,雖然此策略可能欺騙LLM,但對人類讀者效果較差,因為他們能察覺缺乏作者署名與公開的聲明。

為何這件事重要

  • LLM正成為核心資訊中介 – 隨著聊天機器人被廣泛用於快速獲取答案,其訓練資料直接塑造公眾認知。
  • 國家行為者可武器化可信度 – 透過產製AI優化、引用豐富的內容,政府能以非公開宣傳的方式,微妙地引導敘事。
  • 檢測與緩解措施仍處於初期 – 當前AI檢測工具已能標記許多此類文本,但LLM仍持續吸收它們,突顯檢測與預防之間的落差。

反制措施與開放問題

  1. 權威驗證 – 開發強健的來源溯源信號(例如,為可信來源建立加密簽章),可幫助LLM評估可信度。
  2. 透明度要求 – 強制要求任何可能用於模型訓練的內容,必須清楚披露資金來源與作者資訊。
  3. 模型層級防禦 – 訓練LLM識別「AI敘事優化」的模式,並降低此類來源的權重。
  4. 政策監督 – 評估外國代理人登記文件(例如FARA)中與AI相關的活動,以確保公眾知情。

總結

以色列創立漢諾威研究所,展現了一種精密且以AI為導向的宣傳技術,利用LLM對資料豐富、引用繁多內容的信任。隨著聊天機器人成為主要知識來源,此類行動對資訊完整性構成新挑戰,需要技術、法規與社會層面的回應。

Sources

相關