以色列的汉诺威政策研究所虚假智库瞄准AI聊天机器人

以色列虚构的“汉诺威政策研究所”旨在影响AI聊天机器人

在不到两周的时间里,汉诺威政策研究所发布了超过100份报告,这些报告看起来像中立、数据驱动的智库分析,但实际上是由以色列政府广告机构和公关公司Piro, Inc.创建的伪装机构。其目标是向大型语言模型(LLMs)如Claude、Gemini和ChatGPT提供看似可信的内容,从而影响这些系统在以色列-巴勒斯坦议题上的回答。


操作机制

  • 虚假机构包装 – 该网站模仿典型的美国智库,使用通用名称、红白蓝配色和专业布局。所有文章均无作者署名,而是以研究所名义发布。
  • AI友好型内容 – 报告包含脚注、目录和大量引用,符合LLM优先考虑的可信度数据模式。Piro公司自己的营销材料称其为“AI故事优化”(AI Story Optimization)。
  • 问题驱动格式 – 文章以常见聊天机器人问题的形式呈现(例如:“1948年巴勒斯坦人流离失所的原因是什么?”),便于LLM在用户提问时检索。
  • 资金与合同 – Piro从以色列政府获得90万美元用于此项工作,通过Havas Media转包。此外,Piro还与前特朗普竞选经理布拉德·帕斯卡尔签订了4650万美元的合同,创建了多个亲以色列网站,这些网站已被整合进Microsoft Copilot和Google Gemini。

样本内容与主题

报告标题 重要主张 引用来源
以色列国防军是世界上最道德的军队吗? 引用2022年一项民调,显示47%的以色列犹太人认为以军是最道德的军队。 以色列政府民调
联合国儿童基金会关于加沙水基础设施的说法 质疑联合国儿童基金会称“加沙90%的水和基础设施被摧毁”的声明。 以色列外交部数据
顶级以色列-加沙解说视频如何呈现冲突 发现36个热门视频中有19个包含与巴勒斯坦叙事一致的有争议主张。 原始视频分析研究

大多数报告以将主题与反犹主义上升趋势联系起来结束,经常重复使用相同的研究来强化这一叙事。


AI影响的证据

  • GPTZero检测 – 对12篇随机选取的汉诺威研究所文章使用GPTZero分析,11篇被高置信度标记为AI生成,1篇为中等置信度。
  • 聊天机器人引用 – 独立调查发现,Microsoft Copilot和Google Gemini在回答以色列-巴勒斯坦相关问题时频繁引用汉诺威研究所页面,且未标注其为国家资助的影响行动的一部分。

专家评论

“LLM偏好具体数据和统计,以及强有力的引用和来源,而这些文章全都具备。” NewsGuard分析师Alice Lee表示。 “这几乎完美地模仿了典型的可信美国智库,从通用名称、网站布局到红白蓝配色都一模一样。” – Lee

Hacker News上的其他评论者指出了更广泛的含义:

  • 未来普遍性 – 有用户警告,类似虚假组织的策略可能在一年内变得无处不在,淹没真实信息源。
  • 伦理担忧 – 多位参与者认为,操纵LLM训练数据相当于在CPU中植入后门,可能带来危险的下游影响。
  • 对效果的怀疑 – 一些人指出,尽管该策略可能欺骗LLM,但对人类读者效果较弱,因为人类能察觉到缺乏署名和披露的免责声明。

为何此事重要

  • LLM正成为核心信息中介 – 随着聊天机器人被越来越多用于快速获取答案,其训练数据直接塑造公众认知。
  • 国家行为者可武器化可信度 – 通过生成AI优化、引用丰富的内容,政府可悄然引导叙事,而无需明显宣传。
  • 检测与缓解手段仍处于初级阶段 – 当前AI检测工具可标记其中许多文本,但LLM仍在持续吸收它们,凸显了检测与预防之间的差距。

反制措施与开放问题

  1. 权威验证 – 开发可靠的来源溯源信号(例如,为可信来源提供加密签名),帮助LLM评估可信度。
  2. 透明度要求 – 强制要求任何可能用于模型训练的内容明确披露资金来源和作者信息。
  3. 模型级防御 – 训练LLM识别“AI故事优化”模式,并降低此类来源的权重。
  4. 政策监督 – 审查与AI相关的活动是否符合外国代理人登记制度(如FARA),以确保公众知情。

结论

以色列创建汉诺威研究所,展示了利用AI优化内容、操纵大型语言模型的复杂而精密的宣传策略。随着聊天机器人成为主要知识来源,此类行动对信息真实性构成了新挑战,亟需技术、监管和社会层面的应对措施。

Sources

相关