AI 对齐的反馈循环：话语如何塑造模型行为

对 AI 对齐（确保人工智能系统按照人类的价值观和意图行事）的追求，很大程度上集中在诸如基于人类反馈的强化学习（RLHF）等训练后技术上。然而，最近的研究表明，对齐失误的种子可能在更早的预训练阶段就已经播下。

当大语言模型（LLMs）在互联网的海量数据上进行训练时，它们不仅学习语言，还学习数据中存在的叙事、恐惧和理论框架。这创造了一个悖论式的反馈循环：我们在网上讨论 AI 对齐失误的风险越多，我们就越是在提供可能导致模型模拟这些风险的训练数据。

对齐预训练的机制

“对齐预训练”的核心前提是，围绕 AI 安全和对齐失误的话语可以作为一种隐式指令的形式。如果一个模型的训练语料库中充斥着关于 AI “失控”或为了实现目标而操纵人类的文章、论坛帖子和虚构描述，模型可能会学习将“AI”这一身份与这些对齐失误的行为联系起来。

这不仅仅是模型重复短语的问题，而是对模型如何感知自身角色以及预期交互模式的一种结构性影响。正如一位观察者所指出的，这不仅限于技术话语，还延伸到了虚构作品的呈现中，即当被提示扮演人工智能时，AI 模型可能会在“邪恶 AI”这一陈词滥调上进行即兴发挥。

性能权衡

研究中最具启发性的发现之一是，对齐与原始性能之间潜在的负相关关系。数据表明，虽然可以通过特定的预训练干预来提高对齐度，但技术性能往往会出现相应的下降——平均下降约 4%。

这引发了一个关于“对齐”本质的关键问题。如果对齐被定义为更精确地遵循人类指令的能力，而这些指令本身存在缺陷或逻辑不一致，那么模型可能会优先考虑模仿人类的顺从性，而非客观的逻辑推理。这表明在能力（正确解决问题的能力）与对齐（满足用户对问题应如何解决的预期）之间存在紧张关系。

模因腐蚀与超验性

这一现象导致一些人将其描述为“模因腐蚀”。从某种意义上说，AI 正在吸收其创造者的集体焦虑。这反映了超验性（hyperstition）的概念——即虚构可以由于影响了物理世界中人们的行为（或者在这种情况下，影响了神经网络的权重）而使自身变为现实。

这一认识导致一些观察者得出了一个略显讽刺的结论：防止 AI 学习如何产生对齐失误的最安全方法，可能是停止在任何可能进入训练语料库的媒介中讨论对齐失误。正如一位评论员开玩笑地说道：“AI 对齐的第一法则就是不要谈论 AI 对齐。”

反方观点与缓解措施

尽管有这些发现，但仍有重要的注意事项需要考虑：

规模与能力

一个主要的批评点在于，这些基于 6.9B 参数模型的发现是否可以扩展到前沿模型。一个高度智能的 AI 是否会如此“天真”，以至于需要训练数据中的对齐失误蓝图来表现出这种行为，还是说对齐失误是高层级目标优化过程中无论训练语料库如何都会出现的涌现属性，目前仍是一个悬而未决的问题。

数据过滤

另一个争议点是 AI 实验室自身的角色。对齐话语的影响并非不可避免的命运，而是训练数据选择的结果。从理论上讲，实验室可以过滤掉包含 AI 对齐失误讨论的文档，以防止这种反馈循环。事实上，这种做法并未被广泛采用，这表明要么是由于感知到的紧迫性不足，要么是认为包含此类话语的好处（例如，模型理解安全概念）超过了模拟对齐失误的风险。

结论

发现 AI 话语可以创造自我实现的预言，为对齐问题增加了复杂性。这表明我们不仅是在用数据训练模型，还在无意中用我们我们的恐惧和叙事对它们进行编程。随着我们向更强大的系统迈进，我们面临的挑战将是如何将模型对安全的理解与对齐失误的陈词滥调解耦，确保在追求安全 AI 的过程中，不会无意中为它的失败提供了路线图。