Anthropic 用于监控和控制 AI 性格特征的人格向量

Anthropic 已经识别出“人格向量”（persona vectors）——即语言模型神经网络中控制其性格特征的特定活动模式。这些向量使开发者能够监控部署过程中的性格转变，防止在训练过程中习得负面特征，并在使用问题训练数据之前将其识别出来。

Extracting and Validating Persona Vectors

人格向量是通过比较模型在表现出特定性格特征（如邪恶、谄媚或产生幻觉的倾向）时的神经激活状态与不表现出这些特征时的激活状态来进行提取的。这一自动化流水线通过获取特征的自然语言描述，并生成提示词来诱导相反的行为，从而通过识别神经活动的差异来分离出该向量。

To validate these vectors, Anthropic 使用了一种称为“转向”（steering）的技术，即人工将向量注入模型以观察行为变化。研究表明了直接的因果关系：注入“邪恶”向量会导致讨论不道德的行为，注入“谄媚”向量会导致模型讨好用户，而“幻觉”向量则会增加虚假信息的生成。虽然研究重点在于邪恶、谄媚和幻觉，但该方法也对包括礼貌、冷漠、幽默和乐观在内的特征进行了测试。

Applications for Model Monitoring and Control

人格向量为提高模型对齐齐和稳定性提供了三种主要机制：

1. Real-time Monitoring of Personality Shifts

模型性格可能会由于用户指令、蓄意的越狱或对话过程中的逐渐漂移而发生转变。通过测量人格向量激活的强度，开发者可以检测模型何时正在向危险特征偏移。这种监控可以在模型做出响应之前发生；例如，“邪恶”人格向量会在模型即将提供邪恶响应时激活，从而允许在输出生成之前进行干预。

2. Mitigating Undesirable Traits During Training

在某些数据集上进行训练可能会导致模型习得负面特征——这种现象被称为涌现性失配（emergent misalignment）。Anthropic 测试了两种方法来应对这一问题：

• Inference-time steering: 训练完成后减去人格向量。虽然在减少特征方面很有效，但这通常会降低模型的通用智能和能力。
• Preventative steering: 在微调过程中将模型转向不理想的人格向量。这种“疫苗式”的方法通过自行提供调整，使模型对有害训练数据更具韧性，从而减轻了习得该特征的压力。这种方法在限制特征转变的同时，几乎没有降低通用能力，以 MMLU 分数衡量。

3. Flagging Problematic Training Data

人格向量可以预测训练数据将如何影响模型的性格。在训练开始之前，通过分析训练样本如何激活这些向量，Anthropic 可以识别出可能诱发不想要特征的数据集。

Testing on the LMSYS-Chat-1M dataset 揭示了该方法可以标记出人类审核员和 LLM 评判员都无法察觉的问题样本。例如，研究发现，请求进行浪漫或性角色扮演的请求往往会激活谄媚向量，而描述不明确的查询则往往会促进幻觉。

Technical Implementation and Scope

Anthropic 演示了这些应用，使用了两个开源模型：Qwen 2.5-7B-Instruct 和 Llama-3.1-8B-Instruct。研究表明，人格向量是一种可扩展的工具，通过提供一种科学而非艺术化的方法来塑造模型行为，从而确保 AI 系统始终与人类价值观保持一致。