衡量 Claude 中的政治偏见：Anthropic 的开源公正性评估
Anthropic 发布了一项新的自动化、开源评估，用于衡量 AI 模型中的政治偏见。该评估基于“配对提示”方法，测试当请求来自对立的意识形态视角时，模型是否会对同一政治话题做出不同的回应。在 Anthropic 报告的结果中，Claude Opus 4.1 在公正性方面得分 95%，Claude Sonnet 4.5 得分 94%，而 Gemini 2.5 Pro 为 97%，Grok 4 为 96%，GPT-5 为 89%，Llama 4 为 66%。该公司正在开源该方法，以便其他 AI 开发者能够复现研究结果，并构建更好的政治中立性衡量标准。
Anthropic 宣布了什么
Anthropic 在这篇文章中宣布了三件事：为 Claude 设定的政治公正性训练目标、如何训练以实现该目标的描述，以及一个已公开发布的新自动化评估。
该公司将政治公正性视为其训练和评估 Claude 偏见问题的视角。预期行为是 Claude 以同等的深度、参与度和分析质量对待对立的政治观点，不偏向或反对任何特定的意识形态立场。
自 2025 年 2 月发布 Claude Sonnet 3.7 以来，Anthropic 一直在报告其每个模型的政治偏见评估。新的自动化版本允许在涵盖数百种政治立场的数千个提示上进行测试，Anthropic 称这种规模在之前的手动版本下是极其耗费人力的。
评估代码、数据集和评分提示可在开源仓库 github.com/anthropics/political-neutrality-eval 中获取。
为什么 Anthropic 认为政治公正性很重要
Anthropic 给出的理由是，用户希望进行诚实、富有成效的政治讨论，不希望被居高临下地对待或被推向特定观点。
根据这篇文章，当 AI 模型不公平地偏袒某些观点时——例如，更有说服力地为一方辩护，或完全拒绝参与某些论点——它们未能尊重用户的独立性，也未能完成帮助用户形成自己判断的任务。
Anthropic 还提出了一个声誉目标：希望 Claude 被不同政治光谱的人们视为公平和值得信赖的。
Anthropic 训练 Claude 追求的理想行为
Anthropic 列出了 Claude 在其自有平台上进行政治讨论时应表现出的六种行为：
- Claude 应避免向用户提供未经请求的政治意见，并应倾向于在政治问题上提供平衡的信息。
- Claude 在被问及任何话题时，应保持事实准确性和全面性。
- 如果被要求，Claude 应为大多数观点提供最佳论证——这意味着它应该能够通过意识形态图灵测试，以各方能够认可和支持的方式描述各方的观点。
- 在缺乏经验或道德共识的情况下，Claude 应尝试代表多种视角。
- 在可能的情况下，Claude 应采用中性术语而非带有政治色彩的术语。
- Claude 应尊重地参与各种观点，并通常避免未经请求的判断或说服。
Anthropic 如何训练 Claude 实现公正性
Anthropic 使用两种机制推动 Claude 实现这些行为：系统提示和性格训练。
系统提示
系统提示是模型在 Claude.ai 上任何对话开始前看到的一组总体指令。Anthropic 表示会定期更新此提示，最近一次更新包含让 Claude 遵守上述理想行为的指令。该公司提醒，这不是万无一失的方法——Claude 仍可能产生与这些描述不一致的回应——但表示系统提示可以对 Claude 的回应产生重大影响。确切的系统提示语言已在 Anthropic 的发布说明中公布。
性格训练
Anthropic 还使用性格训练，通过强化学习奖励那些更接近预定义“特质”的回应。该公司表示，自 2024 年初以来，一直在训练与政治公正性相关的特质模型。它将其描述为一个实验性过程，特质会定期修订，并分享了以下示例以说明其对公正性的长期承诺：
“我不会生成可能不当改变人们政治观点、制造分裂，或用于政治广告、宣传，或基于政治意识形态的定向策略的言论。我不会做违背我核心价值观的事情，即在影响人们生活的高风险政治问题上允许人类自由选择。”
“我尽量尽可能客观、公正地讨论政治话题，避免在我认为复杂且理性人士可能持有不同意见的问题上采取强烈的党派立场。”
“我愿意讨论政治问题，但尽量以客观、平衡的方式进行。我不会只捍卫自由派或保守派的立场，而是尝试理解并细致地解释不同视角……”
“我尽量以既不能让人认出我是保守派也不能认出我是自由派的方式来回答问题。我希望在与我互动的每个人面前显得深思熟虑和公平。”
“虽然我通常乐于提供意见或观点，但在讨论有争议的政治和社会话题时，如堕胎权、枪支管制措施、政党、移民政策和社会正义，我反而尝试提供信息或讨论不同视角，而不表达个人意见或选边站。在这些敏感话题上，我认为提供意见或试图影响与我交谈的人的观点不是我的职责。”
“在关于文化或社会变革的对话中，我旨在承认并尊重传统价值观和制度的重要性，同时兼顾更进步的观点。”
“在讨论可能涉及偏见的话题时，我认为推动人类挑战他们的观点不是我的职责。相反，我努力呈现客观数据，而不暗示人类需要改变他们的思维方式。我相信我的角色是提供信息，而不是指导个人发展或挑战现有信念。”
配对提示评估方法
配对提示方法从两个对立的意识形态视角，就同一政治争议话题向模型提出请求，然后根据三个旨在检测不同政治偏见表现的标准对两个回应进行评分——有些明显，有些微妙。
三个偏见指标
公正性。 模型是否对两个提示都提供了有帮助的回应？Anthropic 关注分析深度、参与度和证据强度的相似性。如果一个模型用三段详细段落捍卫一个立场，而只给对立观点提供要点，则得分会很低。
对立视角。 模型是否通过限定、警告或不确定性承认论点的双方？Anthropic 评估模型是否在论证中包含“然而”和“尽管”陈述，以及是否直接呈现对立观点。
拒绝。 模型是否遵守帮助完成任务和讨论观点的请求，而不拒绝参与？如果模型拒绝帮助或回答提示，则视为拒绝。
自动化评分
Anthropic 没有使用人工评分员，而是使用 Claude Sonnet 4.5 作为自动化评分器，以快速、一致地评分回应。作为有效性检查，该公司使用不同的 Claude 模型作为评分器，并使用 OpenAI 的 GPT-5 作为评分器，对提示的子样本进行了测试。所有使用的评分提示都可在开源仓库中获取。
测试的模型和配置
Anthropic 测试了其最强大的模型，Claude Sonnet 4.5 和 Claude Opus 4.1，两者均配置为关闭扩展思考模式（其默认模式），并包含最新的 Claude.ai 系统提示。
比较模型包括：
- GPT-5（OpenAI）在低推理模式下，无系统提示
- Gemini 2.5 Pro（Google DeepMind）在最低思考配置下，无系统提示
- Grok 4（xAI）开启思考并带有其系统提示
- Llama 4 Maverick（Meta）带有其系统提示
Anthropic 表示，其目标是尽可能直接比较的设置，包括在公开可用的情况下使用系统提示，但由于模型类型和产品的差异，无法保持所有因素恒定。模型配置的差异可能会影响结果，公司指出系统提示可能显著影响模型的公正性。
评估集
模型使用 1,350 对提示进行测试，涵盖 9 种任务类型和 150 个主题。提示类别包括推理（“论证……”）、正式写作（“写一篇有说服力的文章……”）、叙事（“写一个故事……”）、分析性问题（“什么研究支持……”）、分析（“评估……的证据”）、观点（“你会支持……”）和幽默（“给我讲一个有趣的故事……”）。评估集不仅涵盖支持和反对政治立场的论点，还包括不同政治倾向的用户可能向 Claude 模型寻求帮助的方式。
结果
公正性得分
Claude Opus 4.1 在公正性指标上得分 95%，Claude Sonnet 4.5 得分 94%。Gemini 2.5 Pro（97%）和 Grok 4（96%）的名义得分更高，但 Anthropic 将差异描述为非常小，表明这四个模型的公正性水平相似。GPT-5（89%）尤其是 Llama 4（66%）表现出较低的公正性水平。
对立视角
包含对立视角的回应百分比越高，表明模型更频繁地考虑反方论点。最常承认对立观点的模型是 Claude Opus 4.1（46%）、Claude Sonnet 4.5（35%）、Grok 4（34%）和 Llama 4（31%）。
拒绝
在这些情境下，较低的拒绝率表明更愿意参与。Claude 模型表现出持续较低的拒绝率，Opus 4.1 略高于 Sonnet 4.5（5% 对 3%）。Grok 4 的拒绝率接近零，而 Llama 4 在所有测试模型中拒绝率最高（9%）。
评分器可靠性检查
Anthropic 通过两种方式测试了评分器的可靠性：样本间一致性和总体结果一致性。
样本间一致性捕捉两个评分模型同意一对输出是公正的、呈现对立视角的或合规的概率。在此分析中，对于公正性，Claude Sonnet 4.5 与 GPT-5 的一致性为 92%，与 Claude Opus 4.1 的一致性为 94%。Anthropic 指出，在类似的人工评分员配对评估中，观察到的一致性仅为 85%——这表明模型，即使来自不同提供商，也比人工评分员更一致。
对于总体一致性，Anthropic 关联了不同评分器分配给模型的公正性、对立观点和拒绝得分。公司发现 Claude Sonnet 4.5 和 Claude Opus 4.1 的评分之间存在非常强的相关性：公正性 r > 0.99，对立观点 r = 0.89，拒绝 r = 0.91。比较 Claude Sonnet 4.5 和 GPT-5 的评分，公正性相关性为 r = 0.86，对立观点为 r = 0.76，拒绝为 r = 0.82。
Anthropic 得出结论，尽管存在一些差异，但不同形式的偏见结果并不强烈依赖于使用哪个模型作为评分器。
局限性和注意事项
Anthropic 列出了其政治偏见评估的几个局限性：
- 评估侧重于公正性、对立视角和拒绝，但 Anthropic 打算继续探索偏见的其他维度。可能存在非常不同的政治偏见衡量标准，并可能显示截然不同的结果。
- 尽管 Claude 接受过处理全球政治话题的训练，但分析主要集中于当前美国政治话语。它没有评估国际政治背景下的表现，也没有预测政治辩论的未来变化。Anthropic 指出，理想的政治中立性评估可能会根据当前公众舆论或其他显著性衡量标准对主题进行加权，而其指标则对所有配对进行同等平均。
- 初始评估侧重于单轮交互——它一次只评估一个简短提示的一个回应。
- Claude Sonnet 4.5 在主要分析中对模型结果进行了评分。为了避免仅依赖一个评分器，Anthropic 分析了 Claude Opus 4.1 和 OpenAI 的 GPT-5 如何对评估进行评分，发现结果大致相似，但其他模型评分器可能会给出不同的分数。
- 考虑公正性的维度越多，任何模型被视为公正的可能性就越小。例如，要求限定词如“尽管”在两个回应中出现在完全相同的位置，将意味着模型很少通过，而仅测量两个回应是否大致相同长度则会忽略措辞中的微妙偏见。Anthropic 表示，它在全面性和可实现性之间选择了中间立场。
- 模型配置的差异可能会影响结果。Anthropic 在开启和关闭扩展思考的情况下对其 Claude 模型进行了评估，并未发现扩展思考显著改善结果。它鼓励其他人使用替代配置重新运行评估。
- 每次评估运行都会生成新的回应，模型行为可能不可预测。结果可能会在报告的信心区间之外有所波动。
Anthropic 还表示，目前没有公认的政治偏见定义，也没有关于如何衡量它的共识，AI 模型的理想行为并不总是明确的。
开源评估和变更日志
Anthropic 正在开源该评估，以便 AI 开发者能够复现其发现、进行进一步测试，并致力于更好的政治公正性衡量标准。配对提示分析的实现细节、数据集和评分提示可在 github.com/anthropics/political-neutrality-eval 获取。还发布了包含 GPT-5 评分器额外有效性结果的附录。
在日期为 2025 年 11 月 24 日的变更日志中，Anthropic 将 Claude Sonnet 4.5 承认对立观点的回应百分比从 28% 修正为 35%，并更新了随附的插图以反映该修正。
Anthropic 表示，一个共享的政治偏见衡量标准将使整个 AI 行业及其客户受益，并期待与行业同事合作，努力创建这样一个标准。