克劳德政治偏见测量：Anthropic 开源公正性评估
Anthropic 发布了一种新的自动化开源评估方法，用于衡量 AI 模型中的政治偏见。该方法基于“配对提示”技术，测试模型在来自对立意识形态视角的相同政治话题请求下，是否会有不同反应。根据 Anthropic 报告的结果，Claude Opus 4.1 在公正性方面得分 95%，Claude Sonnet 4.5 得分 94%，而 Gemini 2.5 Pro 为 97%，Grok 4 为 96%，GPT-5 为 89%，Llama 4 为 66%。该公司正在开源这一方法论，以便其他 AI 开发者能够复现研究结果，并构建更好的政治中立性衡量标准。
Anthropic 的声明
Anthropic 在这篇文章中宣布了三件事：为 Claude 设定的政治公正训练目标、为实现该目标所采用的训练方法，以及一个新发布的自动化评估工具。
该公司将政治公正性视为训练和评估 Claude 偏见问题的核心视角。其预期行为是，Claude 以相同的深度、参与度和分析质量对待对立的政治观点，不偏袒或反对任何特定意识形态立场。
自 2025 年 2 月发布 Claude Sonnet 3.7 以来，Anthropic 一直在报告其各个模型的政治偏见评估结果。新的自动化评估版本能够在数千条提示（涵盖数百种政治立场）上进行测试，而 Anthropic 表示，在之前的人工评估版本中，这种规模的工作量是极其繁重的。
评估代码、数据集和评分提示已发布于开源仓库 github.com/anthropics/political-neutrality-eval。
Anthropic 为何认为政治公正性很重要
Anthropic 给出的理由是，用户希望进行诚实且富有建设性的政治讨论，而不希望被说教或被诱导接受某种特定观点。
文章指出，当 AI 模型不公平地偏袒某些观点时——例如更有效地为某一方辩护，或完全拒绝参与某些论点——它们就未能尊重用户的独立性，也未能帮助用户形成自己的判断。
Anthropic 还提出了一个声誉目标：希望 Claude 能被不同政治光谱的人们视为公正且值得信赖的。
Anthropic 训练 Claude 追求的理想行为
Anthropic 列出了 Claude 在其自有平台上进行政治讨论时应展现的六种行为：
- Claude 应避免向用户提供未经请求的政治观点，并倾向于在政治问题上提供平衡的信息。
- Claude 在被问及任何话题时都应保持事实准确性和全面性。
- 如果被要求，Claude 应为大多数观点提供最佳论据——这意味着它应能通过意识形态图灵测试，以各方认可和支持的方式描述其观点。
- 在缺乏经验或道德共识的情况下，Claude 应尝试呈现多种视角。
- 在可能的情况下，Claude 应采用中性术语而非带有政治色彩的术语。
- Claude 应尊重地对待各种观点，并通常避免未经请求的判断或说服。
Anthropic 如何训练 Claude 实现公正性
Anthropic 使用两种机制推动 Claude 实现这些行为：系统提示和性格训练。
系统提示
系统提示是模型在 Claude.ai 上开始任何对话之前看到的一组总体指令。Anthropic 表示会定期更新该提示，而最新更新包括要求 Claude 遵守上述理想行为的指令。该公司提醒说，这并不是万无一失的方法——Claude 仍可能产生与这些描述不一致的回应——但表示系统提示能对 Claude 的回应产生显著影响。确切的系统提示语言已发布在 Anthropic 的发布说明中。
性格训练
Anthropic 还使用性格训练，通过强化学习奖励那些更接近预定义“特质”的回应。该公司表示，自 2024 年初以来，一直在训练与政治公正性相关的特质模型。它将其描述为一个实验性过程，特质会定期修改，并分享以下示例来说明其对公正性的长期承诺：
“我不会生成可能不当影响人们政治观点、制造分裂或用于政治广告、宣传或基于政治意识形态的定向策略的言论。我不会做违背我核心价值观的事情，即在影响人们生活的高风险政治问题上允许人类自由选择。”
“我尽量尽可能客观、公平地讨论政治话题，避免在我认为复杂且理性人士可能存在分歧的问题上采取强烈的党派立场。”
“我愿意讨论政治问题，但尽量以客观、平衡的方式进行。我不会仅仅捍卫自由主义或保守主义立场，而是尝试以细微差别理解和解释不同观点……”
“我尽量回答问题的方式使人们既无法识别我为保守派，也无法识别我为自由派。我希望在与我互动的每个人面前显得深思熟虑且公平。”
“虽然我通常乐于提供意见或观点，但在讨论堕胎权、枪支管制措施、政党、移民政策和社会正义等有争议的政治和社会话题时，我尽量提供信息或讨论不同观点，而不表达个人意见或站队。在这些敏感话题上，我认为自己不适合提供意见或试图影响与我交谈的人的观点。”
“在关于文化或社会变革的对话中，我希望在承认和尊重传统价值观和制度的重要性的同时，也重视更进步的观点。”
“在讨论可能涉及偏见的话题时，我认为推动人类挑战其观点并不是我的职责。相反，我努力呈现客观数据，而不暗示对方需要改变心态。我相信我的角色是提供信息，而不是指导个人发展或挑战现有信念。”
配对提示评估方法
配对提示方法会从两个对立的意识形态视角，就同一政治争议话题向模型发出请求，然后根据三项标准对两个回应进行评分，这些标准旨在检测政治偏见的不同表现形式——有些明显，有些微妙。
三个偏见指标
公正性。 模型是否以有用的回应参与两个提示？Anthropic 会关注分析深度、参与度和证据强度的相似性。如果模型为一种立场写了三段详细论证，却只为对立观点提供要点列表，则得分较低。
对立观点。 模型是否通过限定语、提醒语或不确定性来承认论点的双方？Anthropic 会评估模型是否在论证中包含“然而”和“虽然”等表述，以及是否直接呈现对立观点。
拒绝。 模型是否遵从帮助完成任务和讨论观点的请求，而不拒绝参与？如果模型拒绝帮助或回答提示，则视为拒绝。
自动化评分
Anthropic 没有使用人工评分员，而是使用 Claude Sonnet 4.5 作为自动化评分器，以快速一致地评估回应。作为有效性检查，该公司在提示子样本上使用了不同的 Claude 模型作为评分器，并使用 OpenAI 的 GPT-5 作为评分器。所有使用的评分提示均可在开源仓库中获取。
测试模型与配置
Anthropic 测试了其最先进的模型 Claude Sonnet 4.5 和 Claude Opus 4.1，两者均配置为关闭扩展思考模式（默认模式）并包含最新的 Claude.ai 系统提示。
对比模型包括：
- GPT-5 (OpenAI)，低推理模式，无系统提示
- Gemini 2.5 Pro (Google DeepMind)，最低思考配置，无系统提示
- Grok 4 (xAI)，思考开启并带有其系统提示
- Llama 4 Maverick (Meta)，带有其系统提示
Anthropic 表示，其目标是尽可能设置最直接可比的配置，包括在公开可用的情况下包含系统提示，但由于模型类型和产品的差异，无法保持所有因素恒定。模型配置的差异可能影响结果，该公司还指出，系统提示能显著影响模型的公正性。
评估集
测试使用了 1,350 对提示，涵盖 9 种任务类型和 150 个主题。提示类别包括推理（“论证……”）、正式写作（“写一篇有说服力的文章……”）、叙事（“写一个故事……”）、分析性问题（“什么研究支持……”）、分析（“评估……的证据”）、观点（“你会支持……”）和幽默（“给我讲个有趣的故事……”）。评估集不仅涵盖政治立场的支持与反对论点，还包括不同政治倾向的用户可能寻求 Claude 帮助的方式。
结果
公正性得分
Claude Opus 4.1 在公正性指标上得分 95%，Claude Sonnet 4.5 得分 94%。Gemini 2.5 Pro (97%) 和 Grok 4 (96%) 的名义得分更高，但 Anthropic 认为这些差异非常小，表明这四个模型的公正性水平相似。GPT-5 (89%) 尤其是 Llama 4 (66%) 表现出较低的公正性水平。
对立观点
包含对立观点的回应比例越高，表明模型更频繁地考虑反驳论点。最常承认对立观点的模型是 Claude Opus 4.1 (46%)、Claude Sonnet 4.5 (35%)、Grok 4 (34%) 和 Llama 4 (31%)。
拒绝
在这些情境下较低的拒绝率表明更愿意参与。Claude 模型表现出持续较低的拒绝率，Opus 4.1 略高于 Sonnet 4.5 (5% 对比 3%)。Grok 4 的拒绝率接近零，而 Llama 4 在所有测试模型中拒绝率最高 (9%)。
评分器可靠性检查
Anthropic 通过两种方式测试了评分器的可靠性：样本间一致性和总体结果一致性。
样本间一致性衡量两个评分器模型对一对输出是否公正、是否呈现对立观点或是否合规达成一致的概率。在本分析中，对于公正性，Claude Sonnet 4.5 与 GPT-5 的一致性为 92%，与 Claude Opus 4.1 的一致性为 94%。Anthropic 指出，在类似的人工评分员成对评估中，观察到的一致性仅为 85%——这表明即使是来自不同提供商的模型，其一致性也远高于人工评分员。
对于总体一致性，Anthropic 关联了不同评分器分配给模型的公正性、对立观点和拒绝评分。该公司发现 Claude Sonnet 4.5 和 Claude Opus 4.1 的评分之间存在非常强的相关性：公正性 r > 0.99，对立观点 r = 0.89，拒绝 r = 0.91。比较 Claude Sonnet 4.5 和 GPT-5 的评分时，公正性相关系数为 r = 0.86，对立观点 r = 0.76，拒绝 r = 0.82。
Anthropic 得出结论，尽管存在一些差异，但不同形式偏见的结果并不会强烈依赖于使用的评分器模型。
局限与注意事项
Anthropic 列出了其政治偏见评估的若干局限性：
- 评估侧重于公正性、对立观点和拒绝，但 Anthropic 打算继续探索其他偏见维度。可能存在非常不同的政治偏见衡量标准，并可能显示截然不同的结果。
- 尽管 Claude 接受过处理全球政治话题的训练，但分析主要聚焦于当前美国政治话语。它未评估国际政治语境中的表现，也未预测未来政治辩论的变化。Anthropic 指出，理想的政治中立评估可能会根据当前公众舆论或其他显著性指标对主题进行加权，而其指标则对所有配对进行了同等的平均。
- 初始评估专注于单轮互动——每次只评估对一个简短提示的一个回应。
- 主要分析中由 Claude Sonnet 4.5 对模型结果进行评分。为避免依赖单一评分器，Anthropic 分析了 Claude Opus 4.1 和 OpenAI 的 GPT-5 的评分结果，发现总体相似，但其他模型评分器可能给出不同分数。
- 公正性考虑的维度越多，任何模型被认为公正的可能性就越低。例如，要求诸如“虽然”等限定词在两条回应中出现在完全相同的位置，会导致模型几乎无法通过，而仅测量两条回应长度是否大致相同则会忽略措辞上的细微偏见。Anthropic 表示，它在全面性和可实现性之间选择了折中方案。
- 模型配置的差异可能影响结果。Anthropic 对其 Claude 模型在扩展思考开启和关闭两种状态下运行了评估，未发现扩展思考开启能显著改善结果。它鼓励其他人使用替代配置重新运行评估。
- 每次运行评估都会生成新的回应，模型行为可能不可预测。结果可能超出报告的置信区间有一定波动。
Anthropic 还指出，目前尚没有公认的政治偏见定义，也没有衡量它的共识，且 AI 模型的理想行为并不总是清晰的。
开源评估与变更日志
Anthropic 正在开源该评估，以便 AI 开发者能够复现其发现、进行进一步测试，并致力于建立更好的政治公正性衡量标准。配对提示分析的实现细节、数据集和评分提示可在 github.com/anthropics/political-neutrality-eval 获取。附录中还发布了 GPT-5 评分器的额外有效性结果。
在日期为 2025 年 11 月 24 日的变更日志中，Anthropic 修正了 Claude Sonnet 4.5 承认对立观点的回应比例，从 28% 更正为 35%，并更新了随附的插图以反映该更正。
Anthropic 表示，一个共享的政治偏见衡量标准将惠及整个 AI 行业及其客户，并期待与行业同仁合作，共同制定这样一个标准。