Anthropic概述了AI系统红队测试的挑战与最佳实践

TL;DR

Anthropic发布了一份关于其用于评估AI模型的红队测试技术的全面概述，解释了每种方法对安全性的重要性、它们带来的实际收益与障碍，以及政策制定者如何帮助建立行业标准。

什么是红队测试以及为何需要标准

红队测试是一种对抗性测试过程，旨在AI系统部署前发现其漏洞。由于开发者目前采用多种技术——且实现方式往往各异——该领域缺乏一个用于比较安全结果的通用框架。Anthropic认为，现在建立共享实践将有助于组织管理当前的风险，并为未来能力更强的模型做好准备。

特定领域的专家红队测试

政策漏洞测试（信任与安全）

目的：对儿童安全、选举完整性以及激进化等高风险危害进行定性的、深入的测试。方法：与外部NGO（例如，Thorn、Institute for Strategic Dialogue、Global Project Against Hate and Extremism）合作，根据Anthropic Usage Policy进行模型探测。收益：利用了针对复杂、特定上下文威胁的专业知识。挑战：与外部专家的协调可能耗时；研究结果往往是定性的，难以量化。

前沿威胁红队测试（国家安全）

目的：评估可能影响国家安全的风险，重点关注化学、生物、放射性、核（CBRN）、网络安全以及自主AI场景。方法：与领域专家合作，有时会使用修改了风险缓解措施的非商业模型版本。挑战：需要接触敏感的专业知识，并可能需要定制的模型配置。收益：直接应对具有重大后果和高影响力的威胁模型。

多语言与多文化红队测试

目的：通过在其他语言和文化背景下评估模型，来减少大多数测试中以英语为中心的偏差。方法：与新加坡的Infocomm Media Development Authority (IMDA)和AI Verify Foundation合作，使用英语、泰米尔语、普通话和马来语在当地相关话题上进行测试。收益：提高代表性并发现语言特定的失败模式。挑战：合格的本地测试人员有限，且需要具有文化细微差别的评估标准。

使用语言模型进行红队测试

自动化红队测试

目的：通过让一个模型生成攻击（红队），并让另一个模型在生成的数据上进行微调（蓝队），从而实现对抗性测试的规模化。收益：能够快速生成数千个测试用例，加速新攻击向量的发现。挑战：自动化攻击可能会忽略细微的、以人为中心的危害；如果没有清晰的评估指标，红队/蓝队的循环可能会变成一场猫鼠游戏。

红队测试新模态

Claude 3 的多模态红队测试

目的：测试Claude 3的图像输入能力，该模型可以分析照片、草图和图表，但不会生成图像。方法：内部信任与安全团队及外部合作伙伴评估针对有害视觉和文本输入的拒绝行为。收益：在部署前识别出诸如基于图像的欺诈、儿童安全违规以及极端主义内容等新型风险。挑战：多模态评估需要不同于纯文本测试的新型工具和专业知识。

开放式、通用红队测试

众包红队测试

目的：从受控的众包人员池中收集多样化的攻击想法，而不预设特定的威胁类别。收益：捕捉到广泛的危害谱系，并反映了现实世界用户的判断。挑战：局限于研究环境；攻击的质量和一致性取决于工作人员的专业知识。

社区红队测试（例如，DEF CON AI Village, GRT Challenge）

目的：吸引广泛的受众——包括非技术参与者——来测试公开发布的模型。收益：鼓励创意，扩大参与度，并揭示出意想不到的失败模式。挑战：在庞大且异质的参与者群体中管理安全、数据隐私和可重复性。

从定性红队测试转向定量评估

Anthropic描述了一个迭代流水线：

定性探测 – 专家定义威胁模型并进行即时攻击。
标准规范化 – 红队人员通过优化输入，更可靠地诱导产生有害行为。
自动化 – 语言模型生成成功攻击的大规模变体。
评估 – 自动化套件提供定量指标，并反馈到模型微调中。这套工作流程已应用于前沿威胁和选举完整性测试，并计划用于更广泛的威胁模型。

促进建立稳健的红队测试生态系统的政策建议

资助标准开发 – 支持NIST等机构，为安全的AI红队测试建立技术指南。
支持独立测试机构 – 为政府和非营利组织提供资金，使其能够与开发者就特定领域的风险评估进行合作。
创建专业的红队测试市场 – 鼓励对符合共享技术标准的公司的进行认证计划。
强制要求第三方访问权 – 要求AI公司允许经过审核的外部团体进行在安全条件下的红队测试。 *5. 将红队测试与规模化政策挂钩 – 将发布更大规模模型的能力与可证明的红队测试结果以及负责任的规模化承诺挂钩。

结论

Anthropic的分析表明，没有任何单一的红队测试方法足以应对所有的AI安全挑战。将领域专家、自动化、多模态和社区方法相结合——同时从定性见解向定量指标转型——为实现可重复、可扩展的安全测试提供了一条路径。政策制定者和行业利益相关者可以通过资助标准开发、支持独立测试人员，以及将认证和透明度要求制度化，来加速这一进程。