requie/AI-Red-Teaming-Guide

它解决了什么问题

AI Red Teaming 解决了在AI系统被利用之前主动识别其安全漏洞的挑战。随着AI从简单的聊天机器人演变为能够执行代码、访问文件并与基础设施交互的自主智能体，传统的安全测试已不再足够。本指南提供了一种结构化的方法论，用于揭示新型故障模式，例如提示词注入、智能体目标劫持和供应链攻击，帮助组织保护其AI部署免受现实世界威胁。

工作原理

本指南将成熟的网络安全实践（如来自 NIST、OWASP 和 MITRE 的实践）应用于AI独特的非确定性本质。它提供了一个综合框架，用于：

• 威胁建模：识别攻击者可能如何操纵AI智能体或模型。
• 对抗性测试：使用特定技术绕过安全护栏并测试系统弹性。
• 集成：将这些安全检查嵌入到软件开发生命周期 (SDLC) 和事件响应计划中。
• 持续评估：使用 NIST AI RMF 等框架在整个系统生命周期内监控和管理风险。

适用人群

• 安全团队：负责构建AI安全计划。
• AI/ML 工程师：负责开发和保护AI系统。
• 风险经理：评估AI采用的业务和监管风险。
• 合规官：确保遵守AI特定法规。

亮点

• 源自主要AI实验室丰富行业经验的循证方法论。
• 与 NIST AI RMF、OWASP GenAI 和 MITRE ATLAS 等主要标准完全一致。
• 针对现代威胁（如智能体工具使用、RAG 漏洞和供应链风险）的实用、可操作的测试指南。
• 用于启动AI红队计划的 30/60/90 天快速入门指南。
• 丰富的资源，包括案例研究、攻击分类法和防御架构模式。