agent-governance-toolkit:用于自主 AI 代理的确定性策略执行与治理层
agent-governance-toolkit:用于自主 AI 代理的确定性策略执行与治理层
它解决了什么问题
AI 代理经常做出自主决策,这可能导致安全风险,例如执行破坏性命令或泄露数据。依赖提示层面的安全(“请遵守规则”)并不可靠,因为模型容易受到提示注入和对抗性攻击。该工具包提供了一个确定性的控制层,在代理动作 执行之前 拦截它们,使得被禁止的行为在结构上变得不可能,而不仅仅是概率上不太可能。
工作原理
该工具包实现了一个治理内核,位于 AI 代理与其使用的工具之间。当代理尝试执行某个动作时,会被策略引擎拦截,策略引擎根据一组已定义的规则(使用 YAML、OPA 或 Cedar 编写)评估该请求。系统随后检查代理的身份,并在防篡改的审计日志中记录决策。如果策略拒绝该动作,系统会抛出 GovernanceDenied 错误,阻止工具的执行。
适用人群
在生产环境中部署自主 AI 代理、需要严格策略执行、可审计性以及符合 OWASP Agentic AI Top 10 和欧盟 AI 法案等标准的开发者和 SRE。
亮点
- 多语言支持:提供 Python、TypeScript、.NET、Rust 和 Go 的 SDK。
- 框架无关:可与包括 Semantic Kernel、AutoGen、LangGraph、CrewAI 和 OpenAI Agents SDK 在内的主流框架集成。
- 确定性执行:使用 fail‑closed 策略引擎,确保被阻止的操作无法执行。
- 完整治理栈:包括执行沙箱(Agent Runtime)、SLO 监控(Agent SRE)和提示注入审计(PromptDefense Evaluator)等工具。
- MCP 安全网关:专门检测模型上下文协议(MCP)服务器中的工具投毒、漂移和隐藏指令。
Sources
- undefinedmicrosoft/agent-governance-toolkit