agent-governance-toolkit:自律 AI 代理的確定性政策執行與治理層
agent-governance-toolkit:自律 AI 代理的確定性政策執行與治理層
它解決了什麼問題
AI 代理常會自行做出決策,可能導致安全風險,例如執行破壞性指令或洩漏資料。依賴提示層面的安全(「請遵守規則」)並不可靠,因為模型容易受到提示注入與對抗性攻擊。此工具組提供一個確定性的控制層,於代理行動 執行前 截取,讓被禁止的行動在結構上變得不可能,而不僅僅是「不太可能」發生。
它如何運作
該工具組實作了一個治理核心,位於 AI 代理與其使用的工具之間。當代理嘗試執行動作時,會被政策引擎截取,該引擎根據一組以 YAML、OPA 或 Cedar 撰寫的規則評估請求。系統接著檢查代理的身分,並在防篡改的稽核追蹤中記錄決策。若政策拒絕該動作,系統會拋出 GovernanceDenied 錯誤,阻止工具的執行。
目標使用者
在生產環境中部署自律 AI 代理,且需要嚴格政策執行、稽核可追溯性,以及符合 OWASP Agentic AI Top 10、EU AI Act 等標準的開發者與 SRE。
重點特色
- 多語言支援:提供 Python、TypeScript、.NET、Rust 與 Go 的 SDK。
- 框架無關:可與包括 Semantic Kernel、AutoGen、LangGraph、CrewAI 與 OpenAI Agents SDK 等主要框架整合。
- 確定性執行:使用失敗即封閉的政策引擎,確保被阻止的行動無法執行。
- 完整治理堆疊:包含執行沙箱(Agent Runtime)、SLO 監控(Agent SRE)與提示注入稽核(PromptDefense Evaluator)等工具。
- MCP 安全閘道:專門偵測模型上下文協定(MCP)伺服器中的工具中毒、漂移與隱藏指令。
Sources
- undefinedmicrosoft/agent-governance-toolkit