microsoft/agent-governance-toolkit

무엇을 해결하는가

AI 에이전트는 종종 자율적인 결정을 내려 파괴적인 데이터베이스 명령 실행이나 무단 이메일 전송과 같은 보안 위험을 초래할 수 있다. 전통적인 프롬프트 수준 안전(에이전트에게 규칙을 따르도록 요청)은 확률적이며 프롬프트 인젝션을 통해 우회될 수 있다. 이 툴킷은 실행 전에 도구 호출과 행동을 가로채는 결정적 거버넌스 레이어를 제공하여 무단 행동을 단순히 불가능하지 않게 하는 것이 아니라 구조적으로 불가능하게 만든다.

어떻게 작동하는가

이 툴킷은 AI 에이전트와 그 에이전트가 사용하는 도구 사이의 게이트키퍼 역할을 한다. YAML, OPA, 또는 Cedar를 지원하는 정책 엔진을 사용하여 정의된 규칙 세트에 대해 각 요청을 평가한다. 프로세스는 다음 선형 흐름을 따른다: Agent $ ightarrow$ Policy Engine $ ightarrow$ Identity $ ightarrow$ Audit Log. 규칙이 행동을 차단하면 시스템은 GovernanceDenied 오류를 발생시키고, 승인이 필요한 경우 인간-인-더-루프 워크플로를 트리거한다. 또한 SPIFFE/DID/mTLS 기반 신원 관리 및 규제 준수를 위한 변조 방지 감사 로그도 포함된다.

누구를 위한 것인가

자율적인 AI 에이전트를 프로덕션 환경에 배포하는 개발자와 SRE로, LLM 자체에 의해 우회될 수 없는 엄격한 통제, 감사 가능성 및 보안 보장이 필요한 경우이다.

주요 특징

• 다중 언어 지원: Python, TypeScript, .NET, Rust, Go용 SDK 제공.
• 프레임워크에 구애받지 않음: AutoGen, LangGraph, CrewAI, Semantic Kernel 및 OpenAI Agents SDK와 같은 주요 프레임워크와 통합 가능.
• 결정적 집행: 안전을 프롬프트 레이어에서 애플리케이션 코드 레이어로 이동하여 프롬프트 인젝션 공격을 방지.
• 포괄적인 도구: OWASP 준수 검사, 정책 린팅 및 프롬프트 인젝션 감사를 위한 CLI 포함.
• 고급 거버넌스: 샌드박스를 위한 특권 링, SLO 모니터링 및 에이전트 함대의 "킬 스위치" 기능 제공.
• MCP 보안 게이트웨이: Model Context Protocol (MCP) 서버에서의 툴 포이즈닝, 드리프트 및 숨겨진 지침을 특별히 탐지.