decionis/agent-safe-pipeline

해결하는 문제

AI 에이전트는 종종 지나치게 자율적이거나 특권 작업을 안전하게 처리할 수 있는 방법이 부족합니다. 이 프로젝트는 에이전트가 작업을 제안할 수는 있지만, 실제로 실행될지는 독립된 승인 경계가 결정하도록 하는 참조 아키텍처를 제공합니다.

작동 방식

시스템은 다단계 파이프라인을 통해 에이전트의 제안과 실제 실행을 분리합니다:

1. 의도 캡처: 에이전트가 작업(의도)을 제안하며, 이는 변경 불가능한 기록으로 저장됩니다.
2. 독립적 결정: 게이트(Decionis)가 정책에 따라 의도를 평가하여 ALLOWED, BLOCKED, 또는 인간 승인을 위해 ESCALATED로 결정합니다.
3. 인간 검증: 에스컬레이션된 경우, Presence 서비스를 통해 인간이 의도를 검증합니다.
4. 안전한 실행: SafeExecutor는 액션 이름을 신뢰할 수 있는 핸들러에 매핑하는 봉인된 ActionRegistry를 사용하여 작업을 실행하며, 에이전트가 실제 자격 증명을 보유하거나 어떤 핸들러가 사용될지 결정하지 않도록 합니다.

대상 사용자

환불 처리나 코드 배포와 같은 민감한 작업을 수행해야 하며, 엄격한 승인과 인간의 개입이 필요한 AI 에이전트를 개발하는 개발자들입니다.

주요 특징

• 변경 불가능한 의도: 평가 후 에이전트가 제안을 수정할 수 없습니다.
• 신뢰 경계: 특권 자격 증명은 에이전트로부터 분리된 신뢰할 수 있는 실행자 뒤에 유지됩니다.
• 실패 시 차단 설계: 네트워크 오류나 잘못된 응답은 기본적으로 차단됩니다.
• 참조 구현: Shopify 환불, GitHub 배포, MCP 도구 게이팅 예제 포함.