FailproofAI/failproofai

해결하는 문제

Failproof AI는 AI 에이전트를 위한 안전성 및 관찰성 레이어입니다. 파일 삭제, API 키 유출, 파괴적인 SQL 명령어 실행과 같은 위험한 작업을 실행하기 전에 이러한 호출을 차단함으로써 에이전트가 위험한 행동을 하지 않도록 합니다. 또한 에이전트의 동작을 시각화하여 개발자가 실행 기록을 감사하고 실패 패턴을 식별할 수 있도록 합니다.

작동 방식

이 시스템은 에이전트와 환경 사이의 훅 또는 게이트웨이 역할을 합니다. Claude Code 및 GitHub Copilot CLI와 같은 코드용 CLI, Hermes 및 OpenClaw과 같은 게이트웨이를 포함한 12가지의 다양한 "하네스"를 지원하여 도구 호출을 가로챕니다.

사용자는 이러한 훅에 정책을 적용할 수 있습니다. 정책은 작업을 allow()로 허용하거나, deny()로 차단하고 에이전트에게 메시지를 반환하거나, instruct()로 통과시키되 다음 프롬프트에 컨텍스트를 추가할 수 있습니다. 정책은 내장된 것, JavaScript로 직접 작성한 것, 또는 GitHub에서 버전 관리된 "정책 팩"으로 설치할 수 있습니다.

대상 사용자

시스템 도구, 데이터베이스, 인프라에 접근할 수 있는 AI 에이전트를 배포하고, 지속적인 수동 감시 없이도 안전한 경계 내에서 작동하도록 보장해야 하는 개발자 및 팀입니다.

주요 특징

• 실행 전 차단: rm -rf, sudo, git push --force와 같은 위험한 도구 호출을 실행 전에 차단합니다.
• 광범위한 하네스 지원: 다양한 코드 에이전트 및 게이트웨이를 초기 설정으로 바로 지원합니다.
• 사용자 정의 보안: 사용자 정의 JavaScript 정책과 공유 가능한 정책 팩을 지원합니다.
• 완전한 관찰성: 세션 기록과 트레이스를 확인할 수 있는 로컬 대시보드와, 팀 전체 모니터링, 지연 시간 추적, 비용 분석을 위한 호스팅된 버전을 제공합니다.
• 감사 기능: 기록을 스캔하여 위험한 패턴을 탐지하고 이를 방지할 정책을 제안합니다.