FailproofAI/failproofai

何を解決するか

Failproof AI は AI エージェント用のセキュリティおよび監視レイヤーです。ファイルの削除、API キーの漏洩、破壊的な SQL コマンドの実行など、危険な操作を実行するのを、実行前にブロックすることで、エージェントが危険な行動を取らないようにします。また、エージェントの動作を可視化し、開発者が実行履歴を監査し、失敗のパターンを特定できるようにします。

動作方法

このシステムは、エージェントと環境の間のフックまたはゲートウェイとして機能します。Claude Code や GitHub Copilot CLI などのコード用 CLI、Hermes や OpenClaw などのゲートウェイを含む、12 種類の「ハーネス」をサポートし、ツール呼び出しを傍受します。

ユーザーはこれらのフックにポリシーを適用できます。ポリシーは allow() で操作を許可、deny() で操作をブロック（エージェントにメッセージを返す）、または instruct() で操作を通過させつつ、エージェントの次のプロンプトにコンテキストを追加できます。ポリシーは組み込み、JavaScript でカスタム作成、または GitHub からバージョン管理された「ポリシーパック」としてインストール可能です。

対象ユーザー

システムツール、データベース、インフラにアクセスできる AI エージェントを展開する開発者やチームで、常に手動での監視なしに安全な境界内で動作させたい方々です。

主な特徴

• 実行前ブロッキング：rm -rf、sudo、git push --force などの危険なツール呼び出しを実行前に停止します。
• 広範なハーネス対応：コードエージェントやゲートウェイの多くを、初期設定でサポートしています。
• カスタマイズ可能なセキュリティ：カスタム JavaScript ポリシーと共有可能なポリシーパックをサポートします。
• 完全な監視性：ローカルダッシュボードでセッション履歴とトレースを確認でき、ホストされたバージョンではファルム全体の監視、レイテンシーチェック、コスト分析が可能です。
• 監査機能：履歴をスキャンし、危険なパターンを検出し、それらを防ぐためのポリシーを提案します。