FailproofAI/failproofai

解決する課題

FailproofAIは、AIエージェントの可観測性と実行制御を提供します。ファイルの再帰的削除、sudoによる権限昇格、masterブランチへの直接プッシュなど、危険なツール呼び出しをエージェントが実行する前にブロックします。また、ローカルダッシュボードと監査ツールを提供し、モデル呼び出しやツールの使用状況を追跡することで、エージェント実行の「ブラックボックス」問題も解決します。

仕組み

Failproofは、コーディングCLI（Claude CodeやGitHub Copilot CLIなど）やチャットゲートウェイ（HermesやOpenClawなど）を含む12種類のエージェントハーネスにフックします。各操作を一連のルールに対して評価するポリシーベースのシステムを使用します。ポリシーは、アクションを許可するallow()、ブロックしてエージェントに通知するdeny(message)、エージェントの次のプロンプトに追加コンテキストを提供するinstruct(message)の3つの決定のいずれかを返すことができます。サポートされているハーネスがないエージェント向けには、レポートとトレース用のPython SDKが用意されています。

対象者

AIコーディングエージェントやセルフホスト型アシスタントを使用する開発者とチームで、これらのエージェントが安全な境界内で動作し、アクションの完全な監査証跡を維持することを保証する必要がある方。

ハイライト

• 幅広いハーネスサポート: Claude Code、Cursor Agent、Devin CLIなど、12の主要なエージェント環境にフックします。
• 実行前ブロッキング: 危険なツール呼び出しを実行前に停止します（事後報告だけでなく）。
• 組み込みガードレール: シークレットファイル保護、SQL安全性、インフラストラクチャ変更をカバーする40の組み込みポリシーが含まれています。
• ローカルファーストの可観測性: ローカルダッシュボード（localhost:8020）とオフライン監査ツールを備え、アカウントや外部データ転送は不要です。
• カスタマイズ可能なポリシー: ユーザーはJavaScriptで独自のポリシーを作成し、チーム全体で適用するためにリポジトリにコミットできます。

まとめ

AIエージェントのハーネスにフックして危険なツール呼び出しをブロックし、詳細な実行トレースを提供する可観測性と実行制御のフレームワークです。

タイトル

複数のハーネスにわたって危険なAIエージェントのツール呼び出しをブロックする可観測性と実行制御レイヤー