FailproofAI/failproofai

Observability and enforcement for AI agent harnesses. Capture every run and runtime reliability with policy enforcement. 40 built-in policies, a local dashboard, no account required with a generous free cloud plan

解決的問題

Failproof AI 是 AI 代理的安全與可觀測性層。它在操作執行前阻止這些呼叫,防止代理執行危險行為——例如刪除檔案、洩漏 API 金鑰或執行破壞性 SQL 命令。同時,它提供對代理行為的可見性,讓開發者能審計執行記錄並識別失敗模式。

工作原理

該系統作為代理與環境之間的鈎子或閘道。它支援十二種不同的「Harness」(包括 Claude Code 和 GitHub Copilot CLI 等編碼 CLI,以及 Hermes 和 OpenClaw 等閘道),用於攔截工具呼叫。

使用者可為這些鈎子應用策略。策略可 allow() 操作,deny() 操作(阻止動作並回傳訊息給代理),或 instruct() 操作(允許通過但向代理的下一次提示加入上下文)。策略可為內建的,也可用 JavaScript 自訂撰寫,或從 GitHub 安裝版本化的「策略套件」。

適用對象

部署具有系統工具、資料庫或基礎設施存取權限的 AI 代理的開發者與團隊,需要確保這些代理在無需持續人工監督的情況下安全運行。

主要亮點

  • 執行前阻斷:在執行前阻止危險的工具呼叫(例如 rm -rfsudogit push --force)。
  • 廣泛的 Harness 支援:開箱即用支援多種編碼代理與閘道。
  • 可自訂的安全性:支援自訂 JavaScript 策略與可共享的策略套件。
  • 完整的可觀測性:包含本地儀表板用於檢視會話歷史與追蹤記錄,以及托管版本用於全隊監控、延遲追蹤與成本分析。
  • 審計能力:掃描歷史記錄中的高風險模式,並建議策略以防止其發生。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案