FailproofAI/failproofai

Observability and enforcement for AI agent harnesses. Capture every run and runtime reliability with policy enforcement.

解决的问题

FailproofAI 为 AI 智能体提供可观测性和执行强制管控。它通过在危险工具调用执行前进行阻止,防止智能体执行危险操作——例如递归删除文件、通过 sudo 提升权限或直接推送到主分支。它还通过提供本地仪表板和审计工具来追踪模型调用和工具使用,解决了智能体执行“黑盒”的问题。

工作原理

Failproof 接入 12 种不同的智能体框架,包括编码 CLI(如 Claude Code 和 GitHub Copilot CLI)和聊天网关(如 Hermes 和 OpenClaw)。它采用基于策略的系统,每个操作都会根据一组规则进行评估。策略可以返回三种决策之一:allow() 允许操作,deny(message) 阻止操作并通知智能体,或 instruct(message) 为智能体的下一个提示提供额外上下文。对于没有受支持框架的智能体,可提供 Python SDK 用于报告和追踪。

适用人群

使用 AI 编码智能体或自托管助手、需要确保这些智能体在安全边界内运行并保留其操作的完整审计跟踪的开发者和团队。

亮点

  • 广泛的框架支持:接入 12 种主要智能体环境,包括 Claude Code、Cursor Agent 和 Devin CLI。
  • 执行前阻止:在危险工具调用执行之前将其阻止,而不是事后才报告。
  • 内置护栏:包含 40 条内置策略,涵盖秘密文件保护、SQL 安全和基础设施变更。
  • 本地优先的可观测性:提供本地仪表板(localhost:8020)和离线审计工具,无需账户或外部数据传输。
  • 可自定义策略:允许用户用 JavaScript 编写自己的策略,并将其提交到仓库以供团队范围内强制执行。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目