decionis/agent-safe-pipeline

Reference architecture for AI agents that propose actions but cannot authorize them — immutable intent capture, an independent Decionis policy verdict (ALLOW/ESCALATE/BLOCK), verified human approval, and a SafeExecutor that consumes a single-use intent-bound grant.

解决的问题

AI代理通常自主性过强，或缺乏安全处理特权操作的方式。本项目提供了一种参考架构，确保代理可以提出操作建议，但是否实际执行则由一个独立的授权边界来决定。

工作原理

系统通过多步骤流水线将代理的提议与实际执行分离：

  1. 意图捕获：代理提出一个操作（意图），该意图被记录为不可变的记录。
  2. 独立决策：一个网关（Decionis）根据策略评估该意图，决定是否允许（ALLOWED）、阻止（BLOCKED）或升级至人工审批（ESCALATED）。
  3. 人工验证：若被升级，人类通过 Presence 服务验证该意图。
  4. 安全执行：SafeExecutor 使用一个密封的 ActionRegistry 来运行操作，该注册表将操作名称映射到可信的处理器，确保代理既不持有实际凭证，也无法决定使用哪个处理器。

适用人群

需要执行敏感操作（如处理退款或部署代码）的 AI 代理开发者，且要求严格的授权和人工介入监督。

亮点

  • 不可变意图：防止代理在评估后修改其提议。
  • 信任边界：将特权凭证置于可信执行器之后，远离代理。
  • 失败时关闭设计：网络错误或格式错误的响应默认会被阻止。
  • 参考实现：包含 Shopify 退款、GitHub 部署和 MCP 工具网关的示例。

相关

  • 项目
    MORTEN-BUUR/nordef-matrix-open-control

    一种与模型无关的AI代理安全控制平面，通过在语言模型外部强制执行确定性策略和加密人类批准来保障安全。

  • 项目
    provos/ironcurtain

    一个为自主 AI 智能体提供的安全运行时环境，它将人类可读的宪法/规则集 (constitution)                                                                权限-                                                                                                                      -                       €        -          ‚        tool call                    €                                                                            - ://- vulnerability discovery (e.g., vulnerability discovery) (e.-g., vulnerability discovery (e.g., vulnerability discovery) (e.g., vulnerability discovery) (-g., vulnerability discovery (e.g., vulnerability discovery) (e.g., vulnerability discovery) (e.g., vulnerability discovery) (e.g., vulnerability discovery) (e.g., vulnerability discovery) (e.g., vulnerability discovery) (e-g., vulnerability discovery (e.g.,    € -                                                thought-to-policy: s/escalation pickers and trusted user input capture.

  • 项目
    workos/auth.md

    AI代理代表用户向服务进行身份认证的代理注册协议的参考实现，通过身份断言和主张仪式实现。

  • 项目
    Kritt-ai/open-kritt

    一个开源安全研究平台，通过聚焦且并行的工作流，协调 AI 代理以发现、验证和排序代码中的漏洞。

  • 项目
    microsoft/agent-governance-toolkit

    一种治理框架，用于自主 AI 代理，提供确定性的政策执行、身份管理和审计日志，以防止未经授权的操作。