decionis/agent-safe-pipeline

何を解決するか

AIエージェントはしばしば権限が大きすぎたり、特権操作を安全に処理する方法が欠けている。このプロジェクトは、エージェントがアクションを提案できるようにしつつも、そのアクションが実際に実行されるかどうかは独立した承認境界が決定するという参照アーキテクチャを提供する。

動作方法

システムは、エージェントの提案と実際の実行を複数ステップのパイプラインで分離する：

1. 意図の記録: エージェントがアクション（意図）を提案し、それは変更不可能な記録として保存される。
2. 独立した判断: ゲート（Decionis）がポリシーに基づいて意図を評価し、ALLOWED、BLOCKED、または人間の承認のためにESCALATEDのいずれかを決定する。
3. 人間による検証: エスカレーションされた場合、Presenceサービスを介して人間が意図を検証する。
4. 安全な実行: SafeExecutorが、アクション名を信頼できるハンドラーにマッピングするシールドされたActionRegistryを使用してアクションを実行し、エージェントが実際の資格情報を持たず、どのハンドラーが使用されるかを決定しないようにする。

対象ユーザー

返金処理やコードデプロイなど、厳格な承認と人間による監視が必要な敏感な操作を実行する必要があるAIエージェントを開発している開発者。

特徴

• 変更不可能な意図: 評価後にエージェントが提案を変更できないようにする。
• 信頼境界: 特権資格情報を信頼できるエグゼキュータの背後に保持し、エージェントから隔離する。
• フェイルクローズ設計: ネットワークエラーまたは不正な応答は、デフォルトでブロックされる。
• 参照実装: Shopifyの返金、GitHubのデプロイ、MCPツールのゲート制御の例を含む。