MORTEN-BUUR/nordef-matrix-open-control
NORDEF Matrix Open Control: model-independent AI safety belt with 0/1/2 decisions, Ed25519 root gate, replay protection, evidence chain, and incident-pattern eval bank
解决的问题
该项目为AI代理提供了一种与模型无关的「安全带」,防止其追求非预期的捷径、创建未经授权的通信通道或伪造工具调用。解决了仅靠系统提示无法作为代理安全的可靠执行边界这一问题。
工作原理
系统在语言模型外部部署一个确定性控制平面。不依赖模型遵循指令,而是通过独立层决定哪些操作可以继续。它采用Ed25519签名的指令(授权)、一次性随机数实现的防重放保护,以及仅可追加的SHA-256证据链,确保人类权威始终位于模型文本之外。
适用人群
需要以确定性、与模型无关的方式强制执行安全策略,并为敏感操作要求加密人类授权证明的AI代理开发者和研究人员。
主要亮点
- 与模型无关: 无论使用何种模型或提供商,均可正常工作。
- 加密授权: 使用带短TTL的签名指令,确保仅授权操作可执行。
- 与事故相关: 包含基于事故模式的评估库,用于测试安全边界。
- 确定性决策: 使用简单的0/1/2状态系统,将请求分类为只读、需审查或被阻止。
- 不可变证据: 维护经过清洗的、仅可追加的哈希链,以确保可审计性。
相关
- 项目
- 项目
- 项目
- 项目