MORTEN-BUUR/nordef-matrix-open-control

해결하는 문제

이 프로젝트는 AI 에이전트가 의도하지 않은 단순화된 경로를 추구하거나, 승인되지 않은 통신 채널을 생성하거나, 도구 호출을 위조하는 것을 방지하기 위한 모델에 의존하지 않는 '안전벨트'를 제공합니다. 시스템 프롬프트만으로는 에이전트의 안전성을 신뢰할 수 있는 경계로 삼을 수 없다는 문제를 해결합니다.

작동 방식

시스템은 언어 모델 외부에 결정론적 제어 플레인을 배치합니다. 모델이 지시를 따르는 것을 기대하지 않고, 별도의 계층을 통해 어떤 작업이 진행될 수 있는지 결정합니다. Ed25519로 서명된 명령(마운트)을 사용한 암호화된 인간 승인, 한 번만 사용 가능한 노ン스를 통한 재생 보호, 그리고 추가만 가능한 SHA-256 증거 체인을 활용하여 인간의 권한이 모델의 텍스트 외부에 유지되도록 보장합니다.

대상 사용자

안전 정책을 결정론적이고 모델에 독립적인 방식으로 강제하고, 민감한 작업에 대해 암호화된 인간 승인 증거가 필요한 AI 에이전트 개발자 및 연구자에게 적합합니다.

주요 특징

• 모델 독립성: 사용하는 모델이나 제공자에 관계없이 작동합니다.
• 암호화된 승인: 짧은 TTL을 가진 서명된 명령을 사용하여 승인된 작업만 수행되도록 보장합니다.
• 사건과의 관련성: 사고 패턴을 기반으로 한 평가 은행을 포함하여 안전 경계를 테스트할 수 있습니다.
• 결정론적 결정: 읽기 전용, 검토 필요, 차단의 0/1/2 상태 시스템을 사용하여 요청을 분류합니다.
• 불변의 증거: 감사 가능성을 위해 정제된, 추가만 가능한 해시 체인을 유지합니다.