responsibleai/ASSERT

해결하는 문제

ASSERT는 고수준 제품 요구사항(정책, 시스템 프롬프트, 릴리스 기준)과 AI 시스템의 실제 평가 사이의 격차를 메웁니다. 일반적인 벤치마크나 수동 테스트 케이스에 의존하는 대신, ASSERT는 자연어 사양을 실행 가능한 구조화된 평가로 변환하여 AI 에이전트가 의도한 대로 동작하도록 보장합니다.

작동 방식

ASSERT는 자연어 사양을 행동 카테고리로 변환하고, 단턴 및 다턴 테스트 케이스를 생성한 후, 대상 AI 시스템에 대해 실행하는 파이프라인을 사용합니다. 이후 LLM 판사가 제공된 정책에 따라 대화를 평가합니다.

주요 기술 구성 요소는 다음과 같습니다:

• 트레이스 인식 평가: OpenInference 및 OpenTelemetry와 통합하여 스팬(도구 호출, 라우팅, 지연 시간)을 캡처하여 판사가 에이전트의 내부 프로세스에서 구체적인 증거를 인용할 수 있도록 합니다. 최종 출력뿐만 아니라 내부 프로세스의 세부 정보도 평가 대상이 됩니다.
• 사전 실행 환경: Docker 사전을 제공하여 위험한 에이전트 동작을 안전하게 테스트할 수 있도록 하며, 도구 호출을 모킹하거나 차단하고 직접 인터넷 접근을 거부합니다.
• LLM 어시스턴트 활용: MCP(Model Context Protocol) 서버를 통해 "가이드드" 경험을 제공하여, 코드 어시스턴트(Claude Code, Cursor 등)가 위험을 탐지하고 평가 설정을 작성하며 파이프라인을 실행할 수 있도록 합니다.
• ACS(Agent Control Specification): 실제 실패 사례에서 배포 가능한 정책을 생성하여 에이전트를 제어하고, 다시 평가를 실행하여 실패율이 감소했음을 입증합니다.

대상 사용자

AI 에이전트나 멀티에이전트 시스템을 개발하는 개발자 및 AI 안전 엔지니어를 위한 것입니다. 정책 문서에서 CI/CD 파이프라인 내에서 측정 가능하고 레그레션 테스트 가능한 안전 게이트로 전환할 필요가 있는 사용자에게 적합합니다.

주요 특징

• 사양 기반 커버리지: 일반적인 벤치마크가 아닌 제품 요구사항에서 직접 테스트 케이스를 생성합니다.
• 프레임워크 독립성: LiteLLM를 통해 어떤 모델 엔드포인트나 OpenInference를 통해 어떤 에이전트 프레임워크(LangGraph, CrewAI, AutoGen 등)도 지원합니다.
• 커리레이티드 행동 라이브러리: 안전성, 편향, 공정성에 대한 원자적 행동 프리셋 카탈로그를 포함합니다.
• 로컬 우선 아티팩트: 모든 결과를 로컬 JSON/JSONL 파일에 기록하고, 병렬 실행 비교를 위한 번들된 뷰어를 제공합니다.