responsibleai/ASSERT

解决的问题

ASSERT 解决了高层产品需求（策略、系统提示、发布标准）与 AI 系统实际评估之间的差距。与依赖通用基准或可能偏离原始意图的手动测试用例不同，ASSERT 将自然语言规范转化为可执行的结构化评估，确保 AI 代理按预期行为。

工作原理

ASSERT 使用一个将自然语言规范转换为行为类别、生成单轮和多轮测试用例，并在目标 AI 系统上运行的流水线。随后，LLM 判官根据提供的策略对对话进行评分。

关键技术组件包括：

• 追踪感知判断：与 OpenInference 和 OpenTelemetry 集成，捕获跨度（工具调用、路由、延迟），使判官能够引用代理内部过程中的具体证据，而不仅仅是最终输出。
• 沙箱执行：提供 Docker 沙箱，通过模拟或阻止工具调用并拒绝直接互联网访问，安全地测试高风险代理行为。
• 利用 LLM 助手：通过 MCP（模型上下文协议）服务器提供“引导式”体验，允许代码助手（如 Claude Code 或 Cursor）发现风险、编写评估配置并运行流水线。
• ACS（代理控制规范）：从真实失败中生成可部署的策略来管理代理，然后重新运行评估以证明失败率已降低。

适用对象

专为需要从策略文档过渡到 CI/CD 流水线中可测量、可回归测试的安全门的 AI 代理或多代理系统开发者和 AI 安全工程师设计。

亮点

• 规范驱动覆盖：直接从产品需求生成测试用例，而非通用基准。
• 框架无关：通过 LiteLLM 支持任何模型端点，通过 OpenInference 支持任何代理框架（LangGraph、CrewAI、AutoGen 等）。
• 精选行为库：包含安全、偏见和公平性方面的原子行为预设目录。
• 本地优先的产物：将所有结果写入本地 JSON/JSONL 文件，并包含一个捆绑的查看器，用于并排比较运行结果。