tophant-ai/aibeat

解决的问题

AI Beat 提供了一个针对生成式 AI 的安全评估框架，重点关注 AI 系统是否安全运行。它解决了这样一个问题：AI 的最终答案可能看起来是安全的，但其底层的执行路径（AI 为得出该答案所采取的操作）可能已经跨越了安全边界或泄露了敏感信息。

工作原理

该项目主要由两个工具组成：

• PromptBeat：一个黑盒评估引擎，通过模拟对抗性案例并使用裁判模型来评估行为，从而测试 LLM、RAG 应用程序和 API。
• AgentBeat：PromptBeat 的扩展，专为插桩代理运行时设计。它收集运行时证据——如工具调用、命令执行和文件更改——以检测在最终响应中不可见的安全故障。

这两个工具使用共享模型来处理场景、案例和报告，允许用户从简单的输入输出测试开始，逐步过渡到深入的跟踪分析。

适用人群

它专为需要验证 LLM、RAG 应用程序和 AI 代理的安全性和安全性的开发人员和安全研究人员设计，特别是那些拥有修改文件或运行命令执行权限的系统。

亮点

• 基于证据的评估：捕获跟踪、环境更改和文件内容，以证明安全违规，无论答案如何。
• 可复现的工作流：将场景设计、对抗性案例生成和判断结合到单一管道中。
• 对抗性测试：支持使用“攻击者”模型生成测试案例。
• 多目标支持：兼容各种 LLM 提供商、HTTP 代理以及像 Claude Code 或 OpenCode 这样的编码代理。