chirpz-ai/pandaprobe

解决的问题

PandaProbe 是一个专为团队协作追踪、评估、监控和调试 AI 代理而设计的代理工程平台。它提供了一种集中化的方式，帮助理解代理的性能表现以及故障点。

工作原理

该平台由一个客户端 SDK/HTTP 客户端组成，将数据发送到由 FastAPI 服务器、用于后台处理的 Celery 工作器以及用于持久化的 PostgreSQL 数据库构成的后端架构。它使用 Redis 作为消息代理。在评估方面，通过 LiteLLM 采用「LLM-as-a-judge」方法，对代理行为进行评分并给出判断。

适用人群

专为正在构建和优化 AI 代理的 AI 工程师和开发团队设计，需要专业可观测性和评估工具的用户。

主要亮点

• 支持 AI 代理的协作式追踪、监控和调试。
• 支持通过 Docker 进行托管云部署和自托管。
• 集成 LLM-as-a-judge 的评估服务。
• 提供全面的仪表板，用于可视化追踪记录和会话。