chirpz-ai/pandaprobe
open source agent engineering platform: traces, evals, and metrics to debug and improve your AI agents. Integrates with LangGraph, CrewAI, Claude Agent SDK, and more.
解决的问题
PandaProbe 是一个专为团队协作追踪、评估、监控和调试 AI 代理而设计的代理工程平台。它提供了一种集中化的方式，帮助理解代理的性能表现以及故障点。
工作原理
该平台由一个客户端 SDK/HTTP 客户端组成，将数据发送到由 FastAPI 服务器、用于后台处理的 Celery 工作器以及用于持久化的 PostgreSQL 数据库构成的后端架构。它使用 Redis 作为消息代理。在评估方面，通过 LiteLLM 采用「LLM-as-a-judge」方法，对代理行为进行评分并给出判断。
适用人群
专为正在构建和优化 AI 代理的 AI 工程师和开发团队设计，需要专业可观测性和评估工具的用户。
主要亮点
- 支持 AI 代理的协作式追踪、监控和调试。
- 支持通过 Docker 进行托管云部署和自托管。
- 集成 LLM-as-a-judge 的评估服务。
- 提供全面的仪表板，用于可视化追踪记录和会话。
相关
- 项目
langwatch/langwatchLangWatch是一个用于LLM观测、测试、路由和治理的开源核心平台。它使团队能够跟踪每次LLM调用、运行模拟测试、管理提示词、执行有预算的虚拟密钥，并获取跨编码助手、LangChain风格智能体和主要模型提供商的使用报告。
- 项目
- 项目
traceroot-ai/tracerootTraceRoot 是一个开源平台，用于记录 AI 代理调用、通过自定义检测器标记不良行为、将问题聚类为信号，并运行自动化评估，以便编码代理能够建议并验证修复，从而闭环实现自我改进。它提供 CLI、Python/TS SDK 以及与主要代理框架和模型提供商的集成，并可通过托管云或自托管 Docker Compose 使用。
- 项目
Tracer-Cloud/opensreOpenSRE是一个用于AI驱动的站点可靠性工程代理的开源框架。 它连接到60多个可观测性、云和事件管理工具，获取相关上下文，运行工具调用推理循环，并返回有证据支持的诊断或修复操作。 用户可以通过交互式shell、无头CLI或Python API进行交互，并通过托管云网关、自托管容器或EC2 AMI部署系统。 该项目处于公开Alpha（v0.1）阶段，并根据Apache 2.0获得许可。
- 项目
Kritt-ai/open-krittopen·kritt 是一个开源、自托管平台，通过 Codex、Claude Code、Grok Build 等方式编排 AI 代理，在代码仓库上运行自定义、提示驱动的安全工作流。它构建专注任务，在并行的 Docker 容器中执行，验证发现结果，去重并排序，最终导出完整的报告包。专为漏洞赏金研究人员和 DevSecOps 设计，提供 Web UI 和无头 CLI，支持任意模型提供者，采用 AGPL-3.0 许可证发布。