chirpz-ai/pandaprobe

解決的問題

PandaProbe 是一個專為團隊協作追蹤、評估、監控和除錯 AI 代理而設計的代理工程平台。它提供了一種集中化的方式，幫助理解代理的表現狀況以及失敗點。

工作原理

該平台由一個客戶端 SDK/HTTP 客戶端組成，將資料傳送至由 FastAPI 伺服器、用於背景處理的 Celery 工作者以及用於持久化的 PostgreSQL 資料庫所構成的後端架構。它使用 Redis 作為訊息代理。在評估方面，透過 LiteLLM 採用「LLM-as-a-judge」方法，對代理行為進行評分並提供判決。

適用對象

專為正在建構與優化 AI 代理的 AI 工程師與開發團隊設計，需要專業可觀測性與評估工具的使用者。

主要亮點

• 支援 AI 代理的協作式追蹤、監控與除錯。
• 支援透過 Docker 進行雲端托管與自托管。
• 集成 LLM-as-a-judge 的評估服務。
• 提供全面的儀表板，用於視覺化追蹤記錄與會話。