chirpz-ai/pandaprobe

해결하는 문제

PandaProbe는 AI 에이전트의 공동 트레이싱, 평가, 모니터링, 디버깅을 지원하는 에이전트 엔지니어링 플랫폼입니다. 에이전트의 성능과 실패 지점을 중앙에서 이해할 수 있는 통합적인 방법을 제공합니다.

작동 방식

이 플랫폼은 FastAPI 서버, 백그라운드 처리를 위한 Celery 워커, 지속성을 위한 PostgreSQL 데이터베이스로 구성된 백엔드 아키텍처로 데이터를 전송하는 클라이언트 SDK/HTTP 클라이언트로 구성됩니다. Redis를 메시지 브로커로 사용합니다. 평가에는 LiteLLM를 통해 "LLM-as-a-judge" 방식을 활용하여 에이전트 행동에 점수를 매기고 판단을 내립니다.

대상 사용자

AI 에이전트를 구축하고 최적화하는 AI 엔지니어 및 개발자 팀을 위한 것으로, 관측성과 평가에 필요한 전문 도구가 필요하신 분들에게 적합합니다.

주요 특징

• AI 에이전트의 공동 트레이싱, 모니터링, 디버깅 지원.
• Docker를 통한 클라우드 호스팅 및 자체 호스팅 모두 지원.
• LLM-as-a-judge를 활용한 통합 평가 서비스.
• 트레이스와 세션을 시각화할 수 있는 포괄적인 대시보드.