chirpz-ai/pandaprobe

何を解決するか

PandaProbe は、AIエージェントの共同トレーシング、評価、モニタリング、デバッグを支援するエージェントエンジニアリングプラットフォームです。エージェントのパフォーマンスと失敗箇所を一元的に把握するための中心的な手段を提供します。

動作方法

このプラットフォームは、FastAPIサーバー、バックグラウンド処理用のCeleryワーカー、永続化用のPostgreSQLデータベースから構成されるバックエンドアーキテクチャにデータを送信するクライアントSDK/HTTPクライアントで構成されています。Redisをメッセージブローカーとして使用しています。評価には、LiteLLMを介して「LLM-as-a-judge」アプローチを採用し、エージェントの行動に対してスコアを付与し、判断を下します。

対象ユーザー

AIエージェントの構築と最適化に取り組むAIエンジニアや開発者チーム向けに設計されており、観測性と評価に必要なプロフェッショナルツールを必要とする方々に適しています。

主な特徴

• AIエージェントの共同トレーシング、モニタリング、デバッグをサポート。
• Dockerを用いたクラウドホスティングとセルフホスティングの両方をサポート。
• LLM-as-a-judgeを活用した統合評価サービス。
• トレースとセッションを可視化する包括的なダッシュボード。