chirpz-ai/pandaprobe
open source agent engineering platform: traces, evals, and metrics to debug and improve your AI agents. Integrates with LangGraph, CrewAI, Claude Agent SDK, and more.
何を解決するか
PandaProbe は、AIエージェントの共同トレーシング、評価、モニタリング、デバッグを支援するエージェントエンジニアリングプラットフォームです。エージェントのパフォーマンスと失敗箇所を一元的に把握するための中心的な手段を提供します。
動作方法
このプラットフォームは、FastAPIサーバー、バックグラウンド処理用のCeleryワーカー、永続化用のPostgreSQLデータベースから構成されるバックエンドアーキテクチャにデータを送信するクライアントSDK/HTTPクライアントで構成されています。Redisをメッセージブローカーとして使用しています。評価には、LiteLLMを介して「LLM-as-a-judge」アプローチを採用し、エージェントの行動に対してスコアを付与し、判断を下します。
対象ユーザー
AIエージェントの構築と最適化に取り組むAIエンジニアや開発者チーム向けに設計されており、観測性と評価に必要なプロフェッショナルツールを必要とする方々に適しています。
主な特徴
- AIエージェントの共同トレーシング、モニタリング、デバッグをサポート。
- Dockerを用いたクラウドホスティングとセルフホスティングの両方をサポート。
- LLM-as-a-judgeを活用した統合評価サービス。
- トレースとセッションを可視化する包括的なダッシュボード。
関連
- プロジェクト
langwatch/langwatchLangWatchは、LLMの可観測性、テスト、ルーティング、ガバナンスのためのオープンコアプラットフォームです。チームは、すべてのLLM呼び出しを追跡し、シミュレーションテストを実行し、プロンプトを管理し、予算付きの仮想キーを適用し、コーディングアシスタント、LangChainスタイルのエージェント、主要なモデルプロバイダーにわたって使用状況レポートを取得できます。
- プロジェクト
- プロジェクト
traceroot-ai/tracerootTraceRootは、AIエージェントの呼び出しを記録し、カスタム検出器で不適切な動作をフラグ付けし、問題をシグナルとしてクラスタリングし、自動評価を実行してコーディングエージェントが修正案を提示・検証できるようにすることで、自己改善ループを完結させるオープンソースプラットフォームです。CLI、Python/TS SDK、主要なエージェントフレームワークやモデルプロバイダーとの統合を提供し、ホスト型クラウドまたはセルフホスト型Docker Compose経由で使用可能です。
- プロジェクト
Tracer-Cloud/opensreOpenSREは、AI駆動のサイトリライアビリティエンジニアリングエージェントのためのオープンソースフレームワークです。60以上の可観測性、クラウド、インシデント管理ツールに接続し、関連するコンテキストを取得し、ツール呼び出し推論ループを実行し、証拠に基づく診断または修復アクションを返します。ユーザーはインタラクティブシェル、ヘッドレスCLI、またはPython APIを介して操作でき、マネージドクラウドゲートウェイ、セルフホストコンテナ、またはEC2 AMIを介してシステムをデプロイできます。このプロジェクトはパブリックアルファ（v0.1）であり、Apache 2.0でライセンスされています。
- プロジェクト
Kritt-ai/open-krittopen·kritt は、Codex、Claude Code、Grok Build などによるAIエージェントをオーケストレーションするオープンソースで自己ホスティング可能なプラットフォームであり、コードリポジトリ上でカスタムでプロンプト駆動のセキュリティワークフローを実行します。焦点を絞ったタスクを構築し、並列でDockerコンテナ内で実行し、発見結果を検証・重複除去・順位付けし、完全なレポートバンドルをエクスポートします。バグバウンティ研究者とDevSecOps向けに設計されており、Web UIとヘッドレスCLIを提供し、任意のモデルプロバイダーに対応し、AGPL-3.0ライセンスで公開されています。