Arize-ai/phoenix

AI Observability & Evaluation

解決する課題

Phoenixは、LLMアプリケーションのモニタリングと最適化の難しさに対応します。トレーシングを通じてアプリケーションの実行時の可視性を提供し、評価によるパフォーマンスのベンチマークを可能にし、プロンプトエンジニアリングと実験の反復プロセスを管理するのに役立ちます。

仕組み

Phoenixは、OpenTelemetryベースのインストルメンテーションを使用してLLMアプリケーションの実行時間をトレースします。LLMを活用して、レスポンスと検索の品質を評価します。ユーザーは実験用にバージョン管理されたデータセットを作成でき、組み込みのAIエンジニアリングエージェント（PXI）を使用してトレースのデバッグやプロンプトの反復改善を行うことができます。ベンダーに依存せず、LangChain、LlamaIndex、CrewAIなどの様々なフレームワークや、OpenAI、Anthropicなどのプロバイダーをサポートしています。

対象ユーザー

  • LLMアプリケーションを構築・デバッグするAIエンジニア。
  • RAG (Retrieval-Augmented Generation) のパフォーマンスをベンチマークする必要がある開発者。
  • 体系的なプロンプト管理とバージョン管理を必要とするチーム。
  • MCPを介してトレースやデータセットをクエリしたいコーディングエージェント（CursorやClaude Codeなど）のユーザー。

ハイライト

  • Tracing: OpenTelemetryベースの実行時インストルメンテーション。
  • Evaluation: レスポンスと検索のためのLLMによるベンチマーク。
  • Experimentation: プロンプト、モデル、検索の変更を追跡するためのツール。
  • Prompt Management: バージョン管理とタグ付けによる体系的なテスト。
  • AI Agent Integration: コーディングエージェントからデータをクエリするためのリモートMCPサーバーのサポート。