Arize-ai/phoenix

AI Observability & Evaluation

Arize Phoenix とは?

Arize Phoenix はオープンソースの AI 可観測性プラットフォームです。大規模言語モデル(LLM)アプリケーションのトレース、評価、デバッグが可能で、プロンプト、データセット、モデルバージョンを試すための UI を提供します。


コア機能

機能 説明 使用方法
トレーシング OpenTelemetry ベースの計装を介して、LLM 呼び出しからのランタイムデータ(入力、出力、レイテンシ、トークンなど)を収集します。 px setup(または @arizeai/phoenix-cli)を実行します。フレームワーク/プロバイダーを自動検出し、OpenInference 計装を注入します。
評価 保存されたトレースまたはカスタムデータセットに対して、自動化された LLM ベースのベンチマーク(応答品質、検索関連性など)を実行します。 arize-phoenix-evals / @arizeai/phoenix-evals ライブラリまたは UI の評価タブを使用します。
データセットと実験 プロンプトエンジニアリング、ファインチューニング、評価に使用できるバージョン管理されたサンプルコレクション。 UI またはクライアントライブラリを介してデータセットを作成します。実験を開始してプロンプトやモデルの変更を比較します。
プレイグラウンドとプロンプト管理 プロンプトを調整し、モデル出力を比較し、バージョンをタグ付けし、トレース呼び出しを再生するためのインタラクティブな UI。 Phoenix Web UI を開き、トレースを選択し、プロンプトを編集して、即座に再実行します。
PXI(Phoenix Intelligence) トレースに関する質問に答えたり、プロンプト変更を提案したり、製品をナビゲートしたりできる AI 駆動の「コーディングエージェント」。 UI 内または MCP エンドポイントを介して PXI に質問します。
リモート MCP サーバー LangChain スタイルの「モデル-コード-プロトコル」エンドポイント(/mcp)で、Claude Code、Cursor、その他の MCP クライアントが Phoenix データをプログラム的にクエリできるようにします。 サポートされているクライアントから /mcp HTTP エンドポイントを呼び出します。

誰が使うべきか?

  • LLM 開発者:アプリがモデルに送信している内容とモデルが返す内容を正確に確認したい方。
  • プロンプトエンジニア:プロンプトを体系的にバージョン管理、テスト、比較する方法を探している方。
  • ML Ops チーム:LLM を利用したサービス向けのセルフホスト型可観測性スタックが必要なチーム(Phoenix はローカル、Docker、Kubernetes で実行可能)。
  • 研究者:RAG やファインチューニングパイプライン向けの再現可能なデータセットと実験追跡を希望する方。

インストールとデプロイ

  • Python/conda:pip install arize-phoenix(または conda install -c conda-forge arize-phoenix)。
  • ローカル実行:phoenix serve で UI と API が起動します。
  • コンテナ:Docker Hub の Docker イメージ arizephoenix/phoenix。Kubernetes 用の Helm チャートも利用可能。
  • ワンクリッククラウド:Railway、Render、Google Cloud、Azure、AWS CloudFormation 用のボタンが用意されています。

エコシステムと統合

  • フレームワーク:OpenAI Agents SDK、Claude Agent SDK、LangChain、Vercel AI SDK、Mastra、CrewAI、LlamaIndex、DSPy など。
  • LLM プロバイダー:OpenAI、Anthropic、Google GenAI、AWS Bedrock、OpenRouter、LiteLLM など。
  • 計装:OpenTelemetry 互換のトレーシングのための OpenInference プロジェクトに基づいています。
  • クライアントライブラリ:軽量な Python(arize-phoenix-client、arize-phoenix-otel、arize-phoenix-evals)と TypeScript(@arizeai/phoenix-client、@arizeai/phoenix-otel、@arizeai/phoenix-evals)。

ライセンスとコミュニティ

  • コアプラットフォームはオープンソース(MIT スタイル、リポジトリを参照)。Arize AX というマネージド SaaS バージョンも提供されています。
  • コミュニティチャネル:Slack、Bluesky、X(Twitter)、LinkedIn、公開 GitHub イシュートラッカー。

結論

Arize Phoenix は、LLM アプリケーション向けのフルスタック可観測性スイート(トレーシング、評価、プロンプトバージョン管理、AI アシスタント)を提供し、すべてセルフホスト可能で、主要な LLM ツールキットと互換性があります。

関連

  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト