phoenix: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

Phoenixは、開発者がLLMアプリケーションを実験、評価、およびトラブルシューティングするのを支援するオープンソースのAIオブザーバビリティプラットフォームです。LLMアプリケーションが実行時にどのように動作するかを理解すること、パフォーマンスをベンチマークすること、そしてプロンプトやモデルを体系的に反復させることの難しさに対応します。

仕組み

Phoenixは、OpenTelemetryベースのインストルメンテーションを使用して、LLMアプリケーションの実行時をトレースします。以下のようなオブザーバビリティのためのツールスイートを提供します：

• Tracing: LLMコールの実行フローをキャプチャします。
• Evaluation: レスポンスとリトリーバル（検索）の評価を通じて、LLMを使用してパフォーマンスをベンチマークします。
• Datasets & Experiments: プロンプト、LLM、およびリトリーバル手法の変化を追跡するために、バージョン管理されたデータセットの作成を可能にします。
• Playground: プロンプトを最適化し、異なるモデルを比較し、トレースされたコールをリプレイするスペースです。
• Prompt Management: 体系的なプロンプトテストのためのバージョン管理とタグ付けを提供します。
• PXI (Phoenix Intelligence): ユーザーがトレースをデバッグし、プロンプトを反復させるのを支援する統合されたAIエージェントです。

対象ユーザー

システムの監視と最適化のためにベンダーに依存しないツールを必要とする、LLMを活用したアプリケーションを構築しているAIエンジニアや開発者向けに設計されています。LangGraph、LlamaIndex、CrewAIなどの幅広いフレームワークや、OpenAI、Anthropic、Google GenAIなどのLLMプロバイダーをサポートしています。

ハイライト

• Vendor and Language Agnostic: さまざまなフレームワークやLLMプロバイダー間で動作します。
• Flexible Deployment: ローカル、Jupyter notebooks、コンテナ、またはクラウドで実行可能です。
• OpenTelemetry-based: トレースのためのオープン標準に基づいて構築されています。
• Comprehensive Tooling: OTEL、クライアント、および評価のための専用のPythonおよびTypeScriptサブパッケージが含まれています。