Arize-ai/phoenix

什么是 Arize Phoenix？

Arize Phoenix 是一个开源 AI 可观测性平台。它允许您追踪、评估和调试大型语言模型（LLM）应用，并提供了一个用于实验提示词、数据集和模型版本的 UI。

---

核心功能

功能	作用	使用方法
追踪	通过基于 OpenTelemetry 的插桩收集 LLM 调用的运行时数据（输入、输出、延迟、令牌等）。	运行 px setup（或 @arizeai/phoenix-cli）——它会自动检测您的框架/提供商并注入 OpenInference 插桩。
评估	对存储的追踪或自定义数据集运行基于 LLM 的自动化基准测试（响应质量、检索相关性等）。	使用 arize-phoenix-evals / @arizeai/phoenix-evals 库或 UI 的评估选项卡。
数据集与实验	版本控制的示例集合，可用于提示词工程、微调或评估。	通过 UI 或客户端库创建数据集；启动实验以比较提示词或模型更改。
游乐场与提示词管理	交互式 UI，用于调整提示词、比较模型输出、标记版本和重放追踪调用。	打开 Phoenix Web UI，选择追踪，编辑提示词，并立即重新运行。
PXI（Phoenix Intelligence）	一个 AI 驱动的“编码代理”，可以回答有关追踪的问题、建议提示词更改或导航产品。	在 UI 内或通过 MCP 端点询问 PXI。
远程 MCP 服务器	一个 LangChain 风格的“模型-代码-协议”端点（/mcp），允许 Claude Code、Cursor 或其他 MCP 客户端以编程方式查询 Phoenix 数据。	从支持的客户端调用 /mcp HTTP 端点。

---

谁可能需要它？

• LLM 开发者，他们想确切看到应用发送给模型的内容以及模型返回的内容。
• 提示词工程师，寻找一种系统化的方式来版本化、测试和比较提示词。
• ML Ops 团队，需要为 LLM 驱动的服务提供自托管可观测性堆栈（Phoenix 可以在本地、Docker 或 Kubernetes 上运行）。
• 研究人员，希望为 RAG 或微调管道获得可重现的数据集和实验跟踪。

---

安装与部署

• Python/conda：pip install arize-phoenix（或 conda install -c conda-forge arize-phoenix）。
• 本地运行：phoenix serve 启动 UI 和 API。
• 容器：Docker Hub 上的 Docker 镜像 arizephoenix/phoenix；提供 Kubernetes 的 Helm chart。
• 一键云部署：提供 Railway、Render、Google Cloud、Azure 和 AWS CloudFormation 的按钮。

---

生态系统与集成

• 框架：OpenAI Agents SDK、Claude Agent SDK、LangChain、Vercel AI SDK、Mastra、CrewAI、LlamaIndex、DSPy 等。
• LLM 提供商：OpenAI、Anthropic、Google GenAI、AWS Bedrock、OpenRouter、LiteLLM 等。
• 插桩：基于 OpenInference 项目，用于 OpenTelemetry 兼容的追踪。
• 客户端库：轻量级 Python（arize-phoenix-client、arize-phoenix-otel、arize-phoenix-evals）和 TypeScript（@arizeai/phoenix-client、@arizeai/phoenix-otel、@arizeai/phoenix-evals）。

---

许可证与社区

• 核心平台是开源的（MIT 风格，请参阅仓库）。还提供名为 Arize AX 的托管 SaaS 版本。
• 社区渠道：Slack、Bluesky、X（Twitter）、LinkedIn 和公共 GitHub 问题跟踪器。

---

总结

Arize Phoenix 为 LLM 应用提供全栈可观测性套件——追踪、评估、提示词版本控制和 AI 助手——全部可自托管，并与主要的 LLM 工具包兼容。