Arize-ai/phoenix

Arize Phoenix란?

Arize Phoenix는 오픈소스 AI 관찰성 플랫폼입니다. 대규모 언어 모델(LLM) 애플리케이션을 추적, 평가, 디버깅할 수 있으며, 프롬프트, 데이터셋, 모델 버전을 실험할 수 있는 UI를 제공합니다.

---

핵심 기능

기능	설명	사용 방법
추적	OpenTelemetry 기반 계측을 통해 LLM 호출의 런타임 데이터(입력, 출력, 지연 시간, 토큰 등)를 수집합니다.	px setup(또는 @arizeai/phoenix-cli)을 실행하면 프레임워크/제공업체를 자동 감지하고 OpenInference 계측을 주입합니다.
평가	저장된 추적 또는 사용자 정의 데이터셋에 대해 자동화된 LLM 기반 벤치마크(응답 품질, 검색 관련성 등)를 실행합니다.	arize-phoenix-evals / @arizeai/phoenix-evals 라이브러리 또는 UI의 평가 탭을 사용합니다.
데이터셋 및 실험	프롬프트 엔지니어링, 파인튜닝 또는 평가에 사용할 수 있는 버전 관리된 예제 모음입니다.	UI 또는 클라이언트 라이브러리를 통해 데이터셋을 생성하고, 실험을 시작하여 프롬프트나 모델 변경 사항을 비교합니다.
플레이그라운드 및 프롬프트 관리	프롬프트를 조정하고, 모델 출력을 비교하고, 버전을 태그하고, 추적 호출을 재생할 수 있는 대화형 UI입니다.	Phoenix 웹 UI를 열고, 추적을 선택하고, 프롬프트를 편집하고, 즉시 다시 실행합니다.
PXI(Phoenix Intelligence)	추적에 대한 질문에 답하고, 프롬프트 변경을 제안하거나, 제품을 탐색할 수 있는 AI 기반 "코딩 에이전트"입니다.	UI 내부 또는 MCP 엔드포인트를 통해 PXI에 질문합니다.
원격 MCP 서버	Claude Code, Cursor 또는 기타 MCP 클라이언트가 Phoenix 데이터를 프로그래밍 방식으로 쿼리할 수 있는 LangChain 스타일의 "모델-코드-프로토콜" 엔드포인트(/mcp)입니다.	지원되는 클라이언트에서 /mcp HTTP 엔드포인트를 호출합니다.

---

누가 필요할까요?

• LLM 개발자: 앱이 모델에 보내는 내용과 모델이 반환하는 내용을 정확히 확인하려는 개발자.
• 프롬프트 엔지니어: 프롬프트를 체계적으로 버전 관리, 테스트, 비교할 방법을 찾는 엔지니어.
• ML Ops 팀: LLM 기반 서비스를 위한 자체 호스팅 관찰성 스택이 필요한 팀(Phoenix는 로컬, Docker 또는 Kubernetes에서 실행 가능).
• 연구자: RAG 또는 파인튜닝 파이프라인을 위한 재현 가능한 데이터셋과 실험 추적을 원하는 연구자.

---

설치 및 배포

• Python/conda: pip install arize-phoenix(또는 conda install -c conda-forge arize-phoenix).
• 로컬 실행: phoenix serve로 UI와 API가 시작됩니다.
• 컨테이너: Docker Hub의 Docker 이미지 arizephoenix/phoenix; Kubernetes용 Helm 차트 제공.
• 원클릭 클라우드: Railway, Render, Google Cloud, Azure, AWS CloudFormation용 버튼이 제공됩니다.

---

생태계 및 통합

• 프레임워크: OpenAI Agents SDK, Claude Agent SDK, LangChain, Vercel AI SDK, Mastra, CrewAI, LlamaIndex, DSPy 등.
• LLM 제공업체: OpenAI, Anthropic, Google GenAI, AWS Bedrock, OpenRouter, LiteLLM 등.
• 계측: OpenTelemetry 호환 추적을 위한 OpenInference 프로젝트 기반.
• 클라이언트 라이브러리: 경량 Python(arize-phoenix-client, arize-phoenix-otel, arize-phoenix-evals) 및 TypeScript(@arizeai/phoenix-client, @arizeai/phoenix-otel, @arizeai/phoenix-evals).

---

라이선스 및 커뮤니티

• 핵심 플랫폼은 오픈소스(MIT 스타일, 저장소 참조)입니다. Arize AX라는 관리형 SaaS 버전도 제공됩니다.
• 커뮤니티 채널: Slack, Bluesky, X(트위터), LinkedIn, 공개 GitHub 이슈 트래커.

---

결론

Arize Phoenix는 LLM 애플리케이션을 위한 풀스택 관찰성 제품군(추적, 평가, 프롬프트 버전 관리, AI 어시스턴트)을 제공하며, 모두 자체 호스팅이 가능하고 주요 LLM 툴킷과 호환됩니다.