Arize-ai/phoenix

해결하는 문제

Arize Phoenix는 OpenTelemetry 기반의 인스트루멘테이션을 통해 LLM 애플리케이션의 추적, 평가, 문제 해결을 지원하는 오픈소스 AI 오브저버빌리티 플랫폼입니다. 복잡한 AI 워크플로우 내부에서 발생하는 일들을 이해하는 어려움을 해결하며, 런타임 추적, 성능 벤치마킹, 프롬프트 최적화를 위한 가시성을 제공합니다.

작동 방식

Phoenix는 OpenInference 프로젝트를 통해 OpenTelemetry 기반의 인스트루멘테이션을 사용하여 LLM 애플리케이션의 런타임 추적을 캡처합니다. 벤더 및 언어에 관계없이, LangGraph, LlamaIndex, CrewAI와 같은 인기 프레임워크 및 OpenAI, Anthropic, Google GenAI와 같은 LLM 제공업체와 통합 가능합니다. 로컬, 컨테이너, 클라우드에서 모두 실행할 수 있습니다.

대상 사용자

LLM 기반 애플리케이션을 개발하는 AI 엔지니어 및 개발자로서, 추적 디버깅, LLM 기반 평가를 통한 성능 벤치마킹, 프롬프트 및 모델에 대한 체계적인 반복이 필요한 사용자입니다.

주요 기능

• 추적: OpenTelemetry를 사용하여 LLM 애플리케이션의 런타임을 캡처하고 시각화.
• 평가: LLM을 사용하여 응답 및 검색 평가를 통해 성능을 벤치마킹.
• 데이터셋 및 실험: 프롬프트, LLM, 검색 방법의 변경을 추적하기 위한 버전 관리 데이터셋 생성.
• 플레이그라운드: 프롬프트 최적화, 모델 비교, 추적된 LLM 호출 재실행.
• PXI (Phoenix Intelligence): 디버깅 및 프롬프트 반복을 위한 통합 AI 엔지니어링 에이전트.
• 원격 MCP 서버: Claude Code, Cursor와 같은 코드 에이전트를 Phoenix에 직접 연결하여 추적 및 데이터셋을 쿼리 가능.