phoenix: 무엇인지, 어떤 문제를 해결하며, 왜 인기를 얻고 있는지

해결하는 문제

Phoenix는 개발자가 LLM 애플리케이션을 실험하고, 평가하며, 문제를 해결할 수 있도록 돕는 오픈 소스 AI 관측성(observability) 플랫폼입니다. 이는 LLM 애플리케이션이 런타임에 어떻게 동작하는지 이해하고, 성능을 벤치마킹하며, 프롬프트와 모델을 체계적으로 반복 개선하는 데 따르는 어려움을 해결합니다.

작동 방식

Phoenix는 OpenTelemetry 기반의 인스트루멘테이션(instrumentation)을 사용하여 LLM 애플리케이션의 런타임을 추적합니다. 다음과 같은 관측성을 위한 도구 모음을 제공합니다:

• Tracing: LLM 호출의 실행 흐름을 캡처합니다.
• Evaluation: 응답 및 검색 평가를 통해 성능을 벤치마킹하기 위해 LLM을 사용합니다.
• Datasets & Experiments: 프롬프트, LLM, 검색 방법의 변경 사항을 추적하기 위해 버전 관리되는 데이터셋을 생성할 수 있게 합니다.
• Playground: 프롬프트를 최적화하고, 서로 다른 모델을 비교하며, 추적된 호출을 다시 재생할 수 있는 공간입니다.
• Prompt Management: 체계적인 프롬프트 테스트를 위한 버전 관리 및 태깅을 제공합니다.
• PXI (Phoenix Intelligence): 사용자가 트레이스를 디버깅하고 프롬프트를 반복 개선할 수 있도록 돕는 통합 AI 에이전트입니다.

대상 사용자

시스템을 모니터링하고 최적화하기 위해 벤더 중립적인 도구가 필요한, LLM 기반 애플리케이션을 구축하는 AI 엔지니어 및 개발자를 위해 설계되었습니다. LangGraph, LlamaIndex, CrewAI와 같은 다양한 프레임워크와 OpenAI, Anthropic, Google GenAI와 같은 다양한 LLM 제공업체를 지원합니다.

주요 특징

• Vendor and Language Agnostic: 다양한 프레임워크와 LLM 제공업체를 가리지 않고 작동합니다.
• Flexible Deployment: 로컬, Jupyter notebooks, 컨테이너 또는 클라우드에서 실행할 수 있습니다.
• OpenTelemetry-based: 트레이싱을 위한 오픈 표준을 기반으로 구축되었습니다.
• Comprehensive Tooling: OTEL, 클라이언트 및 평가를 위한 전용 Python 및 TypeScript 서브 패키지를 포함합니다.