Arize-ai/openinference

해결하는 문제

OpenInference는 AI 애플리케이션을 추적하고 모니터링하는 표준화된 방법을 제공합니다. LLM 기반 앱에서의 관측성의 분산 문제를 해결하기 위해, 복잡한 애플리케이션 워크플로우 내에서 LLM, 벡터 스토어, 외부 도구가 어떻게 호출되었는지를 기록하기 위한 공통된 규칙 세트를 만듭니다.

작동 방식

OpenTelemetry용 보완적인 규칙 및 플러그인 세트로 작동합니다. AI 전용 메타데이터(의미적 규칙)를 기록하기 위한 사양을 정의하고, OpenAI, LangChain, LlamaIndex, Anthropic와 같은 인기 있는 ML SDK 및 프레임워크용 광범위한 인스트루멘테이션 라이브러리를 제공합니다. 이러한 인스트루멘테이션을 통해 개발자는 세부적인 실행 추적을 캡처할 수 있으며, Arize Phoenix 및 Arize AX를 포함한 어떤 OpenTelemetry 호환 백엔드로도 전송할 수 있습니다.

대상 사용자

복잡한 LLM 애플리케이션, 에이전트, RAG 시스템을 개발하고, 애플리케이션의 내부 로직, 도구 사용, 모델 호출에 대한 깊은 가시성을 필요로 하는 AI 엔지니어 및 개발자입니다.

주요 특징

• OpenTelemetry 통합: OpenTelemetry 생태계와 원활하게 작동하도록 설계되었습니다.
• 광범위한 프레임워크 지원: DSPy, CrewAI, PydanticAI를 포함한 수십 가지 인기 있는 AI 라이브러리용 전용 인스트루멘테이션을 제공합니다.
• 전송 방식 독립: 특정 파일 형식이나 전송 방법에 의존하지 않도록 사양이 설계되었습니다.
• 통합된 데이터: OpenLIT 및 OpenLLMetry와 같은 다른 인스트루멘테이션 라이브러리에서 오는 데이터를 정규화하는 스팬 프로세서를 포함합니다.