Arize-ai/openinference

What it solves

OpenInference는 AI 애플리케이션을 추적하고 관찰하는 표준화된 방법을 제공합니다. LLM 기반 앱에서 관측성이 파편화되는 문제를 해결하여, 개발자가 다양한 프레임워크에서 LLM 호출, 벡터 스토어 검색, 외부 도구(검색 엔진이나 API 등) 사용 상황을 파악할 수 있게 합니다.

How it works

이는 OpenTelemetry를 보완하는 규칙과 플러그인 세트로 작동합니다. AI 관련 데이터를 기록하는 사양을 제공함으로써, OpenAI, LangChain, LlamaIndex 등 인기 있는 ML SDK와 프레임워크용 다양한 인스트루멘테이션을 사용할 수 있게 합니다. 이러한 인스트루멘테이션은 애플리케이션 컨텍스트를 캡처하고, Arize Phoenix와 Arize AX를 포함한 모든 OpenTelemetry 호환 백엔드와 함께 사용할 수 있습니다.

Who it’s for

AI 에이전트와 LLM 애플리케이션을 구축하는 개발자를 위해 설계되었으며, 시스템 실행 흐름을 일관되고 전송에 구애받지 않는 방식으로 모니터링하고 추적하고자 하는 경우에 적합합니다.

Highlights

• Standardized Specification: 전송 및 파일 형식에 구애받지 않는 LLM 앱 트레이싱을 위한 표준 사양.
• Broad Framework Support: OpenAI, Anthropic, LangChain, LlamaIndex, CrewAI, DSPy 등 다양한 도구에 대한 인스트루멘테이션을 포함합니다.
• OpenTelemetry Integration: OpenTelemetry 표준을 보완하도록 설계되어 다양한 백엔드와의 호환성을 보장합니다.
• Span Processors: OpenLIT 및 OpenLLMetry와 같은 다른 인스트루멘테이션 라이브러리의 데이터를 정규화하고 변환하는 유틸리티를 제공합니다.