traceloop/openllmetry

해결하는 문제

OpenLLMetry는 LLM 애플리케이션을 위한 오픈소스 관측성을 제공합니다. AI 앱 내 복잡한 상호작용을 추적하고 모니터링하는 문제를 해결하여, 개발자가 LLM 호출, 벡터 데이터베이스 쿼리 및 프레임워크 오케스트레이션 내부에서 정확히 무슨 일이 일어나고 있는지 확인할 수 있게 합니다.

작동 방식

OpenTelemetry 위에 구축된 OpenLLMetry는 코드에 계측을 삽입하는 확장 세트와 전용 SDK를 제공합니다. 몇 줄의 초기화 코드를 추가하면 LLM 제공자(OpenAI, Anthropic 등), 벡터 데이터베이스(Pinecone, Chroma 등), AI 프레임워크(LangChain, LlamaIndex 등)에서 발생하는 트레이스를 자동으로 캡처합니다. OpenTelemetry 표준을 따르기 때문에 캡처된 데이터는 Datadog, Honeycomb, Grafana 등 다양한 기존 관측 백엔드로 내보낼 수 있습니다.

대상

LLM 기반 애플리케이션을 구축하고 디버깅, 모니터링 및 AI 워크플로우 최적화를 필요로 하지만, 독점 관측 도구에 종속되고 싶지 않은 개발자를 위한 솔루션입니다.

주요 특징

• OpenTelemetry 네이티브: 표준 OpenTelemetry 데이터를 사용하여 OTEL 호환 백엔드와의 호환성을 보장합니다.
• 광범위한 통합 지원: 다양한 LLM 제공자, 벡터 데이터베이스 및 AI 프레임워크를 계측합니다.
• 간편한 설정: Traceloop.init() 한 번 호출로 거의 즉시 계측을 시작할 수 있는 SDK를 제공합니다.
• 확장 가능: 전체 SDK로 사용할 수도 있고, 이미 OpenTelemetry 설정이 된 사용자를 위한 독립형 계측으로도 사용할 수 있습니다.