traceloop/openllmetry

Open-source observability for your GenAI or LLM application, based on OpenTelemetry

해결하는 문제

OpenLLMetry는 LLM 애플리케이션을 위한 오픈소스 관측성을 제공합니다. AI 앱 내 복잡한 상호작용을 추적하고 모니터링하는 문제를 해결하여, 개발자가 LLM 호출, 벡터 데이터베이스 쿼리 및 프레임워크 오케스트레이션 내부에서 정확히 무슨 일이 일어나고 있는지 확인할 수 있게 합니다.

작동 방식

OpenTelemetry 위에 구축된 OpenLLMetry는 코드에 계측을 삽입하는 확장 세트와 전용 SDK를 제공합니다. 몇 줄의 초기화 코드를 추가하면 LLM 제공자(OpenAI, Anthropic 등), 벡터 데이터베이스(Pinecone, Chroma 등), AI 프레임워크(LangChain, LlamaIndex 등)에서 발생하는 트레이스를 자동으로 캡처합니다. OpenTelemetry 표준을 따르기 때문에 캡처된 데이터는 Datadog, Honeycomb, Grafana 등 다양한 기존 관측 백엔드로 내보낼 수 있습니다.

대상

LLM 기반 애플리케이션을 구축하고 디버깅, 모니터링 및 AI 워크플로우 최적화를 필요로 하지만, 독점 관측 도구에 종속되고 싶지 않은 개발자를 위한 솔루션입니다.

주요 특징

  • OpenTelemetry 네이티브: 표준 OpenTelemetry 데이터를 사용하여 OTEL 호환 백엔드와의 호환성을 보장합니다.
  • 광범위한 통합 지원: 다양한 LLM 제공자, 벡터 데이터베이스 및 AI 프레임워크를 계측합니다.
  • 간편한 설정: Traceloop.init() 한 번 호출로 거의 즉시 계측을 시작할 수 있는 SDK를 제공합니다.
  • 확장 가능: 전체 SDK로 사용할 수도 있고, 이미 OpenTelemetry 설정이 된 사용자를 위한 독립형 계측으로도 사용할 수 있습니다.

관련

  • 프로젝트
    traceloop/openllmetry-js

    JavaScript/TypeScript LLM 애플리케이션용 오픈소스 관측 라이브러리로, OpenTelemetry를 사용해 LLM 제공자와 벡터 데이터베이스에 대한 호출을 추적합니다.

  • 프로젝트
    openlit/openlit

    OpenTelemetry를 사용하여 AI 에이전트와 코딩 에이전트를 추적, 평가, 보호하는 오픈 소스 에이전트 하네스 엔지니어링 플랫폼입니다.

  • 프로젝트
    Arize-ai/openinference

    OpenInference는 벤더 중립적인 사양과 Python 계측 패키지 제품군을 제공하여 LLM 및 AI 애플리케이션에 OpenTelemetry 스타일의 추적 기능을 추가하며, 프롬프트, 검색, 도구 호출 및 모델 응답을 다룹니다.

  • 프로젝트
    Arize-ai/phoenix

    Arize Phoenix는 LLM 앱을 위한 오픈소스 AI 관찰성 플랫폼으로, 추적, 평가, 데이터셋/실험 추적, 프롬프트 플레이그라운드, AI 어시스턴트(PXI)를 제공합니다. pip/conda로 설치할 수 있으며, 로컬 또는 Docker/Kubernetes에서 실행할 수 있고, 주요 LLM 프레임워크 및 제공업체와 통합됩니다.

  • 프로젝트
    monocle2ai/monocle

    Monocle은 GenAI 앱과 에이전트에 OpenTelemetry 호환 추적 기능을 추가하는 Apache-2.0 Python SDK입니다. 널리 사용되는 프레임워크(LangChain, LlamaIndex, Haystack, Google ADK, Claude CLI 등)를 자동 계측하고, 프롬프트, LLM 호출, 도구 사용 및 벡터 쿼리에 대한 구조화된 스팬을 생성하며, 모든 OTLP 수집기나 로컬 JSON 파일과 통합됩니다. 동반 패키지인 `monocle-test-tools`를 사용하면 추적 데이터(에이전트 실행, 도구 호출, 토큰/비용 제한, 평가 사실)를 기반으로 pytest 스타일의 테스트를 작성할 수 있습니다. 주요 기능으로는 표준 스팬 속성을 위한 메타모델, 스팬 태그 지정을 위한 스코프 도우미, 내장 비밀 난독화, 제로 코드 래퍼 모드, VS Code 시각화 도구 통합 및 광범위한 내보내기 지원(파일, stdout, S3, Azure Blob, Okahu cloud, PostgreSQL, ClickHouse)이 포함됩니다. AI 에이전트의 디버깅, 비용 모니터링, CI 테스트 및 플랫폼 수준의 관측 가능성을 확보하는 데 이상적입니다.