openlit/openlit

해결하는 문제

OpenLIT은 AI 에이전트 및 애플리케이션의 관측성과 평가를 제공합니다. 개발자가 단순히 에이전트가 응답을 생성했다는 것을 아는 것을 넘어, 그 응답이 고품질인지 여부를 파악할 수 있도록 하며, 해당 출력에 이르는 복잡한 워크플로우(모델 호출, 도구 사용, 검색, 메모리 등)에 대한 깊은 가시성을 제공합니다.

작동 방식

OpenLIT은 OpenTelemetry를 사용하여 AI 애플리케이션을 추적하고 모니터링합니다. Python 및 TypeScript용 SDK를 제공하며, 지원되는 LLM 제공자, 벡터 데이터베이스, AI 프레임워크를 자동으로 인스트루먼트화합니다. 또한 OTLP 엔드포인트를 통해 기존 OpenTelemetry 아키텍처에 통합할 수 있습니다. Claude Code, Cursor, Codex와 같은 AI 코드 에이전트의 경우 전용 CLI를 제공합니다.

대상 사용자

본격적인 AI 에이전트 및 LLM 기반 애플리케이션을 개발하고 있으며, 실패의 근본 원인을 디버깅하고, 모델 및 사용자별 비용을 추적하며, 에이전트 출력의 평가를 자동화하고자 하는 개발자에게 적합합니다.

주요 기능

• OpenTelemetry 네이티브: 전용 형식이 아닌 오픈 표준 기반으로 구축되어, Grafana나 Datadog와 같은 다른 OTel 백엔드와 통합 가능합니다.
• AI 평가: 환각, 편향, 독성, 안전성, 관련성에 대한 LLM-as-a-Judge 평가 기능을 내장하고 있습니다.
• 비용 관측성: 모델, 제공자, 환경별 토큰 사용량과 비용을 상세히 추적합니다.
• 프롬프트 허브: 애플리케이션 코드와 별도로 프롬프트를 관리할 수 있는 중앙 집중식, 버전 관리 시스템입니다.
• 규칙 엔진: 트레이스 속성에 따라 런타임 규칙을 정의하여 프롬프트와 평가를 동적으로 제어할 수 있습니다.
• 광범위한 통합 지원: 70개 이상의 AI 제공자 및 데이터 저장소에 대한 자동 인스트루먼트화를 지원합니다.