openlit: AI 엔지니어링을 위한 OpenTelemetry‑네이티브 관측 및 평가 플랫폼

해결하는 문제

OpenLIT은 생성 AI와 LLM을 위한 AI 엔지니어링 워크플로우를 단순화하도록 설계된 오픈소스 플랫폼입니다. 성능 모니터링, 프롬프트 관리, API 키 보안, 모델 출력 평가와 같은 과제를 벤더에 종속되지 않는 방식으로 해결합니다.

작동 방식

OpenLIT은 OpenTelemetry‑네이티브 SDK(Python, TypeScript, Go 제공)를 사용해 LLM, 벡터 데이터베이스, GPU로부터 트레이스와 메트릭을 수집합니다. 이 데이터는 OpenTelemetry Collector로 전송되어 ClickHouse에 저장되며, OpenLIT UI를 통해 시각화할 수 있습니다. 또한 벤더 훅을 설치해 트레이스를 발생시키는 방식으로 Cursor, Claude Code와 같은 로컬 코딩 에이전트를 모니터링하는 CLI도 제공합니다.

대상 사용자

전체 스택 관측, 자동 평가, 프롬프트와 시크릿의 중앙 관리가 필요한 LLM 기반 애플리케이션을 구축하는 AI 엔지니어 및 개발자.

주요 특징

• OpenTelemetry‑네이티브: 벤더 중립적인 관측을 위해 시맨틱 컨벤션을 따릅니다.
• 자동 평가: LLM‑as‑a‑Judge를 활용해 환각, 편향, 독성 등 11가지 내장 평가 유형을 제공합니다.
• 프롬프트 관리: Prompt Hub를 통해 프롬프트를 중앙에서 버전 관리하고 조직합니다.
• 룰 엔진: 조건 로직을 사용해 컨텍스트, 프롬프트, 평가 구성을 동적으로 가져옵니다.
• 광범위한 통합: 50개 이상의 LLM 제공자, LangChain, LlamaIndex와 같은 AI 프레임워크, 벡터 데이터베이스를 자동 계측합니다.
• 코딩 에이전트 관측: 로컬 AI 코딩 도구의 세션 및 툴 호출을 모니터링하는 전용 CLI를 제공합니다.

SUMMARY: 오픈소스 AI 엔지니어링 플랫폼으로, OpenTelemetry‑네이티브 관측, 자동 평가, 프롬프트 관리를 통해 LLM 애플리케이션을 지원합니다.

TITLE: openlit: AI 엔지니어링을 위한 OpenTelemetry‑네이티브 관측 및 평가 플랫폼