langfuse/langfuse-python

What it solves

개발자에게 LLM 애플리케이션을 모니터링, 평가 및 관리할 수 있는 통합 인터페이스를 제공합니다. 관측성(트레이싱), 프롬프트 관리 및 평가 도구를 제공하여 LLM 호출의 ""black box"" 문제를 해결하고, 모델 또는 프롬프트 업데이트 시 품질을 보과하고 성능 저하를 방지합니다.

How it works

SDK는 OpenTelemetry 기반 방식을 사용하여 트레이스, 스팬(spans) 및 생성물을 ""capture""합니다. 개발자는 context manager(예: start_as_current_observation) 또는 데코레이터를 사용하여 코드에 instrumentation을 적용하여 데이터 흐름과 LLM 응답을 추적적입니다. 또한 오프라인 평가 및 회귀 테스트를 위해 프롬프트, 데이터셋, 점수를 관리할 수 있는 REST API 클라이언트를 제공합니다.

Who it’s for

성능을 추적적, 디버깅 트레이스, 프롬프트 및 모델 변경에 대한 체계적인 평가를 수행해야 하는 LLM 기반 애플리케이션 개발자.

Highlights

• Observability and Tracing: OpenTelemetry-based tracing with built-in integrations for OpenAI and LangChain.

• Prompt Management: Tools to manage and version prompts outside of the code.

• Datasets and Experiments: Support for offline evaluation and regression testing, including CI integration via GitHub Actions.

• Evaluation: Support for LLM-as-a-judge and custom scoring systems to measure output quality.