langfuse/langfuse

해결하는 문제

Langfuse는 팀이 공동으로 AI 애플리케이션을 개발하고, 모니터링하며, 평가하고 디버깅할 수 있도록 설계된 오픈소스 LLM 엔지니어링 플랫폼입니다. LLM 호출 추적, 프롬프트 관리, 그리고 운영 환경에서 AI 출력 품질을 보장하는 복잡한 문제를 해결합니다.

작동 방식

Langfuse는 SDK(파이썬, JS/TS) 또는 직접 API 호출을 통해 AI 애플리케이션에 통합되는 도구 세트를 제공합니다. LLM 호출 및 기타 애플리케이션 로직(예: 검색, 임베딩, 에이전트 동작 등)의 "트레이스"를 캡처하여 개발자가 복잡한 로그와 사용자 세션을 검사하고 디버깅할 수 있도록 합니다. 또한 지연 시간을 추가하지 않고 프롬프트의 버전 관리와 반복 작업을 가능하게 하는 중앙 집중식 프롬프트 관리 시스템과, LLM을 심판으로 사용하는 평가, 수동 라벨링, 사용자 정의 파이프라인을 지원하는 평가 프레임워크도 포함되어 있습니다.

대상 사용자

AI 애플리케이션을 프로토타입에서 운영 환경으로 전환하기 위해 전문적인 LLM 관측성 및 평가 파이프라인을 필요로 하는 AI 엔지니어 및 개발 팀을 위한 것입니다.

주요 기능

• LLM 애플리케이션 관측성: 상세한 트레이스를 통해 LLM 호출, 검색 단계, 에이전트 동작을 추적하고 디버깅.
• 프롬프트 관리: 서버 및 클라이언트 측 캐시를 활용해 중앙에서 프롬프트를 관리하고 버전 관리하며 공동으로 반복 개선.
• 평가: LLM을 심판으로 사용하는 평가, 코드 평가기, 사용자 피드백, 수동 라벨링 지원.
• 데이터셋: 지속적인 개선과 배포 전 테스트를 위한 테스트 세트 및 벤치마크 생성.
• LLM 플레이그라운드: 프롬프트 및 모델 설정을 테스트하고 반복할 수 있는 인터랙티브 환경.
• 광범위한 통합: OpenAI, LangChain, LlamaIndex, Haystack, CrewAI, AutoGen 등 다양한 에이전트 프레임워크에 네이티브 지원.