langfuse: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

Langfuse는 팀이 협업하여 AI 애플리케이션을 개발, 모니터링, 평가 및 디버깅할 수 있도록 설계된 오픈 소스 LLM 엔지니어링 플랫폼입니다. 관찰 가능성(observability), 프롬프트 관리, 체계적인 평가를 위한 도구를 제공함으로써 AI 앱을 프로토타입에서 프로덕션으로 전환하는 과제를 해결합니다.

작동 방식

Langfuse는 SDK(Python, JS/TS) 또는 직접적인 API 호출을 통해 AI 애플리케이션에 통합되는 도구 모음을 제공합니다. LLM 호출 및 기타 애플리케이션 로직(검색 또는 에이전트 작업과 같은)의 "traces"를 캡처하여 사용자 세션에 대한 심층적인 검사를 가능하게 합니다. 또한 프롬프트를 관리하고 버전 관리를 할 수 있는 중앙 집중식 시스템, 빠른 반복을 위한 LLM Playground, 그리고 LLM-as-a-judge, 수동 라벨링 및 사용자 정의 코드 평가기를 지원하는 평가 파이프라인을 제공합니다.

대상 사용자

프로덕션 환경에서 앱을 모니터링하고 프롬프트 및 모델 구성을 반복적으로 개선하기 위해 전문적인 LLMOps 워크플로우가 필요한 LLM 기반 애플리케이션 개발자와 팀을 위해 구축되었습니다.

주요 특징

• LLM 애플리케이션 관찰 가능성: 상세한 traces를 통해 LLM 호출, 검색 및 에이전트 작업을 추적합니다.
• 프롬프트 관리: 지연 시간을 추가하지 않고 프롬프트를 중앙에서 관리하고, 버전 관리를 하며, 반복적으로 개선합니다.
• 평가: LLM-as-a-judge, 코드 평가기 및 사용자 피드백 수집을 지원합니다.
• 데이터셋: 지속적인 개선과 배포 전 테스트를 위한 테스트 세트 및 벤치마크를 생성합니다.
• LLM Playground: traces에서 직접 프롬프트와 모델 구성을 테스트하고 반복합니다.
• 광범위한 통합: OpenAI, LangChain, LlamaIndex, Haystack, 그리고 CrewAI 및 AutoGen과 같은 다양한 에이전트 프레임워크를 기본적으로 지원합니다.