langfuse/langfuse

解决的问题

Langfuse 是一个开源的 LLM 工程平台，旨在帮助团队协作开发、监控、评估和调试 AI 应用程序。它解决了跟踪 LLM 调用、管理提示词以及确保生产环境中 AI 输出质量的复杂性。

工作原理

Langfuse 提供了一套工具，可通过 SDK（Python、JS/TS）或直接 API 调用集成到 AI 应用中。它会捕获 LLM 调用及其他应用逻辑（如检索、嵌入或代理行为）的「追踪」，使开发者能够检查和调试复杂的日志和用户会话。它还包含一个中央提示词管理系统，支持无延迟的版本控制和迭代，以及一个支持 LLM 作为裁判、手动标注和自定义流水线的评估框架。

适用人群

专为需要专业 LLM 可观测性和评估流水线，将 AI 应用从原型推向生产环境的 AI 工程师和开发团队打造。

主要亮点

• LLM 应用可观测性：通过详细的追踪，跟踪和调试 LLM 调用、检索步骤和代理行为。
• 提示词管理：通过服务器端和客户端缓存，集中管理、版本控制并协作迭代提示词。
• 评估：支持 LLM 作为裁判、代码评估器、用户反馈和手动标注。
• 数据集：创建测试集和基准，用于持续改进和部署前测试。
• LLM 沙盒环境：一个交互式环境，用于测试和迭代提示词和模型配置。
• 广泛集成：原生支持 OpenAI、LangChain、LlamaIndex、Haystack 以及 CrewAI、AutoGen 等多种代理框架。