langfuse/langfuse-python

解決的問題

為開發者提供一個全面的工具組，用於監控、評估和管理其 LLM 應用程式。解決了對 LLM 呼叫效能的可視化需求，無需破壞現有功能即可測試提示與模型變更的能力，以及在不同環境中管理提示的方式。

工作原理

SDK 結合至 Python 應用程式中，使用 OpenTelemetry 標準捕捉追蹤與跨度，以追蹤 LLM 互動的流程。它允許開發者建立用於離線評估與回歸測試的資料集，實作 LLM-as-a-judge 評分，並透過專用管理系統管理提示。它也提供完整的 REST API 客戶端，用於程式化存取平台。

適用對象

需要專業可觀察性、系統化評估與提示管理工具的 LLM 驅動應用程式開發者。

主要特色

• 可觀察性與追蹤：基於 OpenTelemetry，內建對 OpenAI 與 LangChain 的整合。
• 資料集與實驗：支援對提示／模型變更進行離線評估與回歸測試，可透過 GitHub Actions 實現 CI 結合。
• 評估：提供自訂評分與 LLM-as-a-judge 評估的工具。
• 提示管理：集中管理應用程式中使用的提示。