langfuse/langfuse-python

何を解決するか

開発者がLLMアプリケーションの監視、評価、管理を行うための包括的なツールキットを提供します。LLM呼び出しのパフォーマンス状況の可視化、既存の機能を壊すことなくプロンプトやモデルの変更をテストできる能力、および異なる環境間でのプロンプトの管理方法に対するニーズに対応しています。

仕組み

SDKはPythonアプリケーションに統合され、OpenTelemetryの標準に従ってトレースとスパンをキャプチャし、LLMインタラクションのフローを追跡します。オフライン評価やレグレッションテスト用のデータセットの作成、LLM-as-a-judgeによるスコアリングの実装、専用の管理システムによるプロンプトの管理が可能です。また、プラットフォームへのプログラムによるアクセスを可能にする完全なREST APIクライアントも提供しています。

対象ユーザー

プロフェッショナルな観測性、体系的な評価、プロンプト管理ツールを必要とするLLM駆動アプリケーションの開発者。

主な特徴

• 観測性とトレーシング：OpenAIおよびLangChainとの組み込み統合を備えたOpenTelemetryベースのトレーシング。
• データセットと実験：プロンプト／モデルの変更に対するオフライン評価およびレグレッションテストのサポート。GitHub Actionsを介したCI統合も可能。
• 評価：カスタムスコアとLLM-as-a-judge評価のためのツール。
• プロンプト管理：アプリケーションで使用されるプロンプトの集中管理。