langfuse/langfuse

何を解決するか

Langfuse は、チームが共同で AI アプリケーションを開発・監視・評価・デバッグできるように設計されたオープンソースの LLM エンジニアリングプラットフォームです。LLM 呼び出しの追跡、プロンプトの管理、本番環境における AI 出力の品質確保といった複雑な課題に対処します。

動作方法

Langfuse は SDK（Python、JS/TS）または直接 API 呼び出しを通じて AI アプリケーションに統合されるツールセットを提供します。LLM 呼び出しやその他のアプリケーションロジック（検索、埋め込み、エージェントアクションなど）の「トレース」を収集し、開発者が複雑なログやユーザー セッションを検査・デバッグできるようにします。また、レイテンシを追加せずにバージョン管理と反復作業が可能な中央集権的なプロンプト管理システムと、LLM をジャッジとして利用する評価、手動ラベリング、カスタムパイプラインをサポートする評価フレームワークも備えています。

対象ユーザー

プロフェッショナルな LLM の観測性と評価パイプラインが必要な AI エンジニアや開発チーム向けに構築されています。AI アプリケーションをプロトタイプから本番環境へ移行する際に役立ちます。

主な特徴

• LLM アプリケーションの観測性：詳細なトレースを通じて、LLM 呼び出し、検索ステップ、エージェントアクションを追跡・デバッグ。
• プロンプト管理：サーバーサイドおよびクライアントサイドのキャッシュを活用し、中央でプロンプトを管理・バージョン管理・共同で反復開発。
• 評価：LLM をジャッジとして利用、コード評価器、ユーザーのフィードバック、手動ラベリングをサポート。
• データセット：継続的な改善とデプロイ前のテストのためのテストセットとベンチマークを作成可能。
• LLM プレイグラウンド：プロンプトとモデル設定をテスト・反復するためのインタラクティブな環境。
• 広範な統合：OpenAI、LangChain、LlamaIndex、Haystack、CrewAI、AutoGen などのさまざまなエージェントフレームワークをネイティブでサポート。