truera/trulens
Evaluation and Tracking for LLM Experiments and AI Agents
解決する課題
TruLensは、開発者がAIエージェントの失敗箇所を特定し、品質を犠牲にすることなくコストを削減する機会を見つけるのに役立ちます。評価を「雰囲気」からデータへと移行し、悪い回答のトレース可能な原因と、異なるアプリバージョン間の目に見えるトレードオフを提供します。
仕組み
TruLensは、OpenTelemetryネイティブの計装を使用して、アプリケーションのすべてのステップ（関数呼び出し、LLM生成、ツール呼び出しなど）を構造化スパンとして記録します。次に、「LLMジャッジ」（フィードバック関数）を適用して、特定のメトリクスに基づいてこれらのステップをスコアリングします。これらの評価は、アプリの動作中にインラインで実行することも、事前に収集したデータセットに対してバッチモードで実行することもできます。
対象読者
RAG（検索拡張生成）システムやエージェント型アプリケーションを構築するAIエンジニアとチームで、パフォーマンスの監視、障害のデバッグ、コストの最適化が必要な方。
ハイライト
- OpenTelemetryネイティブ: トレースは、Jaeger、Grafana Tempo、Datadogなどの任意のOTLPバックエンドに移植可能です。
- エージェント型評価器: 推論の一貫性、実行効率、プラン順守、ツール使用状況を測定するための7つの専門評価器。
- RAGトライアド: 接地性やコンテキスト関連性など、中核となるRAGメトリクスに対する組み込みサポート。
- 柔軟な評価: リアルタイムのインラインスコアリングと、Run APIを介したオフラインバッチ評価の両方をサポート。
- 幅広い統合: 主要なLLMプロバイダー（OpenAI、Gemini、Bedrockなど）およびLangChainやLlamaIndexなどのフレームワークと互換性があります。
関連
- プロジェクト
johnmarktaylor91/torchlensTorchLens 是一个 Python 库，用于捕获、可视化和干预 PyTorch 模型的每个激活和梯度。它构建一个可复现的计算图，提供丰富的每操作元数据，支持选择性保存、反向传播捕获、感受野/投影野分析，并提供用于即时干预的 API。适用于静态、动态和循环架构，并与 HuggingFace 模型集成。
- プロジェクト
traceloop/openllmetryOpenTelemetry 上に構築されたオープンソースの可観測性フレームワークで、LLM アプリケーション、プロバイダー、ベクトルデータベースに対して完全なトレースとモニタリングを提供します。
- プロジェクト
JudgmentLabs/judgevalJudgeval は、LLM エージェントに継続的改善の可観測性を追加するオープンソースの Python SDK です。OpenTelemetry を介して呼び出しをトレースし、プロンプトベースの判定者でトレースを評価し、本番データに対して修正を検証してから出荷できます。
- プロジェクト
openlit/openlitOpenTelemetry を使用して AI エージェントとコーディングエージェントをトレース、評価、保護するオープンソースのエージェントハーネスエンジニアリングプラットフォーム。
- プロジェクト
confident-ai/deepevalDeepEval は、チャットボット、エージェント、RAG パイプライン、マルチモーダル生成器など、あらゆる LLM ベースのアプリケーションに対して pytest スタイルのテストを記述できるオープンソースの Python フレームワークです。研究に裏付けられた数十のメトリクス（例：G-Eval、JevEval、タスク完了、幻覚、バイアス）が同梱されており、任意のモデルでローカルに実行でき、カスタムメトリクスを追加することもできます。このライブラリは人気のツールキット（LangChain、OpenAI、Anthropic、LlamaIndex など）と統合し、モデル呼び出しを自動的にトレースして、エンドツーエンドおよびステップレベルの評価を可能にします。テストは CLI から実行でき、CI/CD に適合し、商用の Confident AI プラットフォームにリンクして本番環境のモニタリングを行うこともできます。LLM アプリケーションに定量的な品質ゲートを必要とする開発者やチームに最適です。