trulens: LLM 実験とエージェント行動を追跡するための体系的評価・可観測性フレームワーク

解決する課題

TruLens は、LLM アプリケーションを「雰囲気チェック」する必要をなくし、実験を体系的に評価・追跡できる方法を提供します。プロンプト、モデル、リトリーバー、知識ソースにおける失敗モードを特定し、データ駆動型のイテレーションでアプリケーションのパフォーマンス向上を支援します。

仕組み

TruLens は OpenTelemetry ベースの計測を用いて、すべての関数呼び出し、LLM 生成、ツール呼び出しを構造化されたスパンとして取得します。その後、これらのスパンに「フィードバック関数」や特定の評価指標（例: RAG トライアド）を適用します。評価はアプリ実行中にインラインで実行することも、事前に収集したデータセットに対してオフラインのバッチモードで実行することもでき、結果はユーザーインターフェースで確認できます。

対象者

RAG（Retrieval‑Augmented Generation）やエージェントシステムを利用する LLM アプリケーション開発者向けです。経験則に頼ったテストから脱却し、厳密な評価を行いたい方に最適です。

ハイライト

• OpenTelemetry 連携: Jaeger、Grafana Tempo、Datadog などの可観測性ツールと完全に相互運用可能。
• エージェント評価指標: 推論の一貫性、計画遵守、ツール選択、実行効率を測る 7 つの専門メトリクス。
• 柔軟な評価: リアルタイムのインライン評価と高スループットのバッチ処理の両方に対応。
• 広範な互換性: LangChain、LlamaIndex などの主要フレームワークと統合し、OpenAI、Anthropic、Gemini、Bedrock など多数の LLM プロバイダーをサポート。