truera/trulens

解決的問題

TruLens 解決了 AI 代理與 RAG 應用的「直覺式」評估問題。它提供了一種結構化的方法，用以找出代理失敗的位置、識別不犧牲品質的情況下節省成本的機會，並以可追蹤、可量化的指標取代猜測。

工作原理

TruLens 使用 OpenTelemetry 原生追蹤，將 AI 應用的每一步驟——包括函式呼叫、LLM 生成與工具呼叫——作為結構化跨度進行捕獲。接著應用「LLM 判官」（回饋函數）對這些追蹤進行評分。這些評估可於應用執行時內聯執行，或在資料集上以批次模式執行。

適用對象

專為需要從定性感受轉向定量評估與版本對比的 AI 團隊與開發者設計，適用於建構代理系統與 RAG 應用的場景。

主要亮點

• OpenTelemetry 原生： 追蹤可無縫遷移至任何 OTLP 相容後端，如 Jaeger 或 Grafana Tempo。
• 代理評估： 內建七個專用評估器，用以衡量推理連貫性、計畫遵循度、工具選擇與執行效率。
• RAG 三要素： 支援核心 RAG 評估概念，如事實依據性與上下文相關性。
• 靈活的儀器化： 提供裝飾器以簡化應用儀器化，並提供 Selector API 以針對特定跨度屬性進行評估。
• 廣泛提供者支援： 與 OpenAI、Google Gemini、AWS Bedrock 與 Snowflake Cortex 等主要 LLM 提供者整合。