truera/trulens

解决的问题

TruLens 解决了 AI 代理和 RAG 应用的「感觉驱动」式评估问题。它提供了一种结构化的方法，用于定位代理失败的位置，识别在不牺牲质量的前提下节省成本的机会，并用可追溯、可量化的指标替代猜测。

工作原理

TruLens 使用 OpenTelemetry 原生追踪，将 AI 应用的每一步——包括函数调用、LLM 生成和工具调用——作为结构化跨度进行捕获。然后应用「LLM 判官」（反馈函数）对这些追踪进行评分。这些评估可以在应用运行时内联执行，也可以在数据集上以批处理模式运行。

适用人群

专为需要从定性感受转向定量评估和版本对比的 AI 团队及开发者设计，适用于构建代理系统和 RAG 应用的场景。

主要亮点

• OpenTelemetry 原生： 追踪可无缝迁移至任何 OTLP 兼容后端，如 Jaeger 或 Grafana Tempo。
• 代理评估： 内置七个专用评估器，用于衡量推理连贯性、计划遵循度、工具选择和执行效率。
• RAG 三要素： 支持核心 RAG 评估概念，如事实依据性和上下文相关性。
• 灵活的仪器化： 提供装饰器以简化应用仪器化，并提供 Selector API 以针对特定跨度属性进行评估。
• 广泛提供商支持： 与 OpenAI、Google Gemini、AWS Bedrock 和 Snowflake Cortex 等主要 LLM 提供商集成。