trulens：用于跟踪 LLM 实验和代理行为的系统化评估与可观测性框架

它解决了什么问题

TruLens 通过提供系统化的评估和实验跟踪方式，消除了对 LLM 应用进行“氛围检查”的需求。它帮助开发者识别提示、模型、检索器和知识源中的失效模式，从而通过数据驱动的迭代来提升应用性能。

工作原理

TruLens 使用基于 OpenTelemetry 的仪器化来捕获每一次函数调用、LLM 生成以及工具调用，并将其记录为结构化的 span。随后，对这些 span 应用“反馈函数”和特定评估器（例如 RAG 三元组）。这些评估可以在应用运行时实时内联执行，也可以在离线批处理模式下对预先收集的数据集进行，结果可在用户界面中查看。

适用人群

该框架面向构建 LLM 驱动应用的开发者，尤其是使用 RAG（检索增强生成）或代理系统的开发者，他们需要摆脱零散的测试，转向严格的评估。

亮点

• OpenTelemetry 集成：可完全与 Jaeger、Grafana Tempo、Datadog 等可观测性工具互操作。
• 代理评估器：七种专门指标，用于衡量推理连贯性、计划遵循、工具选择和执行效率。
• 灵活评估：支持实时内联评估和高吞吐量批处理。
• 广泛兼容性：可与 LangChain、LlamaIndex 等主流框架集成，并支持包括 OpenAI、Anthropic、Gemini、Bedrock 在内的众多 LLM 提供商。

---

摘要： 一个用于 LLM 应用的评估与可观测性框架，用系统化的跟踪和代理评估取代零散的测试。

标题： trulens：用于跟踪 LLM 实验和代理行为的系统化评估与可观测性框架