truera/trulens

Evaluation and Tracking for LLM Experiments and AI Agents

解决的问题

TruLens 帮助开发者识别 AI 代理在何处失败，并找到在不牺牲质量的前提下降低成本的机会。它通过为不良答案提供可追踪的原因，并展示不同应用版本之间的可见权衡，将评估从“感觉”转变为数据驱动。

工作原理

TruLens 使用 OpenTelemetry 原生插桩，将应用程序的每一步（包括函数调用、LLM 生成和工具调用）记录为结构化跨度。然后，它应用“LLM 评判器”（反馈函数）根据特定指标对这些步骤进行评分。这些评估可以在应用运行时内联执行，也可以对预先收集的数据集进行批量处理。

适用人群

构建 RAG（检索增强生成）系统和代理型应用的 AI 工程师和团队，他们需要监控性能、调试故障并优化成本。

亮点

  • OpenTelemetry 原生：追踪可移植到任何 OTLP 后端，如 Jaeger、Grafana Tempo 或 Datadog。
  • 代理型评估器：七个专门的评估器，用于衡量推理连贯性、执行效率、计划遵循度和工具使用情况。
  • RAG 三元组：内置对核心 RAG 指标的支持，包括接地性和上下文相关性。
  • 灵活评估：支持通过 Run API 进行实时内联评分和离线批量评估。
  • 广泛集成：兼容主流 LLM 提供商（OpenAI、Gemini、Bedrock 等）以及 LangChain 和 LlamaIndex 等框架。

相关

  • 项目
    johnmarktaylor91/torchlens

    TorchLens 是一个 Python 库，用于捕获、可视化和干预 PyTorch 模型的每个激活和梯度。它构建一个可复现的计算图，提供丰富的每操作元数据，支持选择性保存、反向传播捕获、感受野/投影野分析，并提供用于即时干预的 API。适用于静态、动态和循环架构，并与 HuggingFace 模型集成。

  • 项目
    traceloop/openllmetry

    一个基于 OpenTelemetry 的开源可观测性框架，为 LLM 应用、提供商和向量数据库提供完整的追踪和监控。

  • 项目
    JudgmentLabs/judgeval

    Judgeval 是一个开源的 Python SDK，为 LLM 代理添加持续改进的可观测性：它通过 OpenTelemetry 追踪调用，使用基于提示的评判器评估追踪，并让你在发布前根据生产数据验证修复。

  • 项目
    openlit/openlit

    一个开源代理框架工程平台，使用 OpenTelemetry 来追踪、评估并保护 AI 代理和编码代理。

  • 项目
    confident-ai/deepeval

    DeepEval 是一个开源的 Python 框架，允许你为任何基于 LLM 的应用（如聊天机器人、代理、RAG 管道或多模态生成器）编写 pytest 风格的测试。它附带数十种基于研究的指标（例如 G-Eval、JevEval、任务完成度、幻觉、偏见），可以在任何模型上本地运行，并且你可以添加自定义指标。该库与流行的工具包（LangChain、OpenAI、Anthropic、LlamaIndex 等）集成，自动跟踪模型调用，实现端到端和步骤级评估。测试从命令行运行，适合 CI/CD，并可连接到商业的 Confident AI 平台进行生产环境监控。非常适合需要为 LLM 应用提供定量质量门的开发者和团队。