traceloop/openllmetry

Open-source observability for your GenAI or LLM application, based on OpenTelemetry

它解决了什么

OpenLLMetry 为 LLM 应用提供开源的可观测性。它解决了在 AI 应用中追踪和监控复杂交互的问题，让开发者能够准确看到 LLM 调用、向量数据库查询以及框架编排内部的实际情况。

工作原理

基于 OpenTelemetry，OpenLLMetry 提供一套扩展和专用 SDK 来为代码植入仪表。只需添加几行初始化代码，即可自动捕获来自 LLM 提供商（如 OpenAI 和 Anthropic）、向量数据库（如 Pinecone 和 Chroma）以及 AI 框架（如 LangChain 和 LlamaIndex）的追踪。由于遵循 OpenTelemetry 标准，捕获的数据可以导出到各种现有的可观测性后端，如 Datadog、Honeycomb 和 Grafana。

适用人群

需要调试、监控和优化 AI 工作流的 LLM 驱动应用开发者，并且不想被专有的可观测性工具锁定。

亮点

  • OpenTelemetry 原生：使用标准 OpenTelemetry 数据，确保与任何 OTEL 兼容后端的兼容性。
  • 广泛集成支持：为大量 LLM 提供商、向量数据库和 AI 框架提供仪表。
  • 免配置：提供一个 SDK，只需一次 Traceloop.init() 调用即可几乎即时完成仪表。
  • 可扩展：既可作为完整 SDK 使用，也可作为独立仪表插件供已有 OpenTelemetry 环境使用。

相关

  • 项目
    traceloop/openllmetry-js

    一个开源的可观测性库，适用于 JavaScript/TypeScript LLM 应用，使用 OpenTelemetry 跟踪对 LLM 提供商和向量数据库的调用。

  • 项目
    openlit/openlit

    一个开源代理框架工程平台，使用 OpenTelemetry 来追踪、评估并保护 AI 代理和编码代理。

  • 项目
    Arize-ai/openinference

    OpenInference 提供了一套供应商中立的规范和一系列 Python 检测包，为 LLM 和 AI 应用程序添加 OpenTelemetry 风格的追踪功能，涵盖提示词、检索、工具调用和模型响应。

  • 项目
    Arize-ai/phoenix

    Arize Phoenix 是一个用于 LLM 应用的开源 AI 可观测性平台，提供追踪、评估、数据集/实验跟踪、提示词游乐场和 AI 助手（PXI）。它通过 pip/conda 安装，可在本地或 Docker/Kubernetes 中运行，并与主要的 LLM 框架和提供商集成。

  • 项目
    monocle2ai/monocle

    Monocle 是一个基于 Apache-2.0 协议的 Python SDK，为 GenAI 应用和智能体添加了兼容 OpenTelemetry 的追踪功能。它能够自动对主流框架（LangChain、LlamaIndex、Haystack、Google ADK、Claude CLI 等）进行插桩，针对提示词、LLM 调用、工具使用和向量查询生成结构化 span，并可集成到任何 OTLP 收集器或本地 JSON 文件中。配套的 monocle-test-tools 包允许编写 pytest 风格的测试，对追踪数据（智能体运行、工具调用、Token/成本限制、评估指标）进行断言。功能包括标准 span 属性元模型、用于标记 span 的作用域辅助工具、内置敏感信息脱敏、零代码包装模式、VS Code 可视化集成以及广泛的导出支持（文件、stdout、S3、Azure Blob、Okahu cloud、PostgreSQL、ClickHouse）。非常适合 AI 智能体的调试、成本监控、CI 测试和平台级可观测性。