Arize-ai/openinference

OpenTelemetry Instrumentation for AI Observability

What it solves

OpenInference 提供了一种标准化的方式来追踪和观察 AI 应用。它解决了基于 LLM 的应用可观测性碎片化的问题，开发者需要在不同框架中了解 LLM 调用、向向量存储的检索，以及使用外部工具（如搜索引擎或 API）的情况。

How it works

它作为一组约定和插件，补充 OpenTelemetry。通过提供 AI 相关数据的记录规范，允许开发者使用各种流行的机器学习 SDK 与框架（如 OpenAI、LangChain、LlamaIndex 等）的插装。这些插装捕获应用上下文，并可与任何兼容 OpenTelemetry 的后端一起使用，包括 Arize Phoenix 与 Arize AX。

Who it’s for

它面向构建 AI 代理和 LLM 应用的开发者，提供一种一致、与传输层无关的方式来监控和追踪系统的执行流程。

Highlights

  • Standardized Specification: 一个与传输层和文件格式无关的 LLM 应用追踪规范。
  • Broad Framework Support: 包含对大量工具的插装，包括 OpenAI、Anthropic、LangChain、LlamaIndex、CrewAI 和 DSPy。
  • OpenTelemetry Integration: 构建为补充 OpenTelemetry 标准，确保兼容各种后端。
  • Span Processors: 提供实用工具，将其他插装库（如 OpenLIT 和 OpenLLMetry）的数据标准化并转换。