Arize-ai/openinference

解决的问题

OpenInference 提供了一种标准化的方式来追踪和监控 AI 应用程序。它通过为 LLM、向量存储和外部工具在复杂应用工作流中的调用方式建立通用的记录规范，解决了基于 LLM 的应用程序中观测性碎片化的问题。

工作原理

它作为 OpenTelemetry 的补充性规范和插件集合运行。它定义了记录 AI 特定元数据（语义约定）的规范，并提供了针对主流 ML SDK 和框架（如 OpenAI、LangChain、LlamaIndex 和 Anthropic）的广泛仪器化库。这些仪器化工具使开发者能够捕获详细的执行追踪，并将其发送到任何 OpenTelemetry 兼容的后端，包括 Arize Phoenix 和 Arize AX。

适用人群

需要深入了解其应用程序内部逻辑、工具使用情况和模型调用的复杂 LLM 应用、代理和 RAG 系统的 AI 工程师和开发者。

主要亮点

• OpenTelemetry 集成：专为与 OpenTelemetry 生态系统无缝协作而设计。
• 广泛的框架支持：为数十个流行的 AI 库提供专用仪器化，包括 DSPy、CrewAI 和 PydanticAI。
• 传输无关性：该规范设计为独立于特定文件格式或传输方法。
• 统一数据：包含跨度处理器，用于将来自其他仪器化库（如 OpenLIT 和 OpenLLMetry）的数据进行标准化。