Arize-ai/openinference

OpenTelemetry Instrumentation for AI Observability

What it solves

OpenInference 提供了一種標準化的方式來追蹤與觀測 AI 應用。它解決了 LLM 應用程式觀測分散的問題，開發者需要在不同框架中了解 LLM 呼叫、向向量資料庫的檢索，以及使用外部工具（如搜尋引擎或 API）的情況。

How it works

它作為一組慣例與插件，補充 OpenTelemetry。透過提供 AI 相關資料的記錄規範，讓開發者能使用各種流行的機器學習 SDK 與框架（例如 OpenAI、LangChain、LlamaIndex 等）的插裝。這些插裝會捕捉應用程式上下文，且可與任何相容 OpenTelemetry 的後端一起使用，包括 Arize Phoenix 與 Arize AX。

Who it’s for

此工具設計給構建 AI 代理與 LLM 應用的開發者，讓他們能以一致、與傳輸層無關的方式監控與追蹤系統的執行流程。

Highlights

  • Standardized Specification: 一套與傳輸層與檔案格式無關的 LLM 應用追蹤規範。
  • Broad Framework Support: 包含對廣大工具的插裝，諸如 OpenAI、Anthropic、LangChain、LlamaIndex、CrewAI 與 DSPy。
  • OpenTelemetry Integration: 以補充 OpenTelemetry 標準的方式構建，確保與各種後端相容。
  • Span Processors: 提供實用工具，將其他插裝函式庫（如 OpenLIT 與 OpenLLMetry）的資料正規化與轉換。