Arize-ai/openinference

解決的問題

OpenInference 提供了一種標準化的方式來追蹤和監控 AI 應用程式。它透過建立一組共通的規範，記錄複雜應用工作流程中 LLM、向量儲存和外部工具的呼叫方式，解決了基於 LLM 應用程式中觀測性碎片化問題。

工作原理

它作為 OpenTelemetry 的補充性規範和外掛程式集合運作。它定義了記錄 AI 特定元資料（語意規範）的規格，並提供針對主流 ML SDK 與框架（如 OpenAI、LangChain、LlamaIndex 和 Anthropic）的廣泛儀器化程式庫。這些儀器化工具讓開發者能捕獲詳細的執行追蹤，並傳送至任何 OpenTelemetry 相容的後端，包括 Arize Phoenix 和 Arize AX。

適用對象

需要深入了解其應用程式內部邏輯、工具使用與模型呼叫的複雜 LLM 應用、代理與 RAG 系統的 AI 工程師與開發者。

主要亮點

• OpenTelemetry 整合：專為與 OpenTelemetry 生態系統無縫協作而設計。
• 廣泛的框架支援：為數十個流行的 AI 套件提供專用儀器化，包括 DSPy、CrewAI 和 PydanticAI。
• 傳輸無關性：該規格設計為獨立於特定檔案格式或傳輸方式。
• 統一資料：包含跨度處理器，可將來自其他儀器化套件（如 OpenLIT 和 OpenLLMetry）的資料進行標準化。