openllmetry：基於 OpenTelemetry 的開源 LLM 應用可觀測性框架

它解決了什麼問題

OpenLLMetry 為 LLM 應用提供開源的可觀測性。它解決了在 AI 應用中追蹤與監控複雜交互的難題，讓開發者能清楚看到 LLM 呼叫、向量資料庫查詢以及框架編排過程中到底發生了什麼。

工作原理

OpenLLMetry 建立於 OpenTelemetry 之上，提供一套擴充功能與專屬 SDK 來為程式碼加上儀表。只需加入幾行初始化程式碼，即可自動捕獲來自 LLM 供應商（如 OpenAI 與 Anthropic）、向量資料庫（如 Pinecone 與 Chroma）以及 AI 框架（如 LangChain 與 LlamaIndex）的追蹤資訊。由於遵循 OpenTelemetry 標準，捕獲的資料可以匯出至各種現有的可觀測性後端，例如 Datadog、Honeycomb 與 Grafana。

目標對象

需要除錯、監控與優化 AI 工作流程，且不想被專屬可觀測性工具鎖定的 LLM 應用開發者。

重點特色

• OpenTelemetry 原生：使用標準的 OpenTelemetry 資料，確保與任何符合 OTEL 的後端相容。
• 廣泛整合支援：為大量的 LLM 供應商、向量資料庫與 AI 框架提供儀表。
• 免除繁雜設定：提供一個 SDK，只需一次 Traceloop.init() 呼叫，即可幾乎即時完成儀表。
• 可擴充：可作為完整 SDK 使用，也可作為獨立的儀表套件，供已有 OpenTelemetry 設定的使用者使用。