traceloop/openllmetry-js

Sister project to OpenLLMetry, but in Typescript. Open-source observability for your LLM application, based on OpenTelemetry

它解決了什麼問題

OpenLLMetry-JS 為使用 JavaScript 與 TypeScript 建置的 LLM 應用程式提供觀測性。它協助開發者追蹤與監控 AI 應用程式的內部運作，透過標準化的方式從 LLM 供應商與向量資料庫擷取遙測資料，讓除錯與效能優化變得更容易。

它如何運作

此專案建立在 OpenTelemetry 之上，提供一組擴充功能與簡化的 SDK。它會對各種 LLM 供應商（如 OpenAI、Anthropic、Bedrock）與向量資料庫（如 Pinecone、Chroma）之呼叫進行儀表化，捕捉資料流向。因為遵循 OpenTelemetry 標準，捕獲的追蹤資料可以匯出至多種現有的觀測工具，例如 Datadog、Honeycomb 與 New Relic。

目標對象

使用 Node.js 或 Next.js 開發 LLM 驅動應用程式，且需要專業觀測堆疊來監控 AI 工作流程的開發者。

重點特色

  • 基於 OpenTelemetry：底層使用業界標準的 OpenTelemetry，確保與現有工具相容。
  • 廣泛整合：支援多種 LLM 供應商（OpenAI、Anthropic、Cohere、Vertex AI、Bedrock）與向量資料庫（Pinecone、Chroma、Qdrant）。
  • 框架支援：可與熱門 AI 框架如 LangChain 與 LlamaIndex 整合。
  • 簡易設定：提供簡化的 SDK，只需幾行程式碼即可完成儀表化。