traceloop/openllmetry-js

Sister project to OpenLLMetry, but in Typescript. Open-source observability for your LLM application, based on OpenTelemetry

它解决了什么

OpenLLMetry-JS 为使用 JavaScript 与 TypeScript 构建的 LLM 应用提供可观测性。它帮助开发者跟踪和监控 AI 应用的内部工作原理，通过标准化方式从 LLM 提供商和向量数据库捕获遥测数据，使调试和性能优化更加容易。

它如何工作

该项目基于 OpenTelemetry，提供一套扩展和简化的 SDK。它对各种 LLM 提供商（如 OpenAI、Anthropic、Bedrock）以及向量数据库（如 Pinecone、Chroma）的调用进行仪表化，捕获数据流。由于遵循 OpenTelemetry 标准，捕获的追踪可以导出到多种现有的可观测性工具，如 Datadog、Honeycomb 和 New Relic。

适用人群

使用 Node.js 或 Next.js 构建 LLM 驱动应用，并需要专业可观测性栈来监控 AI 工作流的开发者。

亮点

  • 基于 OpenTelemetry：底层使用业界标准的 OpenTelemetry，兼容现有工具。
  • 广泛集成：支持多种 LLM 提供商（OpenAI、Anthropic、Cohere、Vertex AI、Bedrock）和向量数据库（Pinecone、Chroma、Qdrant）。
  • 框架支持：可与流行的 AI 框架如 LangChain 和 LlamaIndex 集成。
  • 易于设置：提供简化的 SDK，只需几行代码即可完成仪表化。