traceloop/openllmetry-js

Sister project to OpenLLMetry, but in Typescript. Open-source observability for your LLM application, based on OpenTelemetry

解決する課題

OpenLLMetry-JS は、JavaScript と TypeScript で構築された LLM アプリケーションに観測性を提供します。開発者が AI アプリケーションの内部動作を追跡・監視できるようにし、LLM プロバイダーやベクトルデータベースからテレメトリーデータを標準化された方法で取得することで、デバッグやパフォーマンス最適化を容易にします。

仕組み

OpenTelemetry 上に構築されており、一連の拡張機能とシンプルな SDK を提供します。OpenAI、Anthropic、Bedrock などのさまざまな LLM プロバイダーや、Pinecone、Chroma などのベクトルデータベースへの呼び出しを計測し、データフローをキャプチャします。OpenTelemetry 標準に準拠しているため、取得したトレースは Datadog、Honeycomb、New Relic など多数の既存観測ツールへエクスポート可能です。

対象ユーザー

Node.js または Next.js を使用して LLM を活用したアプリケーションを構築し、AI ワークフローを監視するためのプロフェッショナルな観測スタックが必要な開発者向けです。

ハイライト

  • OpenTelemetry ベース：既存ツールとの互換性を確保するために、業界標準の OpenTelemetry を内部で使用。
  • 幅広い統合：OpenAI、Anthropic、Cohere、Vertex AI、Bedrock など多数の LLM プロバイダーと、Pinecone、Chroma、Qdrant などのベクトルデータベースをサポート。
  • フレームワーク対応：LangChain や LlamaIndex といった人気 AI フレームワークと統合可能。
  • 簡単セットアップ：数行のコードで計測できるシンプルな SDK を提供。