traceloop/openllmetry

Open-source observability for your GenAI or LLM application, based on OpenTelemetry

解決する課題

OpenLLMetry は LLM アプリケーション向けのオープンソース可観測性を提供します。AI アプリ内の複雑な相互作用を追跡・監視する問題を解決し、開発者が LLM 呼び出し、ベクトルデータベースクエリ、フレームワークオーケストレーションの内部で何が起きているかを正確に把握できるようにします。

仕組み

OpenTelemetry の上に構築されており、OpenLLMetry はコードに計測を組み込む拡張セットと専用 SDK を提供します。数行の初期化コードを追加するだけで、LLM プロバイダー（OpenAI や Anthropic など）、ベクトルデータベース（Pinecone や Chroma など）、AI フレームワーク（LangChain や LlamaIndex など）からのトレースを自動的に取得します。OpenTelemetry 標準に従っているため、取得したデータは Datadog、Honeycomb、Grafana など多数の既存可観測性バックエンドへエクスポート可能です。

対象者

LLM を活用したアプリケーションを構築し、デバッグ、モニタリング、ワークフロー最適化を行いたいが、ベンダーロックインされた可観測性ツールは使いたくない開発者向けです。

ハイライト

  • OpenTelemetry ネイティブ：標準 OpenTelemetry データを使用し、OTEL 準拠のバックエンドと互換性があります。
  • 広範な統合サポート：多数の LLM プロバイダー、ベクトルデータベース、AI フレームワークを計測対象にします。
  • 簡単セットアップ：Traceloop.init() を一度呼び出すだけで、ほぼ即時に計測が開始できる SDK を提供します。
  • 拡張性：フル SDK としても、既に OpenTelemetry 環境を持つユーザー向けのスタンドアロン計測としても利用可能です。