traceloop/openllmetry

Open-source observability for your GenAI or LLM application, based on OpenTelemetry

解決する課題

OpenLLMetry は LLM アプリケーション向けのオープンソース可観測性を提供します。AI アプリ内の複雑な相互作用を追跡・監視する問題を解決し、開発者が LLM 呼び出し、ベクトルデータベースクエリ、フレームワークオーケストレーションの内部で何が起きているかを正確に把握できるようにします。

仕組み

OpenTelemetry の上に構築されており、OpenLLMetry はコードに計測を組み込む拡張セットと専用 SDK を提供します。数行の初期化コードを追加するだけで、LLM プロバイダー（OpenAI や Anthropic など）、ベクトルデータベース（Pinecone や Chroma など）、AI フレームワーク（LangChain や LlamaIndex など）からのトレースを自動的に取得します。OpenTelemetry 標準に従っているため、取得したデータは Datadog、Honeycomb、Grafana など多数の既存可観測性バックエンドへエクスポート可能です。

対象者

LLM を活用したアプリケーションを構築し、デバッグ、モニタリング、ワークフロー最適化を行いたいが、ベンダーロックインされた可観測性ツールは使いたくない開発者向けです。

ハイライト

  • OpenTelemetry ネイティブ：標準 OpenTelemetry データを使用し、OTEL 準拠のバックエンドと互換性があります。
  • 広範な統合サポート：多数の LLM プロバイダー、ベクトルデータベース、AI フレームワークを計測対象にします。
  • 簡単セットアップ：Traceloop.init() を一度呼び出すだけで、ほぼ即時に計測が開始できる SDK を提供します。
  • 拡張性：フル SDK としても、既に OpenTelemetry 環境を持つユーザー向けのスタンドアロン計測としても利用可能です。

関連

  • プロジェクト
    traceloop/openllmetry-js

    JavaScript/TypeScript の LLM アプリケーション向けのオープンソース観測ライブラリで、OpenTelemetry を使用して LLM プロバイダーやベクトルデータベースへの呼び出しをトレースします。

  • プロジェクト
    openlit/openlit

    OpenTelemetry を使用して AI エージェントとコーディングエージェントをトレース、評価、保護するオープンソースのエージェントハーネスエンジニアリングプラットフォーム。

  • プロジェクト
    Arize-ai/openinference

    OpenInferenceは、ベンダーニュートラルな仕様とPythonインストゥルメンテーションパッケージのスイートを提供し、LLMおよびAIアプリケーションにOpenTelemetryスタイルのトレーシングを追加します。プロンプト、検索、ツール呼び出し、モデル応答をカバーします。

  • プロジェクト
    Arize-ai/phoenix

    Arize Phoenix は、LLM アプリケーション向けのオープンソース AI 可観測性プラットフォームで、トレーシング、評価、データセット/実験の追跡、プロンプトプレイグラウンド、AI アシスタント（PXI）を提供します。pip/conda でインストールでき、ローカルまたは Docker/Kubernetes で実行でき、主要な LLM フレームワークやプロバイダーと統合できます。

  • プロジェクト
    monocle2ai/monocle

    MonocleはApache-2.0ライセンスのPython SDKで、GenAIアプリおよびエージェントにOpenTelemetry互換のトレーシングを追加します。LangChain、LlamaIndex、Haystack、Google ADK、Claude CLIなど人気のフレームワークを自動インストルメントし、プロンプト、LLM呼び出し、ツール使用、ベクトルクエリの構造化されたスパンを発行し、任意のOTLPコレクタやローカルJSONファイルと統合できます。コンパニオンパッケージの`monocle-test-tools`を使えば、エージェント実行、ツール呼び出し、トークン／コスト制限、評価事実などに対してアサーションを行うpytestスタイルのテストが書けます。メタモデル、スコープヘルパーによるスパンタグ付け、組み込みのシークレットオブスカレーション、ゼロコードラッパーモード、VS Codeビジュアライザー統合、広範なエクスポート先（ファイル、stdout、S3、Azure Blob、Okahuクラウド、PostgreSQL、ClickHouse）を備えています。エージェントのデバッグ、コスト監視、CIテスト、AIエージェントのプラットフォームレベルの観測性に最適です。