monocle2ai/monocle

What it solves

Monocleは、生成AIアプリケーションとエージェントのオブザーバビリティ（可観測性）とテストを提供します。モデルの呼び出し、ツールの呼び出し、ベクトル検索などの複雑で多段階のワークフローを、構造化されたステップバイステップのトレースに変換することで、AIエージェントの「ブラックボックス」的な性質を解決します。また、実際の実行トレースに対してアサーション（検証）を行うことを可能にすることで、単純な入出力テストを超えた開発を可能にします（例：特定のツールが呼び出されたか、トークンコストが予算内に収まっているかなど）。

How it works

Monocleは、OpenTelemetry (OTel) の上に構築されたGenAI特化型のオブザーバビリティ層です。標準化されたメタモデルを使用して、AI特有のエンティティ（プロンプト、レスポンス、ベクトル操作など）をOTel span属性にマッピングします。LangChain、LlamaIndex、Haystackなどの主要なフレームワーク向けのインストルメンテーション・アダプターを提供しており、手動での配線なしに自動的にspanを作成できます。トレースはOTLP互換のspanとして出力され、ローカルのJSONファイル、コンソール、またはOkahuのようなクラウドバックエンドにエクスポート可能です。

Who it’s for

• App developers who want deep visibility into their GenAI apps without writing bespoke tracing code. (独自のトレースコードを書くことなく、GenAIアプリの詳細な可視化を行いたいアプリケーション開発者)
• Platform and infrastructure engineers who prefer using wrappers or operators to inject observability into applications. (ラッパーやオペレーターを使用してアプリケーションにオブザーバビリティを注入することを選択するプラットフォームおよびインフラストラクチャエンジニア)
• Enterprises and SREs who require standardized, OTel-compliant traces and CI-friendly tests for reliability and compliance. (信頼性とコンプライアンスのために、標準化されたOTel準拠のトレースとCIフレンドリーなテストを必要とする企業およびSRE)

Highlights

• Native OpenTelemetry Support: 任意のOTelバックエンドと互換性のある標準的なOTLP spanを出力します。
• Auto-Instrumentation: 幅広いエージェントフレームワーク、LLMプロバイダー、およびベクトルストア向けの組み込みアダプターを備えています。
• Trace-Based Testing: monocle-test-tools パッケージを使用すると、エージェントの動作、ツールの使用、および推論コストに対してpytestスタイルのアサーションが可能です。
• Flexible Deployment: コード内での初期化と、プラットフォームレベルの統合のためのゼロコード・ラッパー/オペレーターモードの両方をサポートしています。
• AI Assistant Tracing: Claude CLI、GitHub Copilot、OpenAI Codex CLIなどのAIコーディングアシスタントをトレースするための専用フックが含まれています。