openlit/openlit

何を解決するか

OpenLITはAIエージェントおよびアプリケーションの観測性と評価を提供します。開発者が単にエージェントが回答を生成したことを知るのではなく、その回答が高品質であったかを把握できるようにし、その出力に至る複雑なワークフロー（LLM呼び出し、ツール使用、取得、メモリ）についても深い可視性を提供します。

動作方法

OpenLITはOpenTelemetryを使用してAIアプリケーションのトレースと監視を行います。PythonおよびTypeScript用のSDKを提供しており、サポートされているLLMプロバイダー、ベクトルデータベース、AIフレームワークを自動的にインストルメント化します。また、OTLPエンドポイントを介して既存のOpenTelemetryアーキテクチャに統合することも可能です。Claude Code、Cursor、CodexなどのAIコーディングエージェントには、専用のCLIを提供しています。

対象ユーザー

本番環境のAIエージェントやLLM駆動アプリケーションを開発しており、障害の根本原因をデバッグし、モデルやユーザーごとのコストを追跡し、エージェント出力の評価を自動化したい開発者向けです。

主な特徴

• OpenTelemetryネイティブ: 専有形式ではなく、オープンスタンダードに基づいて構築されており、GrafanaやDatadogなどの他のOTelバックエンドと統合可能です。
• AI評価: ハルシネーション、バイアス、毒性、安全性、関連性に対するLLM-as-a-Judge評価を内蔵しています。
• コスト観測性: モデル、プロバイダー、環境ごとのトークン使用量とコストを詳細に追跡します。
• プロンプトハブ: アプリケーションコードとは別にプロンプトを管理するための中央集約的でバージョン管理されたシステムです。
• ルールエンジン: トレース属性に基づいて、実行時ルールを定義し、プロンプトや評価を動的に制御できます。
• 広範な統合対応: 70以上のAIプロバイダーおよびデータストアの自動インストルメンテーションをサポートしています。