openlit: AI エンジニアリング向けの OpenTelemetry ネイティブ観測・評価プラットフォーム

解決する課題

OpenLIT は、生成 AI と LLM のための AI エンジニアリングワークフローをシンプルにすることを目的としたオープンソースプラットフォームです。ベンダーに依存しない形で、パフォーマンスのモニタリング、プロンプト管理、API キーの保護、モデル出力の評価という課題に対応します。

仕組み

OpenLIT は OpenTelemetry ネイティブ SDK（Python、TypeScript、Go で利用可能）を用いて、LLM、ベクトルデータベース、GPU からトレースとメトリクスを収集します。このデータは OpenTelemetry Collector に送られ、ClickHouse に保存され、OpenLIT UI で可視化できます。また、ベンダーフックをインストールしてトレースを発行することで、Cursor や Claude Code といったローカルコーディングエージェントを監視する CLI も提供します。

対象ユーザー

フルスタックの観測、 自動評価、 プロンプトやシークレットの一元管理が必要な、LLM を活用したアプリケーションを構築する AI エンジニアや開発者向けです。

ハイライト

• OpenTelemetry ネイティブ: ベンダーに依存しない観測のためのセマンティック規約に準拠。
• 自動評価: LLM‑as‑a‑Judge を用いた 11 種類の組み込み評価（例: 幻覚、バイアス、毒性）を提供。
• プロンプト管理: Prompt Hub を通じたプロンプトの集中バージョン管理と整理。
• ルールエンジン: 条件ロジックにより、コンテキスト、プロンプト、評価設定を動的に取得。
• 幅広い統合: 50 以上の LLM プロバイダー、LangChain や LlamaIndex などの AI フレームワーク、ベクトルデータベースを自動計装。
• コーディングエージェントの観測: ローカル AI コーディングツール向けに、セッションとツール呼び出しを監視する専用 CLI を提供。