openlit/openlit

解決する課題

OpenLIT は、AI エージェント向けの包括的なエンジニアリングプラットフォームを提供し、「ハーネス」（モデルを取り巻くツール、プロンプト、ガードレール）に焦点を当てています。エージェントの実行の各ステップをトレースし、その品質を評価し、アプリケーション全体を再デプロイすることなく問題を修正できるようにすることで、本番エージェントのデバッグと改善の難しさを解決します。

仕組み

OpenLIT は、OpenTelemetry ネイティブなアプローチを使用して AI アプリケーションを計装します。数行の SDK コードを追加するだけで、LLM 呼び出し、ツール使用、検索ステップのトレースとメトリクスを自動的にキャプチャします。このテレメトリは、OpenTelemetry プロトコル（OTLP）を通じて OpenLIT ダッシュボードに流れ、ユーザーはコスト、レイテンシ、パフォーマンスを監視できます。また、ランタイム動作を動的に制御するルールエンジンと、バージョン管理されたプロンプト管理のためのプロンプトハブも含まれています。

対象読者

Claude Code、Cursor、LangGraph などを使用する AI エージェントやコーディングエージェントを構築・展開する開発者およびエンジニアリングチーム向けに設計されており、本番グレードの可観測性、評価、ガードレールが必要です。

ハイライト

• OpenTelemetry ネイティブ: 標準の GenAI セマンティック規約を使用し、Grafana や Datadog などの既存の OTel バックエンドと統合できます。
• エージェントハーネスエンジニアリング: アプリケーションコードとは別にプロンプト、コンテキスト、ルールを管理するためのツール。
• 包括的な可観測性: LLM 呼び出し、ツール呼び出し、MCP リクエスト、GPU 使用率（NVIDIA、AMD、Intel）をトレースします。
• 自動評価: 幻覚、バイアス、毒性、安全性に関する組み込みの LLM-as-a-judge 評価。
• コーディングエージェントサポート: Cursor や Claude Code などの AI コーディングエージェント向けの特別な計装により、ファイル編集とシェルコマンドを追跡します。
• ランタイムガードレール: ランタイムでプロンプトインジェクションと機密トピックを検出してブロックします。