openlit/openlit

해결하는 문제

OpenLIT은 AI 에이전트를 위한 포괄적인 엔지니어링 플랫폼을 제공하며, "하네스"(모델을 둘러싼 도구, 프롬프트, 가드레일)에 초점을 맞춥니다. 에이전트 실행의 모든 단계를 추적하고, 품질을 평가하며, 전체 애플리케이션을 재배포하지 않고도 문제를 수정할 수 있도록 하여 프로덕션 에이전트의 디버깅 및 개선의 어려움을 해결합니다.

작동 방식

OpenLIT は、OpenTelemetry ネイティブなアプローチを使用して AI アプリケーションを計装します。数行の SDK コードを追加するだけで、LLM 呼び出し、ツール使用、検索ステップのトレースとメトリクスを自動的にキャプチャします。このテレメトリは、OpenTelemetry プロトコル（OTLP）を通じて OpenLIT ダッシュボードに流れ、ユーザーはコスト、レイテンシ、パフォーマンスを監視できます。また、ランタイム動作を動的に制御するルールエンジンと、バージョン管理されたプロンプト管理のためのプロンプトハブも含まれています。

対象読者

Claude Code、Cursor、LangGraph などを使用する AI エージェントやコーディングエージェントを構築・展開する開発者およびエンジニアリングチーム向けに設計されており、本番グレードの可観測性、評価、ガードレールを必要とします。

ハイライト

• OpenTelemetry ネイティブ: 標準の GenAI セマンティック規約を使用し、Grafana や Datadog などの既存の OTel バックエンドと統合できます。
• エージェントハーネスエンジニアリング: アプリケーションコードから独立してプロンプト、コンテキスト、ルールを管理するためのツール。
• 包括的な可観測性: LLM 呼び出し、ツール呼び出し、MCP リクエスト、GPU 使用率（NVIDIA、AMD、Intel）をトレースします。
• 自動評価: 幻覚、バイアス、毒性、安全性に関する組み込みの LLM-as-a-judge 評価。
• コーディングエージェントサポート: Cursor や Claude Code などの AI コーディングエージェント向けの特別な計装により、ファイル編集やシェルコマンドを追跡します。
• ランタイムガードレール: ランタイムでプロンプトインジェクションや機密トピックを検出してブロックします。