openlit/openlit

解決的問題

OpenLIT 提供 AI 代理與應用程式的可觀測性與評估功能。它幫助開發者從僅知道代理產生了答案，進階到能判斷該答案是否高品質，同時提供對導致該輸出的複雜工作流程（LLM 呼叫、工具使用、檢索與記憶）的深入可見性。

如何運作

OpenLIT 使用 OpenTelemetry 來追蹤與監控 AI 應用程式。它提供 Python 與 TypeScript 的 SDK，可自動儀器化支援的 LLM 提供者、向量資料庫與 AI 框架。也可透過 OTLP 端點整合至現有的 OpenTelemetry 架構中。針對 Claude Code、Cursor 與 Codex 等 AI 編碼代理，它提供專用 CLI 進行儀器化。

適用對象

需要調試失敗的根本原因、跨模型與使用者追蹤成本，並自動化代理輸出評估的生產級 AI 代理與 LLM 驅動應用程式的開發者。

主要特色

• OpenTelemetry 原生：基於開放標準而非專有格式建構，可與 Grafana 或 Datadog 等其他 OTel 後端整合。
• AI 評估：內建 LLM-as-a-Judge 評估，用於檢測幻覺、偏見、毒性、安全性與相關性。
• 成本可觀測性：詳細追蹤模型、提供者與環境之間的 token 使用量與成本。
• 提示詞中心：一個集中式、版本化的系統，用於將提示詞與應用程式碼分離管理。
• 規則引擎：可定義執行時規則，根據追蹤屬性動態控制提示詞與評估。
• 廣泛整合支援：支援超過 70 個 AI 提供者與資料儲存的自動儀器化。