openlit：一個原生 OpenTelemetry 的 AI 工程觀測與評估平台

它解決了什麼問題

OpenLIT 是一個開源平台，旨在簡化生成式 AI 與大型語言模型（LLM）的工程工作流程。它以供應商中立的方式解決了效能監控、提示管理、API 金鑰安全以及模型輸出評估等挑戰。

它如何運作

OpenLIT 使用原生 OpenTelemetry SDK（提供 Python、TypeScript 與 Go 版）來收集來自 LLM、向量資料庫與 GPU 的追蹤與指標。這些資料會傳送至 OpenTelemetry Collector，並儲存在 ClickHouse 中，使用者可透過 OpenLIT UI 進行可視化。它同時提供 CLI，透過安裝供應商掛鉤（vendor hooks）來發送追蹤，進而監控本機的程式碼代理工具，如 Cursor 與 Claude Code。

目標對象

需要全端觀測、自動化評估，以及提示與機密資訊集中管理的 AI 工程師與開發者，特別是構建以 LLM 為核心的應用程式者。

重點特色

• 原生 OpenTelemetry：遵循語意慣例，提供供應商中立的觀測能力。
• 自動化評估：內建 11 種評估類型（例如幻覺、偏見、毒性），使用 LLM 作為評審（LLM-as-a-Judge）。
• 提示管理：透過 Prompt Hub 集中管理提示的版本與組織。
• 規則引擎：條件邏輯，可動態取得上下文、提示與評估設定。
• 廣泛整合：自動為超過 50 家 LLM 供應商、AI 框架（如 LangChain 與 LlamaIndex）與向量資料庫插裝。
• 程式碼代理觀測：專屬 CLI 監控本機 AI 程式碼工具的會話與工具呼叫。

---

摘要： 一個開源的 AI 工程平台，提供原生 OpenTelemetry 觀測、自動化評估與提示管理，專為 LLM 應用而設。

標題： openlit：一個原生 OpenTelemetry 的 AI 工程觀測與評估平台