openlit：面向 AI 工程的 OpenTelemetry 原生可观测性与评估平台

它解决了什么问题

OpenLIT 是一个开源平台，旨在简化生成式 AI 与大语言模型（LLM）的工程工作流。它以供应商中立的方式解决了性能监控、提示管理、API 密钥安全以及模型输出评估等难题。

工作原理

OpenLIT 使用 OpenTelemetry 原生 SDK（提供 Python、TypeScript 和 Go 版本）来收集来自 LLM、向量数据库和 GPU 的追踪（trace）和指标（metric）。这些数据会发送到 OpenTelemetry Collector，并存储在 ClickHouse 中，随后可通过 OpenLIT UI 进行可视化。平台还提供 CLI，能够通过安装供应商钩子来监控本地编码代理（如 Cursor 和 Claude Code），并发出相应的追踪信息。

适用人群

需要全栈可观测性、自动化评估以及提示和密钥统一管理的 AI 工程师和开发者，尤其是构建基于 LLM 的应用程序的人员。

亮点

• OpenTelemetry 原生：遵循语义约定，实现供应商中立的可观测性。
• 自动化评估：内置 11 种评估类型（如幻觉、偏见、毒性），使用 LLM‑as‑a‑Judge 进行评估。
• 提示管理：通过 Prompt Hub 实现提示的集中化版本控制与组织。
• 规则引擎：条件逻辑，可动态获取上下文、提示和评估配置。
• 广泛集成：自动为超过 50 家 LLM 提供商、AI 框架（如 LangChain、LlamaIndex）和向量数据库进行仪表化。
• 编码代理可观测性：专用 CLI 用于监控本地 AI 编码工具的会话和工具调用。

摘要： 一个开源的 AI 工程平台，为 LLM 应用提供 OpenTelemetry 原生的可观测性、自动化评估和提示管理。

标题： openlit：面向 AI 工程的 OpenTelemetry 原生可观测性与评估平台