openlit/openlit

解决的问题

OpenLIT 为 AI 代理和应用程序提供可观测性和评估功能。它帮助开发者从仅知道代理生成了答案，转变为能够判断该答案是否高质量，同时提供对导致该输出的复杂工作流（LLM 调用、工具使用、检索和记忆）的深入可见性。

工作原理

OpenLIT 使用 OpenTelemetry 来追踪和监控 AI 应用程序。它提供 Python 和 TypeScript 的 SDK，可自动为支持的 LLM 提供商、向量数据库和 AI 框架进行仪器化。它还可以通过 OTLP 端点集成到现有的 OpenTelemetry 架构中。对于 Claude Code、Cursor 和 Codex 等 AI 编码代理，它提供专用 CLI 用于仪器化。

适用人群

需要调试故障根本原因、跨模型和用户追踪成本，并自动化评估代理输出的生产级 AI 代理和 LLM 驱动应用程序的开发者。

主要亮点

• OpenTelemetry 原生：基于开放标准而非专有格式构建，可与 Grafana 或 Datadog 等其他 OTel 后端集成。
• AI 评估：内置 LLM-as-a-Judge 评估，用于检测幻觉、偏见、毒性、安全性和相关性。
• 成本可观测性：详细追踪模型、提供商和环境之间的令牌使用量和成本。
• 提示词中心：一个集中式、版本化的系统，用于将提示词与应用代码分离管理。
• 规则引擎：可定义运行时规则，根据追踪属性动态控制提示词和评估。
• 广泛集成支持：支持超过 70 个 AI 提供商和数据存储的自动仪器化。