openlit/openlit

解决的问题

OpenLIT 提供一个全面的 AI 代理工程平台，专注于“框架”（围绕模型的工具、提示和防护措施）。它解决了调试和改进生产环境代理的困难，让团队能够追踪代理执行的每个步骤、评估其质量，并在无需重新部署整个应用的情况下修复问题。

工作原理

OpenLIT 使用 OpenTelemetry 原生方法对 AI 应用进行插桩。通过添加几行 SDK 代码，它会自动捕获 LLM 调用、工具使用和检索步骤的追踪和指标。这些遥测数据通过 OpenTelemetry 协议（OTLP）流向 OpenLIT 仪表板，用户可以在其中监控成本、延迟和性能。它还包括一个规则引擎来动态控制运行时行为，以及一个用于版本化提示管理的提示中心。

适用对象

专为构建和部署 AI 代理和编码代理（例如使用 Claude Code、Cursor 或 LangGraph 的代理）的开发人员和工程团队设计，这些团队需要生产级可观测性、评估和防护措施。

亮点

• OpenTelemetry 原生：使用标准 GenAI 语义约定，可与现有 OTel 后端（如 Grafana 或 Datadog）集成。
• 代理框架工程：工具可独立于应用代码管理提示、上下文和规则。
• 全面可观测性：追踪 LLM 调用、工具调用、MCP 请求和 GPU 利用率（NVIDIA、AMD、Intel）。
• 自动化评估：内置 LLM-as-a-judge 评估，用于幻觉、偏见、毒性和安全性。
• 编码代理支持：针对 Cursor 和 Claude Code 等 AI 编码代理的专门插桩，以追踪文件编辑和 shell 命令。
• 运行时防护：在运行时检测并阻止提示注入和敏感主题。