lmnr-ai/lmnr

What it solves

Laminar 提供一个集中式的 AI 代理可观测平台，帮助开发者调试、监控和评估其基于 LLM 的应用性能。它解决了追踪代理工作流的复杂性，这类工作流通常涉及多个步骤、工具调用以及非确定性输出。

How it works

Laminar 使用原生 OpenTelemetry SDK，只需在项目中加入一行代码，即可自动追踪来自 OpenAI、Anthropic、Gemini 等提供商的 LLM 调用，以及 LangChain、Vercel AI SDK 等框架的调用。它捕获 trace、span 和 metric，并在仪表盘中可视化。系统使用 Rust 编写，具备高性能，提供 20 倍的 trace 压缩和自定义实时引擎，实时查看 trace。

Who it’s for

该平台面向构建 AI 代理和 LLM 应用的开发者，帮助他们深入了解代理的内部逻辑、性能指标和评估数据集。

Highlights

• Tracing：为主要 LLM 提供商和代理框架提供自动化插装。
• Signals：能够用自然语言描述代理行为并进行追踪，发生时可收到 Slack 通知。
• Evals：可扩展的 SDK 与 CLI，支持在本地或 CI/CD 流水线中运行评估。
• MCP/CLI Access：使用 SQL 查询 trace 和 metric，让编码代理帮助调试问题。
• Data Annotation：提供快速数据标注和创建评估数据集的 UI。
• Custom Dashboards：基于 SQL 的仪表盘构建器，用于 metric 和事件。