lmnr-ai/lmnr

What it solves

Laminar 提供一個集中式的 AI 代理觀測平台，協助開發者除錯、監控與評估其 LLM 驅動應用程式的效能。它解決了追蹤代理工作流程的複雜性，這類工作流程通常包含多個步驟、工具呼叫以及非確定性的輸出。

How it works

Laminar 使用原生 OpenTelemetry SDK，只需在專案中加入一行程式碼，即可自動追蹤來自 OpenAI、Anthropic、Gemini 等提供者的 LLM 呼叫，以及 LangChain、Vercel AI SDK 等框架的呼叫。它會捕獲 trace、span 與 metric，並在儀表板上可視化。系統以 Rust 撰寫，具備高效能，提供 20 倍的 trace 壓縮與自訂即時引擎，讓使用者即時檢視 trace。

Who it’s for

此平台設計給開發 AI 代理與 LLM 應用程式的開發者，讓他們能深入了解代理的內部邏輯、效能指標與評估資料集。

Highlights

• Tracing：為主要 LLM 提供者與代理框架提供自動化插裝。
• Signals：能以自然語言描述代理行為並追蹤，發生時可收到 Slack 通知。
• Evals：可擴充的 SDK 與 CLI，支援在本機或 CI/CD 流程中執行評估。
• MCP/CLI Access：使用 SQL 查詢 trace 與 metric，讓編碼代理協助除錯。
• Data Annotation：提供快速資料標註與建立評估資料集的 UI。
• Custom Dashboards：以 SQL 為基礎的儀表板建構器，用於 metric 與事件。