lmnr-ai/lmnr

解決的問題

Laminar 是專為 AI 代理設計的可觀測性平台。它幫助開發者追蹤、除錯與評估代理的效能，透過深入洞察代理執行流程中的內部步驟，這些步驟通常對開發者而言是「黑箱」狀態。

如何運作

Laminar 提供 TypeScript 和 Python 的 SDK，開發者只需一行初始化程式碼和裝飾器/包裝器（如 @observe()）即可對程式碼進行探針。它原生支援 OpenTelemetry，並與主流 LLM 提供商（OpenAI、Anthropic、Gemini）和框架（LangChain、Vercel AI SDK、Browser Use）整合。

除了追蹤功能外，還提供一套用於監控和優化的工具：

• Signals：允許開發者用自然語言定義要追蹤的行為（例如「代理陷入循環」），並接收 Slack 通知。
• Evals：一個可擴展的 SDK 和 CLI，支援在本地或 CI/CD 流水線中執行評估，並提供 UI 用於結果對比。
• Data Annotation：一個用於基於真實追蹤資料建立評估資料集的 UI。
• Querying：支援透過 CLI 或 MCP 存取使用 SQL 查詢來調查追蹤、跨度和指標。

適用對象

需要監控 LLM 呼叫、除錯複雜代理循環並評估輸出品質的 AI 工程師與開發者。

主要亮點

• 高效率：使用 Rust 編寫，支援 20 倍的追蹤資料壓縮，實現高效儲存。
• 廣泛整合：支援主流 LLM 提供商和代理框架的自動追蹤。
• 即時可見性：提供自訂引擎，可即時檢視追蹤資料。
• 可自托管：可透過 Docker Compose 在本地或生產環境中部署。