lmnr-ai/lmnr

Laminar - open-source observability platform purpose-built for AI agents. YC S24.

解决的问题

Laminar 是专为 AI 代理设计的可观测性平台。它帮助开发者追踪、调试和评估代理的性能,通过深入洞察代理执行流程中的内部步骤,这些步骤通常对开发者而言是“黑盒”状态。

如何工作

Laminar 提供 TypeScript 和 Python 的 SDK,开发者只需一行初始化代码和装饰器/包装器(如 @observe())即可对代码进行探针。它原生支持 OpenTelemetry,并与主流 LLM 提供商(OpenAI、Anthropic、Gemini)和框架(LangChain、Vercel AI SDK、Browser Use)集成。

除了追踪功能外,还提供了一套用于监控和优化的工具:

  • Signals:允许开发者用自然语言定义要追踪的行为(例如“代理陷入循环”),并接收 Slack 通知。
  • Evals:一个可扩展的 SDK 和 CLI,支持在本地或 CI/CD 流水线中运行评估,并提供 UI 用于结果对比。
  • Data Annotation:一个用于基于真实追踪数据创建评估数据集的 UI。
  • Querying:支持通过 CLI 或 MCP 访问使用 SQL 查询来调查追踪、跨度和指标。

适用人群

需要监控 LLM 调用、调试复杂代理循环并评估输出质量的 AI 工程师和开发者。

主要亮点

  • 高性能:使用 Rust 编写,支持 20 倍的追踪数据压缩,实现高效存储。
  • 广泛集成:支持主流 LLM 提供商和代理框架的自动追踪。
  • 实时可见性:提供自定义引擎,可实时查看追踪数据。
  • 可自托管:可通过 Docker Compose 在本地或生产环境中部署。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目