lmnr-ai/lmnr
Laminar - open-source observability platform purpose-built for AI agents. YC S24.
解决的问题
Laminar 是专为 AI 代理设计的可观测性平台。它帮助开发者追踪、调试和评估代理的性能,通过深入洞察代理执行流程中的内部步骤,这些步骤通常对开发者而言是“黑盒”状态。
如何工作
Laminar 提供 TypeScript 和 Python 的 SDK,开发者只需一行初始化代码和装饰器/包装器(如 @observe())即可对代码进行探针。它原生支持 OpenTelemetry,并与主流 LLM 提供商(OpenAI、Anthropic、Gemini)和框架(LangChain、Vercel AI SDK、Browser Use)集成。
除了追踪功能外,还提供了一套用于监控和优化的工具:
- Signals:允许开发者用自然语言定义要追踪的行为(例如“代理陷入循环”),并接收 Slack 通知。
- Evals:一个可扩展的 SDK 和 CLI,支持在本地或 CI/CD 流水线中运行评估,并提供 UI 用于结果对比。
- Data Annotation:一个用于基于真实追踪数据创建评估数据集的 UI。
- Querying:支持通过 CLI 或 MCP 访问使用 SQL 查询来调查追踪、跨度和指标。
适用人群
需要监控 LLM 调用、调试复杂代理循环并评估输出质量的 AI 工程师和开发者。
主要亮点
- 高性能:使用 Rust 编写,支持 20 倍的追踪数据压缩,实现高效存储。
- 广泛集成:支持主流 LLM 提供商和代理框架的自动追踪。
- 实时可见性:提供自定义引擎,可实时查看追踪数据。
- 可自托管:可通过 Docker Compose 在本地或生产环境中部署。
相关
- 项目
- 项目
- 项目
- 项目
- 项目