lmnr-ai/lmnr

Laminar - open-source observability platform purpose-built for AI agents. YC S24.

What it solves

Laminar는 AI 에이전트를 위한 중앙 집중식 관측 플랫폼을 제공하여 개발자가 LLM 기반 애플리케이션을 디버깅, 모니터링 및 평가할 수 있도록 돕습니다. 에이전트 워크플로는 여러 단계, 도구 호출 및 비결정적 출력이 포함되는 경우가 많아 이를 추적하는 복잡성을 해결합니다.

How it works

Laminar는 OpenTelemetry 네이티브 SDK를 사용하며, 프로젝트에 한 줄의 코드를 추가하기만 하면 OpenAI, Anthropic, Gemini 등 제공자의 LLM 호출과 LangChain, Vercel AI SDK와 같은 프레임워크 호출을 자동으로 트레이싱합니다. 트레이스, 스팬, 메트릭을 수집하고 대시보드에 시각화합니다. 시스템은 Rust로 작성되어 높은 성능을 제공하며, 20배 트레이스 압축 및 실시간 엔진을 통해 트레이스를 실시간으로 확인할 수 있습니다.

Who it’s for

LLM 애플리케이션 및 AI 에이전트를 구축하는 개발자를 위해 설계되었으며, 에이전트 내부 로직, 성능 지표 및 평가 데이터셋을 상세히 파악하고자 하는 경우에 적합합니다.

Highlights

  • Tracing: 주요 LLM 제공자와 에이전트 프레임워크를 위한 자동 계측.
  • Signals: 에이전트 행동을 자연어로 기술하고 추적할 수 있으며, 발생 시 Slack 알림을 받을 수 있습니다.
  • Evals: 로컬 또는 CI/CD 파이프라인에서 평가를 실행할 수 있는 확장 가능한 SDK와 CLI.
  • MCP/CLI Access: SQL 기반으로 트레이스와 메트릭을 쿼리하여 코딩 에이전트가 디버깅을 지원합니다.
  • Data Annotation: 평가를 위한 데이터셋 생성 및 빠른 데이터 주석 UI.
  • Custom Dashboards: 메트릭 및 이벤트를 위한 SQL 기반 대시보드 빌더.