lmnr-ai/lmnr

해결하는 문제

Laminar는 AI 에이전트를 위해 특별히 설계된 관측성 플랫폼입니다. 개발자들이 에이전트의 실행 흐름 내부 단계를 깊이 있게 시각화할 수 있도록 하여, 종종 개발자에게 '블랙박스'로 남는 에이전트의 성능을 추적, 디버깅, 평가할 수 있도록 도와줍니다.

작동 방식

Laminar는 TypeScript와 Python용 SDK를 제공하여, 단일 초기화 라인과 데코레이터/랩퍼(예: @observe())를 사용해 코드를 인스트루먼트할 수 있습니다. OpenTelemetry 기반으로, 인기 있는 LLM 제공업체(OpenAI, Anthropic, Gemini) 및 프레임워크(LangChain, Vercel AI SDK, Browser Use)와 통합됩니다.

트레이싱 외에도 모니터링 및 개선을 위한 도구 세트를 제공합니다:

• Signals: 개발자가 평문으로 추적하고자 하는 행동을 정의할 수 있습니다(예: "에이전트가 루프에 갇혀 있음") 및 Slack 알림을 받을 수 있습니다.
• Evals: 로컬 또는 CI/CD 파이프라인에서 평가를 실행할 수 있는 확장 가능한 SDK와 CLI를 제공하며, 결과를 비교할 수 있는 UI를 제공합니다.
• Data Annotation: 실제 트레이스를 기반으로 평가용 데이터셋을 생성할 수 있는 UI입니다.
• Querying: CLI 또는 MCP 접근을 통해 SQL 쿼리를 사용해 트레이스, 스팬, 메트릭을 조사할 수 있습니다.

대상 사용자

LLM 호출을 모니터링하고, 복잡한 에이전트 루프를 디버깅하며, 출력 품질을 평가해야 하는 AI 엔지니어 및 개발자입니다.

주요 특징

• 고성능: Rust로 작성되어 20배의 트레이스 압축을 통해 효율적인 저장을 제공합니다.
• 광범위한 통합: 주요 LLM 제공업체 및 에이전트 프레임워크에 대한 자동 트레이싱을 지원합니다.
• 실시간 가시성: 트레이스를 실시간으로 시각화할 수 있는 커스텀 엔진을 제공합니다.
• 자체 호스팅 가능: Docker Compose를 통해 로컬 또는 프로덕션 환경에 배포할 수 있습니다.