chirpz-ai/pandaprobe
open source agent engineering platform: traces, evals, and metrics to debug and improve your AI agents. Integrates with LangGraph, CrewAI, Claude Agent SDK, and more.
해결하는 문제
PandaProbe는 AI 에이전트의 공동 트레이싱, 평가, 모니터링, 디버깅을 지원하는 에이전트 엔지니어링 플랫폼입니다. 에이전트의 성능과 실패 지점을 중앙에서 이해할 수 있는 통합적인 방법을 제공합니다.
작동 방식
이 플랫폼은 FastAPI 서버, 백그라운드 처리를 위한 Celery 워커, 지속성을 위한 PostgreSQL 데이터베이스로 구성된 백엔드 아키텍처로 데이터를 전송하는 클라이언트 SDK/HTTP 클라이언트로 구성됩니다. Redis를 메시지 브로커로 사용합니다. 평가에는 LiteLLM를 통해 "LLM-as-a-judge" 방식을 활용하여 에이전트 행동에 점수를 매기고 판단을 내립니다.
대상 사용자
AI 에이전트를 구축하고 최적화하는 AI 엔지니어 및 개발자 팀을 위한 것으로, 관측성과 평가에 필요한 전문 도구가 필요하신 분들에게 적합합니다.
주요 특징
- AI 에이전트의 공동 트레이싱, 모니터링, 디버깅 지원.
- Docker를 통한 클라우드 호스팅 및 자체 호스팅 모두 지원.
- LLM-as-a-judge를 활용한 통합 평가 서비스.
- 트레이스와 세션을 시각화할 수 있는 포괄적인 대시보드.
관련
- 프로젝트
langwatch/langwatchLangWatch는 LLM 옵저버빌리티, 테스트, 라우팅, 거버넌스를 위한 오픈 코어 플랫폼입니다. 팀이 모든 LLM 호출을 추적하고, 시뮬레이션 테스트를 실행하고, 프롬프트를 관리하고, 예산이 있는 가상 키를 적용하고, 코딩 어시스턴트, LangChain 스타일 에이전트, 주요 모델 제공업체 전반에 걸친 사용량 보고서를 얻을 수 있게 해줍니다.
- 프로젝트
- 프로젝트
traceroot-ai/tracerootTraceRoot는 AI 에이전트 호출을 기록하고, 사용자 정의 탐지기로 잘못된 동작을 플래그 지정하며, 문제를 신호로 클러스터링하고, 자동화된 평가를 실행하여 코딩 에이전트가 수정 사항을 제안 및 검증할 수 있도록 함으로써 자기 개선 루프를 완성하는 오픈소스 플랫폼입니다. CLI, Python/TS SDK 및 주요 에이전트 프레임워크와 모델 제공업체와의 통합을 제공하며, 호스팅 클라우드 또는 자체 호스팅 Docker Compose를 통해 사용할 수 있습니다.
- 프로젝트
Tracer-Cloud/opensreOpenSRE는 AI 기반 사이트 신뢰성 엔지니어링 에이전트를 위한 오픈소스 프레임워크입니다. 60개 이상의 관찰 가능성, 클라우드 및 인시던트 관리 도구에 연결하고 관련 컨텍스트를 가져오고 도구 호출 추론 루프를 실행하며 증거 기반 진단 또는 수정 작업을 반환합니다. 사용자는 대화형 셸, 헤드리스 CLI 또는 Python API를 통해 상호 작용할 수 있으며 관리형 클라우드 게이트웨이, 자체 호스팅 컨테이너 또는 EC2 AMI를 통해 시스템을 배포할 수 있습니다. 이 프로젝트는 공개 알파(v0.1)이며 Apache 2.0에 따라 라이선스가 부여됩니다.
- 프로젝트
Kritt-ai/open-krittopen·kritt는 Codex, Claude Code, Grok Build 등으로 AI 에이전트를 오케스트레이션하는 오픈소스이며 자체 호스팅 가능한 플랫폼으로, 코드 리포지토리에서 사용자 정의 프롬프트 기반 보안 워크플로우를 실행합니다. 집중된 작업을 구성하고, 병렬로 Docker 컨테이너에서 실행하며, 발견 결과를 검증하고 중복 제거 및 순위 매기고, 완전한 보고서 번들을 내보냅니다. 버그 바운티 연구자와 DevSecOps를 위한 웹 UI와 헤드리스 CLI를 제공하며, 모든 모델 제공자와 호환되며 AGPL-3.0 라이선스로 배포됩니다.