Jwuthri/Tracely-ai

해결하는 문제

Tracely는 AI 에이전트를 위한 트레이스 기반 CI/CD 시스템으로, 실제 운영 환경에서 발생한 실패를 레그레션 테스트로 전환합니다. 수동으로 데이터셋을 작성할 필요 없이, 운영 환경에서 발생한 실제 실패 트레이스를 격리된 재실행 가능한 테스트 케이스로 승격시켜, 레그레션 재발 시 풀 리퀘스트를 차단할 수 있습니다.

작동 방식

Tracely는 OTLP/HTTP를 통해 에이전트 트레이스를 캡처하고, 대화와 턴 단위로 정리합니다. 온라인 평가자(예: LLM-as-judge 또는 구조적 검사)를 사용해 실행을 평가하고, 유사한 실패를 문제로 클러스터링합니다. 실패가 식별되면 "실패에서 성공으로의 계약(fail-to-pass contract)"을 통해 레그레션 케이스로 승격할 수 있습니다. 이러한 케이스는 기록된 피규어(도구 및 LLM 출력)를 사용해 CI/CD 파이프라인에서 재실행되며, API 비용을 피하고 비결정성을 제거합니다. 또는 실시간 호출을 통해 에이전트의 동작이 올바르게 수정되었는지 확인합니다.

대상 사용자

실제 운영 환경 데이터를 기반으로 한 엄격한 자동 테스트 및 게이팅 프로세스를 원하는, 복잡한 AI 에이전트 시스템을 개발 및 유지보수하는 개발자들입니다.

주요 기능

• 트레이스에서 테스트로의 승격: 한 번의 클릭으로 실패한 운영 트레이스를 레그레션 테스트로 변환.
• 격리된 재실행: 기록된 도구 및 LLM 출력을 피규어로 사용해 CI에서 결정론적으로 테스트를 재실행하여 API 비용과 비결정성을 방지.
• CI 게이팅: GitHub Actions와 통합되어 기존 실패를 재발시킨 PR을 차단.
• 실패 클러스터링: 유사한 실패 실행을 의미적·구조적 문제로 자동 그룹화하여 트라이에지 노이즈를 줄입니다.
• 시각적 디버깅: 워터폴 트레이스 뷰와 "Fleet" 뷰(대화를 픽셀 아트 사무실로 렌더링)를 제공하여 다중 에이전트 시스템 설명을 용이하게 합니다.
• 자동 알림: LLM 단계와 웹훅을 포함한 복잡한 알림 규칙을 생성하기 위한 시각적 플로우 빌더.