traceroot-ai/traceroot

해결하는 문제

TraceRoot은 AI 에이전트를 위한 관측성과 자가 개선 루프를 제공합니다. 방대한 프로덕션 트레이스를 수동으로 조사하여 실패를 찾는 어려움, 환각과 도구 호출 간 오류의 원인을 파악하는 고통, 그리고 에이전트 성능을 시간이 지남에 따라 체계적으로 개선할 수 있는 방법의 부재를 해결합니다.

작동 방식

TraceRoot은 OpenTelemetry 호환 SDK를 사용하여 LLM 호출, 에이전트 동작, 도구 사용을 캡처합니다. "Detector"(LLM-as-judge 평가자)를 활용해 트레이스에서 환각, 논리적 실패, 안전성 위반을 자동으로 모니터링합니다. 실패가 감지되면, 시스템은 프로덕션 소스 코드와 GitHub 히스토리를 포함한 사전 환경에 연결하여 실패한 코드 줄을 식별하고 검증된 수정 PR을 열어주는 에이전트 기반 디버깅 프로세스를 트리거합니다.

대상 사용자

LangChain, CrewAI, AutoGen, Pydantic AI 등의 프레임워크를 사용하여 AI 에이전트를 개발하는 개발자들로, 프로덕션 성능을 모니터링하고 디버깅 및 개선 주기를 자동화하고자 하는 사람들을 대상으로 합니다.

주요 기능

• 에이전트 기반 디버깅: 실패한 코드 줄을 자동으로 식별하고 GitHub 커밋 및 PR과 연관지어 수정 PR을 열 수 있습니다.
• LLM-as-Judge Detector: 트레이스를 자동으로 스크리닝하여 환각, 도구 실패, 의도의 편차를 탐지합니다.
• 클로즈드 루프 개선: 프로덕션 실패를 오프라인 평가 및 수정 검증을 위한 골든 데이터셋으로 변환합니다.
• 광범위한 통합: LlamaIndex, DSPy, Vercel AI SDK 등의 다양한 에이전트 프레임워크와 OpenAI, Anthropic, Gemini 등의 모델 제공업체를 지원합니다.
• 오픈소스: 완전히 오픈소스이며, 어떤 모델 제공업체에도 적용 가능한 BYOK(Bring Your Own Key) 지원을 제공합니다.