papercomputeco/tapes
Transparent telemetry collector for hi-fidelity agent traces
해결하는 문제
Tapes는 AI 에이전트와 LLM 간의 상호작용을 캡처하고 저장하며 분석할 수 있는 방법을 제공합니다. 구조화된 세션, 트레이스, 스팬의 기록을 통해 에이전트가 결론에 도달한 과정을 명확히 보여주는 투명한 텔레메트리로, '블랙박스' 에이전트 워크플로우 문제를 해결합니다.
작동 방식
시스템은 원시 LLM 상호작용의 추가 전용 로그를 사용합니다. 이후 '디바이저' 프로세스가 이러한 원시 로그를 세션, 트레이스, 스팬으로 구성된 구조화된 읽기 모델로 변환합니다. 이 과정은 동일성과 결정론적이며, 동일한 입력은 항상 동일한 구조화된 출력을 생성합니다.
내부적으로 원본 추적 및 중복 제거를 위해 콘텐츠 주소 지정(Merkle 노드)을 사용합니다. 사용자는 프록시를 통해 데이터를 캡처하고, 전용 API를 통해 결과를 쿼리할 수 있으며, 스팬 단위의 의미적 검색 및 JSONL을 통한 내보내기 기능을 지원합니다.
대상 사용자
에이전트 세션의 내구성 있는 저장과 OpenTelemetry 호환 모델을 사용한 에이전트 워크플로우의 인스트루멘테이션 및 디버깅이 필요한 개발자들입니다.
주요 특징
- 불변 캡처: 모든 상호작용이 추가 전용 원시 로그에 영구 저장됩니다.
- 결정론적 프로젝션: 원시 로그가 재현 가능한 세션/트레이스/스팬 모델로 변환됩니다.
- OpenTelemetry 인스트루멘테이션: 즉시 사용 가능한 에이전트 텔레메트리용 인스트루멘테이션.
- 의미적 검색: 스팬 단위에서 의미적 검색이 가능합니다.
- 로컬 우선 설정: Docker를 통해 간편한 배포 가능. 내장된 PostgreSQL 및 Ollama 지원 포함.
관련
- 프로젝트
monocle2ai/monocleMonocle은 GenAI 앱과 에이전트에 OpenTelemetry 호환 추적 기능을 추가하는 Apache-2.0 Python SDK입니다. 널리 사용되는 프레임워크(LangChain, LlamaIndex, Haystack, Google ADK, Claude CLI 등)를 자동 계측하고, 프롬프트, LLM 호출, 도구 사용 및 벡터 쿼리에 대한 구조화된 스팬을 생성하며, 모든 OTLP 수집기나 로컬 JSON 파일과 통합됩니다. 동반 패키지인 `monocle-test-tools`를 사용하면 추적 데이터(에이전트 실행, 도구 호출, 토큰/비용 제한, 평가 사실)를 기반으로 pytest 스타일의 테스트를 작성할 수 있습니다. 주요 기능으로는 표준 스팬 속성을 위한 메타모델, 스팬 태그 지정을 위한 스코프 도우미, 내장 비밀 난독화, 제로 코드 래퍼 모드, VS Code 시각화 도구 통합 및 광범위한 내보내기 지원(파일, stdout, S3, Azure Blob, Okahu cloud, PostgreSQL, ClickHouse)이 포함됩니다. AI 에이전트의 디버깅, 비용 모니터링, CI 테스트 및 플랫폼 수준의 관측 가능성을 확보하는 데 이상적입니다.
- 프로젝트
superloglabs/superlogOpenTelemetry 데이터를 수집하여 노이즈가 많은 신호를 인시던트로 그룹화함으로써 프로덕션 디버깅을 용이하게 하는 오픈소스 에이전트형 텔레메트리 시스템입니다.
- 프로젝트
truera/trulensLLM 판정기를 사용하여 에이전트 실패를 추적하고 AI 애플리케이션의 비용-품질 트레이드오프를 최적화하는 OpenTelemetry 네이티브 평가 및 관찰 가능성 프레임워크입니다.
- 프로젝트
lmnr-ai/lmnrLaminar는 AI 에이전트를 위한 오픈소스 관측성 플랫폼으로, 자동화된 추적, 평가 도구 및 실시간 모니터링을 제공하여 개발자가 에이전트 성능을 디버깅하고 최적화하도록 돕습니다.
- 프로젝트