rajudandigam/agent-inspect

Local evidence debugger and trajectory-test toolkit for TypeScript AI agents: inspect causal runs, catch wrong tool paths in CI, and share safe offline evidence.

해결하는 문제

AgentInspect는 계획, 도구 호출, 모델 상호 작용과 같은 다단계 작업을 수행하는 복잡한 TypeScript AI 에이전트를 디버깅할 때 발생하는 어려움을 해결합니다. 실행 경로를 시각화하고, CI/CD 파이프라인에서 결정론적 검사를 강제하며, 외부 SaaS 플랫폼에 의존하지 않고도 에이전트 동작에 대한 검증 가능한 증거를 공유할 수 있는 로컬 중심의 개인정보 보호 방식을 제공합니다.

작동 방식

에이전트 실행 추적을 로컬 JSONL 파일로 캡처합니다. 이러한 추적은 단일 진실 공급원(Single Source of Truth) 역할을 하며 세 가지 주요 목적으로 사용됩니다. CLI 기반 실행 트리 뷰어를 통한 디버깅, 에이전트 로직에 대한 결정론적 궤적 검사를 실행하여 회귀 방지, 그리고 공유를 위한 편집 및 해시 검증 가능한 증거 번들 생성입니다. LangChain, LangGraph, Vercel AI SDK와 같은 인기 있는 프레임워크와 통합됩니다.

대상 사용자

로컬 관측성, 에이전트 궤적의 자동화된 테스트, 그리고 민감한 데이터를 타사 서비스에 업로드하지 않고도 실행 로그를 안전하게 공유할 방법이 필요한 TypeScript 기반 AI 에이전트 개발자.

주요 특징

  • 로컬 우선 아키텍처: 계정, 수집기 또는 기본 데이터 업로드가 필요하지 않습니다.
  • 결정론적 CI 검사: 특정 에이전트 궤적이나 도구 사용 기대치에 따라 빌드를 실패시킬 수 있습니다.
  • 개인정보 보호 중심: 내장된 편집 도구와 증거 번들의 오프라인 검증.
  • 프레임워크 독립적: 사용자 지정 구현을 지원하며 LangChain, LangGraph, AI SDK를 위한 공식 어댑터를 제공합니다.
  • 포괄적인 CLI: 에이전트 추적을 보고, 설명하고, 검사하고, 번들로 묶기 위한 도구.

관련

  • 프로젝트
    darkrishabh/agent-skills-eval

    agent‑skills‑eval은 TypeScript/Node.js CLI + SDK로, Agent Skill을 `SKILL.md` 컨텍스트 유무에 따라 실행하고, 별도의 LLM 판정자로 두 출력을 평가하며, JSON 아티팩트와 정적 HTML 보고서를 생성합니다. OpenAI 호환 API, 사용자 정의 제공자, 도구 호출 어서션, 완전한 agentskills.io 사양 검증을 지원하여 스킬 개발, CI 테스트, 비교 분석에 적합합니다.

  • 프로젝트
    statelyai/agent

    Stately Agent는 LLM 기반 에이전트를 XState 상태 머신으로 구축하는 TypeScript 라이브러리입니다. 머신이 제어 흐름을 소유하고 모델이 제안한 모든 이벤트를 검증하여 에이전트가 불법적인 작업을 수행하지 못하도록 보장합니다. 플러그인 실행기를 통해 모든 AI 제공자와 함께 작동하며, 오프라인 테스트, 지속적인 스냅샷, 자기 개선 JSON 정책을 지원합니다. Node 또는 서버리스 환경에서 안전하고, 검사 가능하며, 이식 가능한 AI 에이전트에 적합합니다.

  • 프로젝트
    iamfakeguru/agent-md

    agent-md는 규칙 파일, git-hooks, 헬퍼 스크립트를 설치하여 AI 코딩 어시스턴트(Claude Code, Codex, Cursor, Windsurf 등)를 계약 기반 에이전트로 전환하는 경량 프레임워크입니다. 단일 진실 공급원인 마크다운 파일(AGENT.md)과 강제 검사(타입 체크, 린트, 테스트, 시각적 스크린샷, 상태 업데이트)를 제공하여 필요한 증거가 확인될 때까지 모델의 작업을 차단합니다.

  • 프로젝트
    traceroot-ai/traceroot

    TraceRoot는 AI 에이전트 호출을 기록하고, 사용자 정의 탐지기로 잘못된 동작을 플래그 지정하며, 문제를 신호로 클러스터링하고, 자동화된 평가를 실행하여 코딩 에이전트가 수정 사항을 제안 및 검증할 수 있도록 함으로써 자기 개선 루프를 완성하는 오픈소스 플랫폼입니다. CLI, Python/TS SDK 및 주요 에이전트 프레임워크와 모델 제공업체와의 통합을 제공하며, 호스팅 클라우드 또는 자체 호스팅 Docker Compose를 통해 사용할 수 있습니다.

  • 프로젝트
    luoguoxiong/aipack

    aipack은 TypeScript 우선의 경량 AI 에이전트 프레임워크입니다. 자체 런타임, Tapable 기반 플러그인 시스템, 13개 이상의 LLM 제공업체를 위한 내장 어댑터를 포함합니다. 기능으로는 스트리밍 vs 배치 실행, 영구 세션 저장소, 권한 기반 도구 승인, 하이브리드 BM25 + 벡터 장기 기억, 5단계 컨텍스트 압축, 다중 에이전트 오케스트레이션(그래프, 파이프라인, 라우터, 토론, 맵리듀스), 양방향 MCP 통합, 완전한 관찰 가능성(메트릭, 대시보드), 오프라인 평가 스위트가 포함됩니다. 프로젝트는 CLI 어시스턴트, 앱에 임베딩하기 위한 라이브러리, 실제 사용 사례를 보여주는 예제 앱을 제공합니다.