open-compress/claw-compactor

14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aware code analysis, intelligent content routing. Zero LLM inference cost. MIT licensed.

What it solves

Claw Compactor는 대형 언어 모델(LLMs)의 높은 비용과 제한된 컨텍스트 윈도우 문제를, 중요한 구조 데이터를 손상시키지 않으면서 프롬프트에 필요한 토큰 수를 줄여 해결합니다. 일반 압축기와 달리 코드 식별자, JSON 키, 로그 패턴 등 퍼플렉시티 기반 압축 방식에서 흔히 삭제되는 정보를 보존합니다.

How it works

이 프로젝트는 14단계의 "Fusion Pipeline"을 사용하며, 텍스트가 일련의 특화된 압축기를 차례로 통과합니다. 각 단계는 게이트가 적용되어 콘텐츠 유형(예: 코드, JSON, 로그, diff)이 해당 단계의 목적과 일치할 때만 실행됩니다.

핵심 메커니즘은 다음과 같습니다:

  • Content-Aware Routing: 언어와 콘텐츠 유형을 자동 감지하여 올바른 압축 로직을 적용합니다.
  • AST-Aware Analysis: tree-sitter를 사용해 식별자를 축소하지 않고 코드를 압축합니다.
  • Reversible Compression: 원본 콘텐츠를 해시 주소화된 RewindStore에 저장하고, 필요 시 마커 ID를 통해 LLM이 전체 원본 텍스트를 가져올 수 있게 합니다.
  • Immutable Data Flow: 각 단계는 데이터를 제자리에서 변형하지 않고 새로운 결과를 생성해 안정성을 보장합니다.

Who it’s for

대량의 워크스페이스 컨텍스트, 로그, 구조화 데이터를 모델에 공급하면서 지연 시간과 API 비용을 최소화하려는 AI 에이전트 또는 LLM 애플리케이션 개발자를 위해 설계되었습니다.

Highlights

  • Zero Inference Cost: 압축 과정에 LLM 호출이 필요 없습니다.
  • High Fidelity: LLMLingua-2 등 도구에 비해 의미론적 내용(ROUGE-L 점수)이 더 높게 유지됩니다.
  • Versatile Stages: base64 이미지, simhash 중복 제거, JSON 샘플링, git diff 접기 등을 위한 특수 핸들러를 포함합니다.
  • Extensible: 개발자가 파이프라인에 맞춤형 압축 단계를 추가할 수 있습니다.