claw-compactor: 가역적 검색 및 AST 인식 코드 분석을 포함한 LLM 토큰 압축을 위한 14단계 퓨전 파이프라인

해결하는 문제

Claw Compactor는 중요한 구조적 데이터를 파괴하지 않으면서 프롬프트에 필요한 토큰 수를 줄임으로써 대규모 언어 모델(LLM)의 높은 비용과 제한된 컨텍스트 창 문제를 해결합니다. 범용 압축기와 달리, perplexity 기반 압축 방식에서 자주 삭제되는 코드 식별자, JSON 키, 로그 패턴의 손실을 방지합니다.

작동 방식

이 프로젝트는 텍스트가 일련의 전문화된 압축기를 통과하는 14단계 "Fusion Pipeline"을 사용합니다. 각 단계는 게이트 방식이며, 콘텐츠 유형(예: code, JSON, logs, diffs)이 해당 단계의 목적과 일치할 때만 실행됩니다.

주요 메커니즘은 다음과 같습니다:

• Content-Aware Routing: 언어를 자동 감지하여 올바른 압축 로직을 적용합니다.
• AST-Aware Analysis: tree-sitter를 사용하여 식별자를 단축하지 않고 코드를 압축합니다.
• Reversible Compression: 원본 콘텐츠를 해시 주소 지정 방식의 RewindStore에 저장하여, 필요한 경우 LLM이 마커 ID를 통해 전체 원본 텍스트를 검색할 수 있도록 합니다.
• Immutable Data Flow: 각 단계는 데이터를 제자리에서 변경하는 대신 새로운 결과를 생성하여 안정성을 보장합니다.

대상 사용자

이 도구는 대량의 워크스페이스 컨텍스트, 로그 또는 구조화된 데이터를 모델에 입력하면서 지연 시간과 API 비용을 최소화해야 하는 AI 에이전트 또는 LLM 애플리케이션 개발자를 위해 설계되었습니다.

주요 특징

• Zero Inference Cost: LLM 호출 없이 압축을 수행합니다.
• High Fidelity: LLMLingua-2와 같은 도구와 비교했을 때 더 높은 의미론적 콘텐츠(ROUGE-L 점수)를 유지합니다.
• Versatile Stages: base64 이미지, simhash 중복 제거, JSON 샘플링, git diff 폴딩을 위한 전문화된 핸들러를 포함합니다.
• Extensible: 개발자가 파이프라인에 사용자 정의 압축 단계를 추가할 수 있도록 허용합니다.