open-compress/claw-compactor

14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aware code analysis, intelligent content routing. Zero LLM inference cost. MIT licensed.

What it solves

Claw Compactor 通过在不破坏关键结构数据的前提下，减少提示所需的 token 数量，解决了大型语言模型（LLMs）高成本和上下文窗口受限的问题。不同于通用压缩器，它能够防止代码标识符、JSON 键以及日志模式在基于困惑度的压缩方法中被删除。

How it works

项目使用 14 阶段的 "Fusion Pipeline"，文本会依次通过一系列专门的压缩器。每个阶段都有门控，仅在内容类型（如代码、JSON、日志、diff）匹配该阶段目的时才运行。

关键机制包括：

  • Content-Aware Routing：自动检测语言和内容类型，应用正确的压缩逻辑。
  • AST-Aware Analysis：使用 tree-sitter 在压缩代码时不缩短标识符。
  • Reversible Compression：将原始内容存入基于哈希地址的 RewindStore，需要时可通过标记 ID 让 LLM 检索完整原文。
  • Immutable Data Flow：每个阶段生成新结果，而不是就地修改数据，确保稳定性。

Who it’s for

它面向需要向模型提供大量工作区上下文、日志或结构化数据，同时希望降低延迟和 API 成本的 AI 代理或 LLM 应用开发者。

Highlights

  • Zero Inference Cost：压缩过程不需要调用 LLM。
  • High Fidelity：相较于 LLMLingua-2 等工具，保持更高的语义内容（ROUGE-L 分数）。
  • Versatile Stages：包含针对 base64 图片、simhash 去重、JSON 抽样和 git diff 折叠的专用处理器。
  • Extensible：允许开发者向管线添加自定义压缩阶段。