open-compress/claw-compactor

14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aware code analysis, intelligent content routing. Zero LLM inference cost. MIT licensed.

What it solves

Claw Compactor 針對大型語言模型（LLMs）高昂的成本與有限的上下文窗口，透過在不破壞關鍵結構資料的前提下，減少提示所需的 token 數量。與一般的壓縮工具不同，它能防止程式碼識別子、JSON 鍵值與日誌模式在基於困惑度的壓縮方法中被刪除。

How it works

此專案使用 14 階段的「Fusion Pipeline」，文字會依序通過一系列專門的壓縮器。每個階段皆受門控，僅在內容類型（例如程式碼、JSON、日誌、diff）符合該階段目的時才執行。

關鍵機制包括：

  • Content-Aware Routing：自動偵測語言與內容類型，套用正確的壓縮邏輯。
  • AST-Aware Analysis：使用 tree-sitter 壓縮程式碼，同時保留識別子。
  • Reversible Compression：將原始內容存於以雜湊為位址的 RewindStore，若需要時可透過標記 ID 讓 LLM 取回完整原文。
  • Immutable Data Flow：每個階段產生新結果，而非就地修改資料，確保穩定性。

Who it’s for

此工具適合開發 AI 代理人或 LLM 應用的開發者，這類應用需要將大量工作區上下文、日誌或結構化資料餵入模型，同時降低延遲與 API 成本。

Highlights

  • Zero Inference Cost：壓縮過程不需要呼叫 LLM。
  • High Fidelity：相較於 LLMLingua-2 等工具，保持更高的語意內容（ROUGE-L 分數）。
  • Versatile Stages：內建針對 base64 圖片、simhash 去重、JSON 抽樣與 git diff 摺疊的專屬處理器。
  • Extensible：允許開發者自行新增自訂壓縮階段至管線。