claw-compactor: 可逆的な検索とAST認識のコード解析を備えたLLMトークン圧縮のための14段階融合パイプライン

何を解決するか

Claw Compactorは、重要な構造データを破壊することなく、プロンプトに必要なトークン数を削減することで、大規模言語モデル（LLM）の高コストと限られたコンテキストウィンドウの問題に対処します。汎用的な圧縮ツールとは異なり、perplexityベースの圧縮手法によって削除されがちなコードの識別子、JSONキー、およびログパターンを保護します。

仕組み

このプロジェクトは、テキストがための一連の特化型圧縮器を通過する14段階の「Fusion Pipeline」を使用しています。各ステージはゲート制御されており、コンテンツタイプ（例：コード、JSON、ログ、diffs）がそのステージの目的に一致する場合にのみ実行されます。

主なメカニズムには以下が含まれます：

• Content-Aware Routing: 言語とコンテンツタイプを自動検出し、正しい圧縮ロジックを適用します。
• AST-Aware Analysis: tree-sitterを使用して、識別子を短縮することなくコードを圧縮します。
• Reversible Compression: 元のコンテンツをハッシュアドレス指定された RewindStore に保存し、LLMが必要に応じてマーカーIDを介して完全な元のテキストを検索できるようにします。
• Immutable Data Flow: 各ステージはデータをその場で変更するのではなく、新しい結果を生成するため、安定性が確保されます。

対象ユーザー

AIエージェントやLLMアプリケーションを構築しており、レイテンシとAPIコストを最小限に抑えつつ、大量のワークスペースコンテキスト、ログ、または構造化データをモデルに供給する必要がある開発者向けに設計されています。

ハイライト

• Zero Inference Cost: LLMの呼び出しを必要とせずに圧縮を実行します。
• High Fidelity: LLMLingua-2のようなツールと比較して、より高い意味的内容（ROUGE-Lスコア）を維持します。
• Versatile Stages: base64画像、simhash重複排除、JSONサンプリング、およびgit diff foldingの特化型ハンドラーが含まれています。
• Extensible: 開発者がパイプラインにカスタム圧縮ステージを追加することを可能にします。