headroomlabs-ai/headroom

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

它解决了什么问题

Headroom 减少了发送给 LLM 和从 LLM 接收的 token 数量,降低了 AI 代理的成本和延迟。它特别针对工具输出、日志、RAG 块和对话历史中常见的“仪式性”和重复数据,这些数据往往会使代理提示词膨胀,却没有增加独特的价值。

它的运作方式

Headroom 作为代理与 LLM 提供商之间的本地压缩层。它使用 ContentRouter 来检测数据类型并应用适当的压缩方法:

  • SmartCrusher:使用字段方差统计处理 JSON 数据,保留关键值并移除重复模式。
  • CodeCompressor:对多种编程语言使用 AST 感知压缩。
  • Kompress-v2-base:一个专门用于压缩散文和文本的 HuggingFace 模型。
  • CacheAligner:确保易变内容不会破坏提供商的 KV-cache 前缀。
  • CCR(上下文压缩与检索):在本地缓存原始文本,让模型在需要时可通过工具检索完整版本。

它可以作为库(Python/TypeScript)、透明代理(零代码变更)或 MCP 服务器部署。

适用对象

每天运行编码代理(如 Claude Code、Cursor、Aider)并希望减少 token 使用的开发者和高级用户,以及构建 AI 代理应用程序、需要跨多个代理压缩大型上下文的开发者。

重点特色

  • 广泛的代理兼容性:支持包装多种工具,包括 Claude Code、Cursor、Aider 和 Copilot。
  • 跨代理记忆:在不同 LLM(例如 Gemini、Grok、Claude)之间提供共享内存存储,并自动去重。
  • 输出 token 减少:通过控制冗长度和调整例行任务的推理努力来精简模型响应。
  • 本地执行:压缩完全在用户的机器上运行;不会将提示词或文件内容发送到外部服务器进行压缩。
  • headroom learn:分析失败的会话,将修正写入本地代理配置文件。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • Dispatch