ranxianglei/billion-context
A context-compression plugin for month-long single sessions (billions of tokens) ,small context windows (a 100K context is enough) and token savings (5x fewer tokens) .上下文压缩插件,月级长会话会话, 兼顾小窗口(100k上下文足矣)省token(省5倍token) . billion-context is all you need
解决的问题
billion-context 是一个上下文压缩代理,可防止长期 AI 编码会话超出模型的上下文窗口。它能减少 Token 使用量(最高可减少 5 倍),并透过将已消耗的对话历史记录压缩为分层的高保真摘要,防止会话质量下降或中断。
运作原理
此工具作为 AI 代理(如 Claude Code、Aider 或 Cursor)与模型 API(Anthropic、OpenAI 等)之间的代理。它会解析请求与响应,并应用 acp-kernel 压缩逻辑。
它不会进行硬截断,而是将四种特定的上下文管理工具注入对话中,供模型自行调用:
compress:将一系列消息折叠为详细摘要。decompress:在需要确切细节时还原压缩范围。search_context:在摘要和可见消息中执行关键字搜索。acp_status:提供上下文使用量与可压缩范围的概览。
适用对象
在长期项目中使用 AI 编码代理的开发者,当对话历史迅速耗尽上下文窗口,导致成本增加与模型连贯性丧失时。
特色亮点
- 增量且可逆:摘要以小范围编写,并可按需解压缩。
- Prefix-Cache 友好:设计旨在保持缓存前缀完整,以维持性能。
- 广泛兼容性:透过原生插件、启动器或简单的 URL 重写,支持多种客户端。
- 模型驱动:由模型决定何时以及压缩什么内容,而非依赖固定的限制。
相关
- 项目
- 项目
- 项目
- 项目
- Dispatch