rednote-machine-learning/RedKnot

解决的问题

RedKnot 解决了在长上下文环境中部署大型语言模型 (LLMs) 所带来的高计算和内存成本问题。它专注于在不显著牺牲模型质量的前提下，减少首字延迟 (TTFT) 和算术计算开销。

运作原理

RedKnot 是一个模型感知执行框架，结合了三种主要机制：

1. 头分解与聚合 (Head Decomposition and Aggregation)：根据注意力头在长上下文中的行为进行分类。局部头 (Local heads) 在离线状态下准备以供重用，而全局头 (Global)、检索头 (Retrieval) 或恢复头 (Recovery) 则保持在线，并将其贡献合并回模型中。
2. 稀疏 FFN 与 MoE 执行 (Sparse FFN and MoE Execution)：利用 token 级别的重要性来决定哪些行进入前馈网络 (FFN) 计算，并针对混合专家模型 (MoE) 采用自适应专家 Top-K 选择，仅在必要时分配更多专家。
3. SegPagedAttention：按头和区段组织 KV 页面与可见性，允许不同类型的头（全局、局部、检索）消耗不同的上下文范围，而无需统一的缓存布局。

适用对象

专为部署长上下文 LLMs（如 DeepSeek V4、Mistral、Qwen 和 Llama）的开发者与研究人员设计，旨在优化高端 GPU 硬件（如 NVIDIA H200/B300）上的推理速度与计算效率。

特色亮点

• 显著的性能提升：目标是将热状态下的 TTFT 加速 2–5 倍，并节省 70–90% 的算术计算量。
• 极小的质量损失：目标是将质量回归控制在 1 个百分点以内。
• 广泛的模型支持：包含 DeepSeek V4 Flash、Mistral、Qwen3、Qwen3.5 MoE 和 Llama 3.3 的适配器与基准测试。
• SGLang 集成：建立在 SGLang 之上，目前正将核心代码迁移至 vLLM。