lucienhuangfu/eLLM

解决的问题

eLLM 旨在克服 CPU 在运行大型语言模型（LLM）时面临的内存带宽瓶颈。尽管 CPU 的内存容量（DDR）远超 GPU（HBM），但其处理速度较慢。eLLM 采用「以存储换计算」的策略，使 CPU 在长时序任务（如多轮代理工作流和百万级 token 上下文窗口）中的推理速度超越 GPU。

工作原理

该框架通过优化执行流水线，减少重复计算和内存访问：

• 弹性静态计算图：采用维度优先布局，使同一图可支持不同输入长度，无需重建。
• 静态形状 KV 缓存：用预分配的固定形状张量替代分页块管理，减少元数据开销，改善内存访问模式。
• 大维度张量：预留大序列维度，实现完整单次预填充，避免分块提示或反复重载参数。
• 会话缓存：在多轮交互中保持 KV 状态，系统只需增量预填充新输入，无需重新计算整个历史。

适用人群

适用于开发和研究长时序 AI 代理的开发者和研究人员，例如计算机操作代理、大型代码库的代码协作者、企业知识库的 RAG 系统，以及需维持数小时至数日状态的深度研究代理。

核心亮点

• 超越 GPU 的性能：宣称在长时序推理中超越 GPU，并为现有 CPU 推理框架（如 SGLang）带来显著加速。
• vLLM API 兼容：可直接接入现有 LLM 生态系统。
• 长上下文支持：利用 TB 级 DDR 内存，支持近乎无限制的上下文窗口。
• 纯 CPU 推理：无需 GPU 或 NPU，降低硬件成本和能耗。
• 结果一致性：推理结果与 GPU 输出完全一致。