kvcache-ai/ktransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
解决的问题
大型混合专家（MoE）模型，如 DeepSeek-V3/R1，在推理或微调时需要大量 GPU 内存（通常超过 80GB），这超出了典型消费级硬件的范围。KTransformers 通过在 CPU 和 GPU 之间分配计算来解决这个问题，将频繁使用的“热”专家放在 GPU 上，其余部分卸载到 CPU，并使用高度优化的内核来保持 CPU 执行速度足够快。
相关
- 项目
guqiong96/Lvllm通过 NUMA 感知调度，将 vLLM 与 lk_moe 集成，实现大型 MoE 模型在 CPU 和 GPU 内存间的跨设备运行
- 项目
ztxz16/fastllm一款专为本地和服务器部署设计的高性能大模型推理引擎，支持混合设备执行（GPU/CPU/磁盘）及投机采样等高级优化技术。
- Dispatch
专家混合（MoE）解释专家混合（MoE）通过在每个 token 上仅激活部分神经网络专家，使 Transformer 模型能够在扩展参数规模的同时保持高效的预训练和更快的推理。
- 项目
- 项目
Soulmate-Halo/heterogeneous-gpu-pd-lab该仓库是一个真实的软件项目，为大规模混合专家 (MoE) LLM（例如 Qwen‑3.8‑Flash‑Next、DeepSeek‑V4.1‑Flash）的异构 GPU 推理提供 Docker 镜像、部署指南和原始基准数据。它展示了如何在不同的 GPU 类型（RTX 3080、RTX 6000D、DGX Spark、AI Max 395）之间拆分预填充和解码，并报告了高达 16 k tok/s 的预填充速度和约 442 tok/s 的解码速度的未调优性能数据。