kvcache-ai/ktransformers

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

解决的问题

KTransformers 解决了运行和微调超大规模混合专家（MoE）模型所需的高硬件要求。通过利用 CPU-GPU 异构计算，使这些模型能够在消费级硬件上运行，从而减少对大量昂贵 GPU 显存的需求。

工作原理

该框架采用混合计算方法，将模型的不同部分部署在不同硬件上。它使用“专家调度”技术，将频繁使用的“热”专家保留在 GPU 上，而将“冷”专家卸载到 CPU 上。为保持性能，它利用针对 Intel AMX 和 AVX512/AVX2 优化的内核进行量化推理，并与 LlamaFactory 集成，支持使用 LoRA 和 block-FP8 等技术实现高效的微调（SFT），其速度可显著快于传统的 ZeRO-Offload 方法。

适用人群

适用于希望在有限硬件（如消费级 GPU 或 CPU-GPU 混合服务器配置）上运行或微调前沿大模型（如 DeepSeek-V3/R1 或 GLM）的研究人员和开发者。

主要亮点

  • 异构计算：支持 CPU-GPU 混合推理和微调，降低显存门槛。
  • 硬件加速：针对 Intel AMX、AVX512、AVX2 优化，并支持 ROCm（AMD）和 Ascend NPUs。
  • MoE 优化：专为混合专家模型设计的内存管理和专家调度机制。
  • 微调集成：与 LlamaFactory 无缝集成，支持超大模型的 LoRA 和全参数微调。

相关

  • 项目
    guqiong96/Lvllm

    vLLM 的扩展，支持 MoE 模型在 VRAM 和系统内存之间进行混合 GPU 与 NUMA 感知 CPU 推理，优化内存使用。

  • 项目
    ztxz16/fastllm

    一个高性能的 C++ LLM 推理引擎，能够在 GPU、CPU、NUMA 和磁盘之间实现稠密与 MoE 模型的混合部署，以最大化硬件利用率。

  • 项目
    EfficientMoE/MoE-Infinity

    A cost-effective inference library that enables running large Mixture-of-Experts models on memory-constrained GPUs by offloading expert weights to host memory and SSD.

  • 项目
    microsoft/Tutel

    Tutel 是 Microsoft 开源的高性能 MoE 库，适用于大型语言模型。它提供动态并行、低精度推理（NVFP4、MXFP4、FP8、BF16）、支持高达 1M token 的上下文，以及视觉扩展功能，并提供 Docker 镜像来运行 DeepSeek-V3.2、Kimi-K3、GLM-5.x、Qwen-3 和 GPT-OSS 等模型，支持 NVIDIA 和 AMD GPU。可以通过 pip 从 Git 仓库安装，或从源码构建，然后运行提供的 Docker 容器，或使用 Python API 进行自定义 MoE 路由。

  • 项目
    Luce-Org/lucebox

    一个为异构消费级 GPU 和 APU 优化的推测推理引擎，通过自定义内核和硬件调优优化，实现高吞吐量的本地 LLM 执行。