kvcache-ai/ktransformers

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

解決する問題

DeepSeek-V3/R1 などの大規模混合専門家（MoE）モデルは、推論やファインチューニングに膨大な GPU メモリ（多くの場合 80GB 以上）を必要とし、一般的なコンシューマー環境では手が届きません。KTransformers は、計算を CPU と GPU に分割し、頻繁に使用される「ホット」な専門家を GPU に配置し、残りを CPU にオフロードすることでこの問題に取り組み、高度に最適化されたカーネルを使用して CPU 実行を十分に高速に保ちます。

関連

  • プロジェクト
    guqiong96/Lvllm

    NUMA対応スケジューリングを使用して、CPUとGPUメモリを横断して大規模MoEモデルを実行できるvLLMとlk_moeの統合

  • プロジェクト
    ztxz16/fastllm

    ローカルおよびサーバー環境向けに設計された高性能LLM推論エンジン。混合デバイス実行（GPU/CPU/ディスク）や投機的デコードなどの高度な最適化技術をサポートします。

  • Dispatch
    Mixture of Experts (MoE) の解説

    Mixture of Experts (MoE) は、トランスフォーマーモデルがパラメータをスケールさせつつ、トークンごとにニューラルネットワークのエキスパートの一部だけを活性化することで、効率的な事前学習と高速な推論を維持できるようにします。

  • プロジェクト
    Helldez/BigMoeOnEdge

    デバイスの RAM よりも大きな Mixture-of-Experts モデルを、フラッシュストレージからエキスパートをストリーミングすることで実行可能にするランタイムエンジン。これにより、スマートフォンや CPU 上でも巨大な LLM を動作させられる。

  • プロジェクト
    Soulmate-Halo/heterogeneous-gpu-pd-lab

    このリポジトリは、大規模な混合専門家（MoE）LLM（例：Qwen‑3.8‑Flash‑Next、DeepSeek‑V4.1‑Flash）の異種GPU推論のためのDockerイメージ、デプロイメントガイド、および生のベンチマークデータを提供する本格的なソフトウェアプロジェクトです。異なるGPUタイプ（RTX 3080、RTX 6000D、DGX Spark、AI Max 395）間でプリフィルとデコードを分割する方法を示し、最大16 k tok/sのプリフィル速度と約442 tok/sのデコード速度の未調整の性能数値を報告しています。