guqiong96/Lvllm

何を解決するか

LvLLM は、大規模な混合専門家（MoE）モデルを実行する際のハードウェア制限を克服し、GPUのVRAMとシステムRAMの両方にモデルを分散できるようにします。十分なVRAMを持たないハードウェアでも、巨大なモデルを実行可能にし、最新のGPUアーキテクチャ（SM80、SM86、SM89、SM120）向けに特定の最適化と修正を提供します。

動作方法

LvLLM は lk_moe エンジンを vLLM に統合しています。このハイブリッドエンジンはNUMA対応であり、MoEエキスパートをCPUとGPUの両方でスケジューリングします。GPUのプレフィルとハイブリッドデコードを重ねて実行でき、どのエキスパートレイヤーをVRAMに常駐させるかをユーザーが指定してパフォーマンスを最大化できます。ハイブリッドMoE機能を無効にすれば、通常のvLLMとまったく同じ挙動になるように設定することも可能です。

対象ユーザー

大規模なMoEモデル（DeepSeek-V4、Qwen3.8、GLM-5.3など）を、異種ハードウェアやVRAMを補完するためにシステムメモリを使用するシステムで実行する開発者や研究者向けです。

主な特徴

• ハイブリッドメモリ実行: VRAMとシステムメモリの両方を活用してMoEモデルを分散実行し、VRAM利用率をほぼ100%に近づけます。
• 広範なハードウェア対応: NVIDIA SM80、SM86、SM89、SM120アーキテクチャのサポートと修正を追加します。
• NUMA対応: マルチソケットシステムでのCPU+GPUスケジューリングを最適化し、効率を向上させます。
• GPUプレフィル: GPUプレフィルとハイブリッドデコードを重ねて実行可能で、スループットを向上させます。