mirage-project/mirage

Mirage Persistent Kernel: Compiling LLMs into a MegaKernel

何を解決するか

Mirage Persistent Kernel (MPK) は、マルチGPU LLM推論に関連する遅延問題に対処します。複数のカーネル起動とGPU間の通信のオーバーヘッドを排除することで、推論遅延を1.2倍から6.7倍まで削減します。

動作方法

MPKは、LLM推論を1つの「メガカーネル」に変換するコンパイラおよびランタイムシステムです。このメガカーネルは、1回の起動ですべての計算と通信を処理する統合GPUカーネルです。ユーザーは、RMSNormとLinearレイヤーを組み合わせるなどの融合演算をチェーンし、テンソルの割り当てを指定することで計算グラフを定義します。システムはこのグラフを、GPU上で実行可能な高パフォーマンスで永続的なカーネルにコンパイルします。

対象ユーザー

CUDAとPyTorchを使用してマルチGPU環境での推論遅延を低減したい、LLM推論最適化に取り組む開発者や研究者。

主な特徴

  • エンドツーエンドGPU融合: 必要なすべての計算と通信を1つのカーネル起動に統合。
  • 顕著な遅延削減: ネイティブなTritonおよびFlashInferカーネルと比較して1.2倍から6.7倍の高速化を達成。
  • 自動変換: Hugging Faceモデルズーブからモデルを自動的にメガカーネルに変換。
  • 統合プロファイリング: メガカーネル内の各タスクの実行タイムラインを可視化するツールを内蔵。

関連

  • プロジェクト
    deepseek-ai/DeepGEMM

    LLM向けの高パフォーマンスCUDAカーネルライブラリ。GEMMおよびMoE演算を最適化し、実行時のJITコンパイルとNVIDIA SM90/SM100 GPUでの極めて高いスループットを実現します。

  • プロジェクト
    microsoft/BitNet

    CPUおよびGPU上で高速でエネルギー効率が高く、損失のない推論を可能にする1ビット（3値）LLMの公式推論フレームワークです。

  • プロジェクト
    lucienhuangfu/eLLM

    CPU サーバー向けの LLM 推論フレームワークで、メモリ使用量を最適化し、長期間・マルチターン推論および超長コンテキストタスクにおいて GPU を上回る性能を実現します。

  • プロジェクト
    Luce-Org/lucebox

    Luceboxは、大規模言語モデル向けのオープンソースC++推論エンジンで、投機的プリフィルとカスタムGPUカーネル（CUDA/HIP）を使用して、コンシューマおよび異種混合GPU構成でのトークン生成を劇的に高速化します。Qwen、DeepSeek、Gemmaなど多くのモデルをサポートし、ビジョン入力を提供し、AMDおよびNVIDIAカード向けの既製ハードウェア固有プロファイルを備え、単一GPUで毎秒数百トークンを実現し、異種混合構成ではさらに高いスループットを発揮します。

  • プロジェクト
    InternLM/lmdeploy

    LMDeployは、大規模言語モデルおよび視覚モデルの圧縮、デプロイ、サービングを行うための包括的なツールキットであり、推論速度とハードウェア効率を最大化するように設計されています。