Dao-AILab/sonic-moe

関連

• プロジェクト
  microsoft/Tutel

  Tutel は、Mixture-of-Experts モデル向けの最適化エンジンであり、NVIDIA および AMD GPU での高速推論、低精度フォーマット、動的な設定変更、多くの人気のある大規模モデルをサポートしています。

• Dispatch
  Mixture of Experts (MoE) の解説

  Mixture of Experts (MoE) は、トランスフォーマーモデルがパラメータをスケールさせつつ、トークンごとにニューラルネットワークのエキスパートの一部だけを活性化することで、効率的な事前学習と高速な推論を維持できるようにします。

• プロジェクト
  EfficientMoE/MoE-Infinity

  MoE‑Infinityは、専門家の重みをCPU/SSDにオフロードし、アクティベーション認識キャッシュを使用することで、VRAMが限られたGPU上で大規模なMixture‑of‑Experts言語モデルの推論を可能にするライブラリです。さらに、本番環境対応のOpenAI互換サーバーも提供します。

• プロジェクト
  cursor/mixture-of-kittens

  Mixture‑of‑Kittens (MoK) は、NVIDIA Blackwell GPU 向けの決定論的混合エキスパート (MoE) メガカーネルです。計算と GPU 間通信を単一の CUDA カーネルに統合し、BF16 および MXFP8 をサポートすることで、既存の MoE 実装と比較して最大 2.37 倍の高速化を実現します。pip でインストールし、MoKConfig を設定し、対称メモリワークスペースを作成してスケジュールを構築し、関数型の forward/backward API を呼び出します。NVL72 ハードウェアでの大規模 MoE トレーニング向けに設計されています。

• プロジェクト
  deepseek-ai/DeepEP

  DeepEPは、Mixture-of-Experts（MoE）トレーニングと推論のための高性能通信ライブラリです。JITコンパイルされたオールツーオールディスパッチ/コンバインカーネル、統一されたEPBuffer API、エキスパートレプリケーションのサポート（ウェイトプリフェッチ＆勾配削減）、実験的なパイプライン/リモートメモリプリミティブを提供します。NVLink/RDMAを備えたNVIDIA Hopper（およびAscend）GPU用に設計されており、大規模MoEモデルを複数のGPUにわたって効率的にスケーリングできます。