Dao-AILab/sonic-moe

Accelerating MoE with IO and Tile-aware Optimizations

What it solves

SonicMoE 解決了混合專家模型 (MoE) 層的效能瓶頸，特別著重於減少激活記憶體使用量並在現代 NVIDIA GPU 上提高訓練吞吐量。

專案
microsoft/Tutel
一種基於 NVIDIA 與 AMD GPU 的優化 Mixture-of-Experts (MoE) 實作，透過先進的平行化與量化技術，加速大規模 LLM 的訓練與推論。
Dispatch
專家混合（MoE）說明
專家混合（MoE）讓 transformer 模型在擴展參數規模的同時，透過僅在每個 token 上啟用部分神經網路專家，維持高效的預訓練與更快的推論速度。
專案
EfficientMoE/MoE-Infinity
MoE-Infinity is a library for cost-effective MoE inference that enables running large Mixture-of-Experts models on memory-constrained GPUs by offloading expert weights to host memory and SSD.
專案
cursor/mixture-of-kittens
針對 NVIDIA Blackwell NVL72 的決定性 MoE 訓練巨核，融合計算與通訊，消除 CPU-GPU 同步，加速訓練。
專案
deepseek-ai/DeepEP
用於 MoE 模型的高性能通訊函式庫，提供優化的專家並行 GPU 核心，以最大化吞吐量並最小化 SM 資源占用。