Dao-AILab/sonic-moe

Accelerating MoE with IO and Tile-aware Optimizations

What it solves

SonicMoE 解决了混合专家模型 (MoE) 实现层的性能瓶颈，特别专注于减少激活内存使用量并提高在现代 NVIDIA GPU 上的训练吞吐量。

项目
microsoft/Tutel
一种基于 NVIDIA 和 AMD GPU 的优化 Mixture-of-Experts (MoE) 实现，通过先进的并行化和量化技术，加速大规模 LLM 的训练与推理。
Dispatch
专家混合（MoE）解释
专家混合（MoE）通过在每个 token 上仅激活部分神经网络专家，使 Transformer 模型能够在扩展参数规模的同时保持高效的预训练和更快的推理。
项目
EfficientMoE/MoE-Infinity
MoE-Infinity is a library for cost-effective MoE inference that enables running large Mixture-of-Experts models on memory-constrained GPUs by offloading expert weights to host memory and SSD.
项目
cursor/mixture-of-kittens
针对 NVIDIA Blackwell NVL72 的确定性 MoE 训练巨核，融合计算与通信，消除 CPU-GPU 同步，加速训练。
项目
deepseek-ai/DeepEP
用于 MoE 模型的高性能通信库，提供优化的专家并行 GPU 内核，以最大化吞吐量并最小化 SM 资源占用。