Dao-AILab/sonic-moe
Accelerating MoE with IO and Tile-aware Optimizations
What it solves
SonicMoE 解决了混合专家模型 (MoE) 实现层的性能瓶颈，特别专注于减少激活内存使用量并提高在现代 NVIDIA GPU 上的训练吞吐量。
相关
- 项目
microsoft/TutelTutel 是一个针对混合专家（MoE）模型的优化引擎，支持在 NVIDIA 和 AMD GPU 上进行快速推理，支持低精度格式、动态配置更改以及许多流行的超大模型。
- Dispatch
专家混合（MoE）解释专家混合（MoE）通过在每个 token 上仅激活部分神经网络专家，使 Transformer 模型能够在扩展参数规模的同时保持高效的预训练和更快的推理。
- 项目
EfficientMoE/MoE-InfinityMoE‑Infinity 是一个库，通过将专家权重卸载到 CPU/SSD，并使用激活感知缓存，使得在 VRAM 有限的 GPU 上能够推理大型 Mixture‑of‑Experts 语言模型，此外还提供了生产级 OpenAI 兼容服务器。
- 项目
cursor/mixture-of-kittensMixture‑of‑Kittens (MoK) 是一个用于 NVIDIA Blackwell GPU 的确定性混合专家 (MoE) 超级内核。它将计算和 GPU 间通信合并为一个 CUDA 内核，支持 BF16 和 MXFP8，相比现有 MoE 实现速度提升高达 2.37 倍。通过 pip 安装，配置 MoKConfig，创建对称内存工作空间，构建调度，并调用功能性 forward/backward API。专为 NVL72 硬件上的大规模 MoE 训练而设计。
- 项目
deepseek-ai/DeepEPDeepEP 是一个用于 Mixture-of-Experts 训练和推理的高性能通信库。它提供 JIT 编译的全对全调度/合并内核、统一的 EPBuffer API、专家复制支持（权重预取和梯度减少），以及实验性的流水线/远程内存原语。专为配备 NVLink/RDMA 的 NVIDIA Hopper（及 Ascend）GPU 设计，使大型 MoE 模型能够在多个 GPU 上高效扩展。