microsoft/Tutel

何を解決するか

Tutelは、大規模モデルのトレーニングと推論を高速化するための最適化されたMixture-of-Experts (MoE) 実装です。特に、DeepSeek、Kimi、GLMなどの大規模モデルをハイエンドGPU（NVIDIA A100/H100/B200およびAMD MI300/MI325/MI355）に展開する際の計算上のボトルネックとメモリ制約に対処しています。

仕組み

Tutelは高度に最適化されたMoEレイヤーと、「ペナルティなし並列化/スパース性/容量スイッチング」と呼ばれる並列処理ソリューションを提供します。これにより、パフォーマンスの低下なしに並列化、スパース性、容量を実行時動的に調整できます。NVFP4、MXFP4、BlockwiseFP8といった高度な量子化フォーマットをサポートし、メモリ使用量を削減し、スループットを向上させます。プロジェクトにはQwen3やDeepSeek向けの専用ゲーティングAPIも含まれており、NCCL all-to-allなどの効率的な通信プリミティブを活用して、複数GPUおよびノード間の分散処理を実現しています。

対象ユーザー

NVIDIAおよびAMDハードウェア上でスループットを最大化し、レイテンシを最小限に抑える必要がある、大規模なMoEベースのLLMを扱うAI研究者およびエンジニア、また、独自のMoEレイヤーをゼロから実装する開発者向けです。

主な特徴

• 広範なハードウェア対応: NVIDIA A100/H100/B200およびAMD MI300/MI325/MI355 GPUに最適化されています。
• 高性能推論: DeepSeek-V3.2、Kimi-K3、GLM-5.xなどの大規模モデルを高トークン/秒（TPS）で処理可能です。
• 動的設定: 実行時において並列化（DP、EP、MP）、top-kスパース性、容量を無料で切り替えられます。
• 高度な量子化: NVFP4およびMXFP4推論を直接サポートし、トレリオンパラメータモデルを利用可能なVRAMに収めることが可能になります。
• 長文脈対応: GLM-5.xやKimi-K3などの特定モデルで最大100万トークンの文脈を処理可能です。