mlc-ai/pith-train

Compact and Agent-Native MoE Training System

何を解決するか

本番用のMoE（エキスパートの混合）学習フレームワークは、しばしば過度に複雑であり、重いコンパイル済み拡張や間接的な設計パターンに依存しており、人間やAIコーディングエージェントが変更や最適化を行うのに困難です。PithTrainは、エージェントや人間が一貫して読み解けるほどコンパクトでありながら、本番レベルの機能を維持する高性能な学習システムを提供します。

どう動くか

エージェントネイティブなフレームワークで、3つのレイヤーに構成されています：トレーニングループ用のアプリケーション層、モデルプロトコルと分散学習用のエンジン層、低レベルカーネル用のオペレータ層。4D並列化戦略（パイプライン、データ、コンテキスト、エキスパート並列）を実装し、前向き・後向き実行とP2P通信のオーバーラップにDualPipeVスケジューラを使用します。FP8学習をサポートし、DeepGEMMやFlashAttentionなどのライブラリと統合されています。

対象ユーザー

QwenやDeepSeekアーキテクチャなどのMoEモデルを学習したい研究者や開発者で、AIコーディングアシスタントを活用する際に、ナビゲーション、変更、拡張がしやすいコードベースを必要とする人。

特徴

  • エージェントネイティブ設計：Pythonで約11K行のコンパクトなコードベースで、最小限の暗黙的な間接参照を実現。
  • 本番性能：4D並列化と計算・通信のオーバーラップをサポート。
  • FP8学習：効率性のためのFP8線形および量子化の組み込みサポート。
  • 柔軟なチェックポイント：リシェーディング可能なチェックポイントとHugging Face形式への変換をサポート。

関連

  • Dispatch
    Mixture of Experts (MoE) の解説

    Mixture of Experts (MoE) は、トランスフォーマーモデルがパラメータをスケールさせつつ、トークンごとにニューラルネットワークのエキスパートの一部だけを活性化することで、効率的な事前学習と高速な推論を維持できるようにします。

  • プロジェクト
    microsoft/Tutel

    Tutel は、Microsoft が提供する大規模言語モデル用のオープンソース、高性能 MoE ライブラリです。ダイナミック・パラレルリズム、ダイナミック・インファレンス（NVFP4, MXFP4, FP8, BF16）、最大 1M トークンのコンテキスト、ビジョン拡張、NVIDIA と AMD GPU で DeepSeek-V3.2, Kimi-K3, GLM-5.x, Qwen-3, GPT-OSS などのモデルを動かす Docker イメージを提供します。pip で Git リポジトリからインストール、またはソースからビルド、その後、提供された Docker コンテナを利用するか、Python API を用いてカスタム MoE ルーティングを行います。

  • プロジェクト
    deepseek-ai/DeepEP

    MoEモデル向けの高性能通信ライブラリ。エキスパート並列処理に最適化されたGPUカーネルを提供し、スループットを最大化し、SMリソースの使用を最小限に抑えます。

  • プロジェクト
    PaddlePaddle/ERNIE

    テキストと視覚言語理解において最先端の性能を提供する、大規模マルチモーダルMoEモデルおよび開発ツールキットのファミリー。

  • Dispatch
    Qwen1.5-MoE-A2.7B リリースノート

    Qwenは、27億のアクティブ化パラメータのみで7B密結合モデルと同等の性能を発揮するMixture-of-Expertsモデル、Qwen1.5-MoE-A2.7Bを導入しました。