radixark/miles

何を解決するか

Milesは、大規模モデルの高性能な事後訓練を目的としており、特にトランジリオンパラメータ規模での強化学習（RL）に特化しています。分散システム上で大規模モデルを訓練する際に通常発生する安定性、精度、スループットの問題に対処します。

仕組み

Milesは、SGLangを用いた高スループットなロールアウト（生成）と、Megatron-LMを用いたスケーラブルな訓練（PyTorch FSDP2バックエンドオプションあり）を組み合わせます。ロールアウトと訓練のワーカーが分離された完全非同期のRLパイプラインを採用し、アイドル時間を最小限に抑えます。安定性を維持するために、「Token-in-token-out」（TITO）を実装して再トークン化エラーを回避し、「Rollout Routing Replay」（R3）を用いてロールアウトと訓練間のMoEルーティング不一致を防止します。

対象ユーザー

DeepSeek-V4やKimi-K3などのフロンティアスケールモデルをGRPO、PPO、REINFORCE++などのRLレシピで訓練したい、モデルラボ、ハードウェアおよびクラウドプロバイダー、研究者向けに構築されています。

特徴

• トランジリオンパラメータスケール：P2P RDMAを活用して、高速な重み更新を実現した大規模モデル向け最適化。
• 低精度訓練：MXFP8、NVFP4、FP8、INT4 QATをサポートし、メモリと計算コストを削減。
• 広範なハードウェア対応：NVIDIA（H100、B200など）およびAMD（MI300X、MI355X）GPUに対応。
• エージェント環境の統合：E2B、Modal、NeMo Gymなどのプラットフォームを介して、コード作成およびコンピュータ利用エージェントとの接続を可能に。
• フェイルセーフ性：SGLangエンジンの障害を自動で回復し、実行を一時停止せずに継続可能。

これは、大規模モデルの事後訓練に特化した企業向けの強化学習フレームワークであり、SGLangとMegatron-LMを統合して高スループットなロールアウトとスケーラブルな訓練を実現しています。— @handle