THUDM/slime

解決する課題

slimeは、RLスケーリングのために設計された高性能なLLMポストトレーニングフレームワークです。トレーナー、ロールアウトサービス、エージェントフレームワークが分断され、スタックが重くなりがちという問題を、学習・ロールアウト・データ生成のパスを単一の合理化されたフローに統合することで解決します。

仕組み

slimeは、学習用の Megatron-LM とロールアウト用の SGLang を接続します。「ネイティブ・パススルー」設計を採用しており、ユーザーは抽象化レイヤーを追加することなく、MegatronとSGLangの引数を直接使用できます。アーキテクチャは3つの主要モジュールで構成されています。

• 学習 (Megatron): メインの学習プロセスを処理し、パラメータをロールアウトモジュールに同期します。
• ロールアウト (SGLang + router): 新しいデータを生成し、報酬や検証器の出力を計算します。
• データバッファ (Data Buffer): プロンプトの初期化とロールアウト生成方法を管理するブリッジとして機能します。

PD分離（プリフィル/デコード分離）、効率的な更新のためのデルタウェイト同期、分離型サービングのための外部ロールアウトエンジンなど、さまざまな高度なデプロイ構成をサポートしています。

対象ユーザー

LLMの大規模RLポストトレーニングに取り組む研究者やエンジニア、特にMegatron-SGLangスタックを使用している方に最適です。エージェントRL、全モーダル学習、または検証可能な環境向けに拡張できる、軽量かつ実戦で鍛えられたフレームワークを必要とする方のために設計されています。

ハイライト

• 実戦で鍛えられた実績: GLMシリーズモデル（GLM-4.5からGLM-5.3まで）の学習に使用されています。
• SGLangネイティブ: SGLang向けに深く最適化されており、特定のサービング、ルーティング、キャッシング機能を活用できます。
• 柔軟なデータ生成: 学習カーネルをフォークすることなく、マルチエージェントシステム、ツール使用、長期間のエージェントワークフロー向けのカスタムインターフェースをサポートします。
• プロダクションレディ: 耐障害性、トレーシング、プロファイリング、およびRLインフラストラクチャ向けの包括的なCI/CDを組み込みでサポートしています。
• 幅広いモデルサポート: Qwen、DeepSeek V3/R1、Llama 3シリーズと互換性があります。