THUDM/slime

What it solves

slimeは、RL（強化学習）スケーリングのために設計されたLLMポストトレーニング・フレームワークです。高性能なトレーニングと柔軟なデータ生成を単一の合理化されたデータフローに統合することで、分離されたトレーナー、ロールアウト・サービス、およびエージェント・フレームワークの管理に伴う複雑さを解消します。

How it works

slimeは、Megatron（トレーニング用）とSGLang（ロールアウト/推論用）を接続します。「パススルー」設計を採用しており、抽象化レイヤーを追加することなく、両方のアップストリーム・エンジンからのネイティブな引数を使用できます。システムは主に3つのモジュールで構成されています：

• Training (Megatron): メイントレーニング・プロセスを処理し、パラメータをロールアウト・モジュールに同期します。
• Rollout (SGLang + router): リワードや検証器（verifier）の出力を含む新しいデータを生成します。これは、マルチターン・ループやツール呼び出しのためのカスタム関数で拡張可能です。
• Data Buffer: プロンプトの初期化と生成されたサンプルのフローを管理するブリッジとして機能します。

Who it’s for

これは、フロンティア・モデル（GLM、Qwen、DeepSeek、Llamaシリーズなど）に対して大規模なRLポストトレーニングを行う研究者やエンジニア、および、サンドボックス、検証器、またはマルチモーダルなインタラクションを含むエージェント型RLワークフローを構築する人々を対象としています。

Highlights

• Production Validated: GLMファミリー（GLM-4.5からGLM-5.3まで）のトレーニングに使用されています。
• Native Engine Integration: MegatronとSGLangの引数を直接パススルーするため、アップストリームの最適化が即座に利用可能です。
• Agentic Flexibility: トレーニング・カーネルを変更することなく、マルチエージェント・システム、検索/RAG、およびサンドボックス化されたコーディング・エージェントを含む複雑なデータ生成ワークフローををサポートします。
• Advanced Deployment: PD (Prefill-Decode) 分離、効率的な更新のためのデルタ重み同期、および外部ロールアウト・エンジンのサポートを特徴としています。
• Engineering Rigor: 包括的なCI、GPUエンドツーエンド・テスト、およびトレーシングとプロファイリングのための専用ツールが含まれています。