baidu-baige/LoongSage

解決する課題

LoongSage は、強化学習（RL）を使用した大規模言語モデル（LLM）のトレーニングの複雑さに対処し、本番グレードでスケーラブルなフレームワークを提供します。エージェントのビジネスロジックを基盤となるトレーニングインフラストラクチャから分離するという課題を解決し、大規模な RL ファインチューニング中のモデル崩壊を防ぐためにトレーニングと推論の一貫性を確保します。

仕組み

LoongSage は、分散スケジューリング用の Ray、モデルトレーニング用の Megatron-Core、高スループット推論用の SGLang という 3 つの主要テクノロジーに基づくモジュラーアーキテクチャを使用します。このフレームワークには「AgentFlow」モジュールがあり、任意のエージェントがフレームワークを変更することなく標準のチャットインターフェースを介してシステムと対話できます。サンプリングとトレーニングが並行して行われる完全非同期トレーニングをサポートし、Router Replay や重要度サンプリングなどの高度な技術を使用して、トレーニングエンジンと推論エンジン間の確率分布の一貫性を維持します。

対象者

このフレームワークは、フロンティア規模の LLM のポストトレーニング最適化に取り組む研究者やエンジニア向けに設計されています。特に、大規模モデル（MoE アーキテクチャなど）で複雑な RL 戦略（オンライン蒸留やエージェントコード修復など）を実装し、高スループットとシステム安定性を維持する必要があるチームに適しています。

ハイライト

• ゼロ侵入エージェントアクセス：エージェントロジックを RL フレームワークから分離し、標準のチャット API によるシームレスな統合を可能にします。
• 完全非同期トレーニング：サンプリングとトレーニングを分離してボトルネックを排除し、スループットを最大 39% 向上させます。
• システムレベルの一貫性：トレーニングと推論の確率バイアスを 1e-4 のオーダーに保つ特定のアライメント技術を実装し、トレーニングの崩壊を防ぎます。
• 本番対応レシピ：数学推論やエージェントコード修復などの複雑なタスク向けの検証済み構成を含み、DeepSeek-V4-Flash や Qwen3 などの大規模モデルでテストされています。
• 高い拡張性：フレームワークコアを変更せずに、カスタムエージェント、報酬モデル、RL アルゴリズム用の 12 のコア拡張ポイントを提供します。