Qwen GSPO：大規模言語モデルのためのスケーラブルな強化学習

シーケンスレベル最適化目的

GSPOはトークンレベルの最適化をシーケンスレベルのアプローチに置き換え、安定性を向上させ、分散を低減します。アルゴリズムは個々のトークンではなく、シーケンス全体の尤度に基づく重要度比を定義します。

数値範囲を統一し分散を低減するために、GSPOは長さ正規化を採用します。最適化目的は以下のように定義されます。

$$\mathcal{J}{\text{GSPO}} (\theta) = \mathbb{E}{x \sim \mathcal{D}, {y_{i}}{i=1}^{G} \sim \pi{\theta_{old}} (\cdot \mid x)} \left[\frac{1}{G} \sum_{i=1}^{G} \min \left(s_{i}(\theta)(\hat{A}){i}, \text{clip}(s{i}(\theta), 1-\epsilon, 1+\epsilon)(\hat{A})_{i}\right)\right]$$

ここで、シーケンスレベルの重要度比 $s_{i}(\theta)$ は次のように計算されます。

$$s_{i}(\theta) = \left(\frac{\pi_{\theta}(y_{i} \mid x)}{\pi_{\theta_{old}}(y_{i} \mid x)}\right)^{\frac{1}{|y_{i}|}} = \exp \left(\frac{1}{|y_{i}|} \sum_{t=1}^{|y_{i}|} \log \frac{\pi_{\theta}(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} \mid x, y_{i,<t})}\right)$$

訓練効率とスケーラビリティ

GSPOはGroup Relative Policy Optimization（GRPO）と比較して、訓練効率が高く、スケーラビリティが優れています。Qwen3-30B-A3B-Baseからファインチューニングしたコールドスタートモデルを使用した実験結果は、同じ訓練コストでGSPOがAIME'24、LiveCodeBench、CodeForcesベンチマークにおいて優れた性能を達成することを示しています。

スケーラビリティに関する主な発見は以下の通りです。

• 継続的な改善：訓練計算量の増加、クエリセットの定期的な更新、生成長の拡張に伴い、性能が継続的にスケールします。
• 学習シグナルの信頼性：GRPOに比べてトークンクリッピング率が2桁高いにもかかわらず、GSPOはより高い効率を実現しており、トークンレベルの最適化はノイズが多く、シーケンスレベルのアプローチほど効果的でないことを示唆しています。

Mixture-of-Experts（MoE）モデルにおける安定性

GSPOは大規模MoEモデルのRL訓練における安定性課題を本質的に解決し、特に「Routing Replay」の必要性を排除します。

GRPOでは、エキスパートの活性化の変動性がしばしば収束を妨げ、古いポリシー（$\pi_{\theta_{old}}$）から活性化されたエキスパートをキャッシュし、現在のポリシー（$\pi_{\theta}$）で再生するRouting Replay戦略が必要になります。この回避策はメモリと通信のオーバーヘッドを増加させ、モデル容量を制限する可能性があります。

GSPOはシーケンスレベルの尤度（$\pi_{\theta}(y_{i} \mid x)$）に焦点を当て、個々のトークンの尤度に敏感でないため、Routing Replayへの依存を排除し、訓練プロセスを簡素化してMoEモデルが容量を最大限に活用できるようにします。

インフラストラクチャと精度の利点

GSPOのシーケンスレベル最適化により、訓練プロセスが精度の不一致に対してより寛容になります。これにより、推論エンジンから直接返される尤度を最適化に利用でき、訓練エンジン内で再計算する必要がなくなります。この機能は特に以下の場合に有利です。

• 部分ロールアウト
• マルチターンRL
• 訓練と推論が分離されたフレームワーク

GSPOのこれらの技術的進歩は、最新のQwen3（Instruct、Coder、Thinking）モデルで見られる性能向上のアルゴリズム的基盤となっています。