SAPO: 大規模言語モデルのトレーニングのための安定かつ高性能な強化学習手法

TL;DR

QwenはSoft Adaptive Policy Optimization（SAPO）という、LLM（大規模言語モデル）のトレーニングを安定化させることを目的とした強化学習（RL）手法を導入しました。GRPOやGSPOといった既存手法で使用されているハードクリッピング機構を、滑らかで温度制御されたゲーティング関数に置き換えることで、SAPOは不安定なポリシー更新を防ぎつつ、より有用な勾配情報を保持し、推論、コーディング、マルチモーダルタスクにおいて高い性能を実現します。

LLMにおけるポリシー最適化の課題

LLM、特に大規模なMixture‑of‑Experts（MoE）モデルにおいては、トークンレベルの重要度比率の分散が原因で、安定したポリシー最適化が困難です。この比率は、現在のポリシーがトレーニングサンプル生成に使用された行動ポリシーからどれだけ逸脱しているかを測ります。

既存のグループベースのポリシー最適化手法は、ハードクリッピングによってこの不安定性を制御しようとします：

GRPO（トークンレベルクリッピング）：重要度比率が固定帯域外に出たときに勾配を切り捨てます。
GSPO（シーケンスレベルクリッピング）：シーケンス単位でクリッピングを行います。

これらのハードクリッピング手法には主に二つの制約があります。学習シグナルの喪失（有益なサンプルが捨てられる）と、安定性とサンプル効率の間の脆弱なトレードオフです。クリッピング範囲が狭すぎると有用な勾配が失われ、広すぎるとノイズの多い勾配がモデルを不安定にします。

Soft Adaptive Policy Optimization（SAPO）の解説

SAPOはハードクリッピングを滑らかなゲーティング関数

$$ f_{i,t}(x) = \frac{4}{\tau_{i,t}} \cdot \sigma\big(\tau_{i,t}(x - 1)\big) $$

に置き換えることで、上記の制約に対処します。この関数はオフポリシー更新を急激に切り捨てるのではなく、適応的に重みを下げます。

主な技術的特徴

Continuous Trust Regions（連続的信頼領域）：ハードクリッピングに伴う不連続性を回避し、ポリシーが逸脱するにつれて寄与が滑らかに減衰します。
Sequence-Level Coherence（シーケンスレベルの一貫性）：GSPOと同様にシーケンスレベルの振る舞いを保持しますが、GSPOが数トークンのオフポリシーでシーケンス全体を抑制するのに対し、SAPOは問題のあるトークンだけを抑制し、他の有用な勾配を保持してサンプル効率を向上させます。
Token-Level Adaptivity（トークンレベルの適応性）：ポリシーから大きく外れたトークンのみを選択的に抑制でき、学習シグナル全体を捨てずに不安定なポリシーシフトを防ぎます。
Asymmetric Temperature Design（非対称温度設計）：正のアドバンテージと負のアドバンテージに異なる温度を用います（$\tau_{\text{neg}} > \tau_{\text{pos}}$）。負のアドバンテージは大語彙サイズで不適切なトークンのロジットを多数増加させる可能性があるため、負のトークンに高温度を設定するとオフポリシー時に寄与が速く減衰し、トレーニングの安定性が大幅に向上します。

実験結果

Qwenは、DenseモデルとMoEモデルの両方を含む様々なアーキテクチャでSAPOを評価しました。

数学的推論（Qwen3-30B-A3B）

Qwen3-30B-A3B‑Baseからファインチューニングしたコールドスタートモデルを用い、SAPOをGSPOおよびGRPO‑R2（ルーティングリプレイ付きGRPO）と比較しました。結果は以下の通りです：

SAPOはGSPOおよびGRPO‑R2よりも長時間にわたり安定したトレーニングを維持しました。
SAPOはAIME25、HMMT25、BeyondAIMEベンチマークで最終的なPass@1スコアがより高くなりました。
SAPOはルーティングリプレイを不要にし、RLパイプラインを簡素化しました。

Qwen3‑VLモデルに対する大規模RL

SAPOは、数学、コーディング、論理、マルチモーダルタスクの混合で構成されたQwen3‑VL‑30B‑A3Bに適用されました。評価ベンチマークはAIME25、LiveCodeBench v6、ZebraLogic、MathVisionです。結果は、同一計算予算下でモデルサイズやMoE／Dense構造の違いに関わらず、SAPOがGSPOおよびGRPO‑R2を一貫して上回ることを示しました。

LLMトレーニングへの示唆

SAPOは、シーケンスレベルの振る舞いに整合した更新を保証しつつ、トークンレベルの柔軟性を保つ実用的なフレームワークを提供します。ハードクリッピングの脆弱性を解消し、非対称温度制御を実装することで、高分散な更新の影響を低減し、将来のRLで訓練されるLLMにとってより安定かつ効率的な基盤コンポーネントとなります。