ゼロ不一致、シンプルな非同期RL：REINFORCE Zero、DeepSeek-V4.1およびKimi K3.1

カーネルアライメントによる非同期RL

非同期強化学習（RL）は、ロールアウトと学習プロセスを並行して実行できるため、大幅な速度向上が見込めますが、従来はウェイトの遅延（weight lag）とカーネルの不一致（kernel mismatch）に悩まされてきました。vLLMチームは、NVIDIA ResearchおよびInferactと共同で、カーネルの不一致を排除することで非同期RLを安定させる手法「REINFORCE Zero」を導入しました。ロールアウトと学習において、同じウェイトとトークンに対して同一の対数確率（logprobs）を計算することを保証することで、残りのウェイト遅延は、複雑な棄却ゲートや切り捨てを必要とせず、単純なクリップなしの重点サンプリング（IS）を使用して補正できます。

対数確率のギャップが生じる2つの要因

ロールアウトと学習の対数確率間のギャップは、以下の2つの異なる要素で構成されています。

ウェイト遅延（Weight Lag）： これは、学習者が古いモデルバージョンによって生成されたサンプルに基づいて更新を行うために発生します。このギャップは時間とともに滑らかに変化し、重点サンプリングによって効果的に管理されます。
カーネルの不一致（Kernel Mismatch）： これは、バッチ構成や実行の違いにより、ロールアウトと学習が同じウェイトに対して異なる数値結果を計算する場合に発生します。ウェイト遅延とは異なり、これは大きく変動し、ISを使用しても解消されないため、学習の不安定化を招きます。

カーネルをアライメントすることで、カーネルの不一致項はゼロになります。これにより、クリップなしのISは、ラグ64のような高いポリシー遅延（サンプルが学習者の現在の状態より64バージョン古いウェイトによって生成される場合）においても、安定した学習を維持できます。

REINFORCE Zeroのメソドロジー

REINFORCE Zeroは、RL学習ループを以下の3つのコアステップに簡素化します。

カーネルアライメント： ロールアウトエンジンと学習者が、同一の入力に対してビット単位で同一の対数確率を生成することを保証します。
クリップなしのトークンレベルIS： 切り捨てやフィルタリングを行わず、学習者の確率とロールアウトの確率の比率を直接ウェイトとして使用します。
単純なREINFORCE最適化： グループの平均報酬に基づいてアドバンテージを計算し、応答内のトークンを平均化することで、個別の価値モデルや棄却ゲートを不要にします。

このアプローチは、20,000回の更新にわたって安定性を示し、アライメントされたカーネルを用いた同期学習の2.40倍の学習ステップスループットを達成しました。

主要モデルのサポート

ゼロ不一致RLは主要なフラッグシップモデルにも拡張されており、ロールアウトと学習の間でビット単位の一貫性を保証しています。

DeepSeek-V4.1-Flash： FP8、MXFP4、スライディングウィンドウアテンションのサポートを含め、リリース精度でゼロ不一致を達成しました。ロールアウトステップは高速ベースラインの10%以内に収まっています。
Kimi K3.1： KDA線形アテンションおよびLoRAアダプターのサポートを含め、初日にゼロ不一致を達成しました。

クロスプラットフォーム実装：AMD MI355X

ゼロ不一致はアーキテクチャに依存しません。AMD MI355Xハードウェアにおいて、チームはhipBLASLtのようなライブラリにおけるバッチ不変の問題に対処し、エキスパート並列演算を最適化することで、ビット単位の一貫性を達成しました。DeepSeek-V4-Flashについては、これらの最適化によりサービングスループットの低下が大幅に軽減され、Kimi K3.1については、複数のノードでLoRAアダプターを使用した効率的なRL学習が可能になりました。

すべてのレシピ、修正、実装の詳細は Inferact/zero-mismatch-rl リポジトリで公開されており、REINFORCE Zeroの論文とコードは hijkzzz/REINFORCE-Zero でホストされています。