Reflection Beam 501B オープンウェイトモデル：アーキテクチャ、トレーニング、および初期ベンチマーク

主なポイント

ReflectionのBeamモデルは、501 BパラメータのスパースMixture‑of‑Experts（MoE）アーキテクチャを採用しており、推論時にはわずか23 Bのパラメータしか活性化されません。これにより、より大きなフロンティアモデルと同等のコーディングおよびエージェント機能を実現しながら、1トークンあたりの計算量を3–4倍削減しています。

モデル概要

Beamとは何か – BeamはReflectionの初のオープンウェイトモデルであり、合計501 Bのパラメータを持つスパースMoEとして構築されていますが、1トークンあたりの活性化（エキスパート）パラメータは約23 Bです。このモデルは、コーディング、推論、エージェント（ツール使用）タスクの3つのワークロードをターゲットとしています。

アーキテクチャの重要性 – 1トークンあたり少数のエキスパートを活性化することで、推論に必要なFLOP数を削減できます。著者らは、GLM‑5.2よりも3–4倍の計算効率を達成したと主張しており、Qwen‑3.8‑Maxのような2 T+モデルと比べてさらに大きな効率向上を実現しています。

事前学習の基盤

  • データ量 – Webソース、独自ライセンス付きデータセット、および広範なコードコーパスから構成される23.8 兆トークンのキュレート済みデータ。
  • 計算予算 – 6,144台のNVIDIA GB300 NVL72 GPUで4週間未満で事前学習を完了。最終フェーズでは92.3 %の良質なパフォーマンス（good‑put）を達成。
  • 品質志向のパイプライン – カスタム分類器によりWeb、コード、STEMコンテンツをフィルタリング・再重み付け。通常のパイプラインが捨ててしまう可能性のある1.8 兆の高品質トークンを保持。元のインターネットトークンの約95 %は破棄された。
  • MoEの安定性 – 補助損失なしのロードバランス、コサイン減衰によるエキスパートバイアス更新、シーケンスレベルのバランスにより、エキスパート利用がほぼ均一（ビジーなエキスパートの負荷は1.04×）。残差ストリームスケーリング、SandwichNorm、FP32蓄積により、52層にわたって活性化ノルムが制限されたまま維持された。

高計算リソースを活用した強化学習（RL）

  • スケール – 10.5 K台のNVIDIA GB300 GPUが4週間稼働し、約1 Mのサンドボックス環境で100 M以上を実行（最大コンテキスト256 Kトークン）。
  • アルゴリズムの進展 – ポリシーの陳腐化（サンプルが最大1日-old）や数値不一致に対処する機構を備えた非同期ポリシー勾配トレーニング。大規模なロールアウト遅延下でも安定性を維持。
  • 効率性の向上 – コントロール可能な長さペナルティにより、RL初期段階でトークン効率の高い解決策を促進。後期にはより長い推論により難易度の高いタスクでの性能向上を実現。ユーザーが調整可能な「推論努力」パラメータを提供。
  • 汎化能力 – コーディングおよびターミナルタスクでのRLトレーニングが、WebブラウジングやOCRなどRL混合に含まれない未確認ドメインにも一般化。これは、タスクの多様性を示す。

ベンチマーク性能

コーディングおよびエージェントタスク（一部の結果）

ベンチマーク Beam Inkling Nemotron 3 Ultra GLM 5.2 GLM 5.3 Kimi K3 Qwen 3.8 Max DeepSeek V4.1 Flash
DeepSWE v1.1 44.4 NR NR 44.0 61.0 68.0 51.0 74.2
SWE Bench Pro v2‑Hard 77.2 56.9 NR NR 84.3 88.2 NR NR
Terminal Bench v2.1 80.1 63.8 56.4 81.0 88.2 88.3 86.6 90.6
SWEBench Verified 80.9 77.6 70.7 NR NR NR NR NR

解釈 – Beamは、いくつかのコーディングベンチマークでGLM‑5.2と同等またはそれを上回りながら、推論計算量の一部にとどまっています。最大のオープンモデル（例：Kimi K3、DeepSeek V4.1 Flash）のスコアには及ばないものの、1トークンあたりのFLOPsが低いため、効率面で優位性を発揮しています。

フロンティアスケールRLのインフラ

  • 非同期実行 – 新しいポリシーのチェックポイントが公開されてもロールアウトは継続。各トークンはその元となったバージョンを記録。
  • 動的計算リソース割り当て – 推論からトレーニングへのGPU比率は3.9:1から5.4:1の範囲で変動。トレーナーメッシュサイズは状態を失うことなく再スケーリング可能。
  • 高速な重み伝播 – 新しい重みを推論ファルム全体に配布する中央時間は12秒。ラック間トラフィックを75 %削減し、2.2倍のスピードアップを達成。
  • 信頼性 – 71件の推論インシデントでGPU分の損失は0.02 %にとどまり、中央回復時間は8分。
  • サンドボックスのスケーリング – 最大170 Kの同時サンドボックスをサポート。複数のクラウドとリージョンで1 Bを超えるサンドボックス作成リクエストを処理。

セーフティとアライメント

  • 二段階アライメント – セーフティ志向のティーチャーモデルを別途SFT + RLパイプラインで訓練。2つのティーチャーはマルチティーチャーオンポリシー蒸留により統合された。
  • アライメントの原則 – (1) セーフティルールを破らないこと；(2) 事実性や不確実性の認識といった品質を一貫して満たすこと；(3) 直接的で徹底的かつ効率的な対話スタイルを採用すること。
  • 報酬モデリング – 検証不可能なRL環境では生成型報酬モデルを使用。報酬予測はRL後の改善と相関（r = 0.79）しており、幻覚や過剰フォーマットの系統的な削減が可能。
  • 熟考型アライメント – 反復的な敵対的データ収集により有害なプロンプトを生成。成功した攻撃はSFTに再投入され、ジャイルブレイクに対する耐性が向上。

コミュニティの反応（Hacker Newsのハイライト）

  • 肯定的な意見 – ユーザーは、もう一つのオープンウェイト競合モデルの登場を称賛。エコシステムにおける競争の重要性を強調。
  • 批判 – 複数のコメントで、Beamのベンチマーク表に強力なオープンモデル（例：DeepSeek V4.1 Flash）が含まれていないこと、およびモデルがまだ公開されていないため即時検証が困難である点が指摘された。
  • ハードウェアの懸念 – 501 BのMoEモデルをコンシューマー向けハードウェアで実行する可能性について疑問が呈された。現在のアクセス方法は待機リストAPIのみ。
  • 地政学的文脈 – 一部の観察者は、西洋と中国のオープンウェイト取り組みを比較。中国の研究機関が現在、実力面でリードしていると指摘。

今後の展望

Reflectionは、今月後半にBeamの重みをApache 2.0ライセンスで公開する予定です。技術レポート、モデルカード、開発者アーティファクトも同時に提供される予定です。このモデルは、推論効率を重視した企業向けのコーディングおよびエージェントワークロードの「作業馬」として位置づけられています。その後のリリースは、同じMoEおよび高計算リソースRLインフラを基盤とし、トップフロンティアモデルとの差を縮めることを目指します。

すべての数値およびベンチマークデータは、Reflectionのブログ記事および関連するHacker Newsディスカッションから直接取得。外部データは一切追加されていません。

Sources

関連