Ripple-65B Preview：Ricursiveの3200万ドルのオープンウェイトモデルがエージェントコーディングで米国SOTAを主張

Ricursive Intelligenceは、Ripple-65B Previewをリリースしました。これは、同社がエージェントコーディングにおいて米国のオープンウェイトモデルとして最高水準（SOTA）を達成し、TerminalBench 2.1で80.52を獲得したと主張する、65Bパラメータの高密度オープンウェイト言語モデルです。見出しとなる主張は、ベンチマークの数字だけでなく、そのコストにあります。Ricursiveは、このモデルをゼロから開発・トレーニングするのに総研究開発費3200万ドルを費やしたと述べており、これは同社の知る限り、エージェントコーディングにおける従来のオープンウェイトSOTAの約10分の1のコストです。

Ripple-65B Previewは、RicursiveのAIチップ設計プラットフォームを支える独自モデルの汎用バリアントです。Ricursiveは、ハードウェア、ソフトウェア、モデルを共同最適化することで自己改善システムを構築するフルスタックAIラボであると自称しています。

Ripple-65B Previewとは

Ripple-65B Previewは、65Bパラメータの高密度Transformerであり、12兆トークンで事前学習され、最大100万トークンのコンテキスト長をサポートします。Ricursiveは、Mixture-of-Experts設計を採用するのではなく、独自のトレーニングおよび推論プラットフォーム向けにアーキテクチャを最適化しました。

このモデルは、Hugging Face、Together AI、GMI Cloud、OpenRouterで利用可能であり、Fireworksはリリース日の後半に利用可能になります。

ベンチマークの主張：TerminalBench 2.1での米国オープンウェイトSOTA

Ricursiveは、Ripple-65B PreviewのTerminalBench 2.1スコアが80.52であると報告し、これを4つのより大規模な米国オープンウェイトモデルと比較しています。

モデル	パラメータ	TerminalBench 2.1
Ripple-65B Preview	65B（高密度）	80.52
Reflection Beam	501B	80.1
Meta Muse Spark Open	816B	76.4
Thinking Machines Inkling	975B	63.8
NVIDIA Nemotron 3 Ultra	550B	56.4

この比較は、明示的に米国のオープンウェイトモデルに限定されています。Ricursiveは、チャートに米国以外のオープンウェイトモデルを含めておらず、この選択はHacker Newsの議論でかなりの批判を招きました。

トレーニングコスト：全研究開発で3200万ドル

Ricursiveは、3200万ドルがゼロからの完全な研究開発コストをカバーすると述べており、事前学習ラダーの開発、データミキシング、評価、デバッグ、合成データ生成、ポストトレーニングレシピの開発、および最終的な事前学習とポストトレーニングの実行が含まれます。

同社はこれを、フロンティアトレーニングに関する歴史的な見積もりと比較しています。Sam Altmanの2023年のGPT-4トレーニングが1億ドルを超えたという発言や、Dario Amodeiの2026年から2027年までに事前学習コストが100億ドルから1000億ドルに達する可能性があるという予測です。Ricursiveの脚注は、ReflectionがSpaceX Colossusでコンピュートに月1億5000万ドルを費やしたという報道と、Beamの事前学習に4週間、ポストトレーニングに4週間かかったというReflection自身の報告を指摘しています。

RLレシピ：140万ロールアウトと70倍の削減

Ricursiveは、力任せの強化学習の上昇を意図的に避け、計算効率のためにSFTとRLレシピを反復したと述べています。同社はポストトレーニングデータを購入せず、独自の合成データパイプライン、品質フィルタリング、カバレッジメトリクスを構築しました。

混合RLレシピは、切り詰められた重要度サンプリング、スコアセンタリング、線形長ペナルティを使用し、高品質の長期的な合成環境に対して実行されました。タスクはモデルの能力に合わせて調整され、モデルが向上するにつれて、より難しいタスクが継続的に追加されました。

Ricursiveは、わずか140万ロールアウトでTerminalBench 2.1スコア80.5に達したと報告しており、これは従来のSOTAであるReflection Beamの約70分の1のロールアウト数であると述べています。

アーキテクチャ：高密度、薄型・深層、シンプルなインフラ向け

Ripple-65B Previewは、Mixture-of-Expertsアーキテクチャではなく、近代化された高密度Transformerを使用しています。Ricursiveは、推論とエージェント性能を維持しながら、事前学習とポストトレーニングのインフラストラクチャの複雑さを軽減することを目標としたと述べています。

同社が報告する主要なアーキテクチャ上の選択肢は次のとおりです。

薄型・深層のアスペクト比：狭いd_model（5120）と全80層。
過剰にプロビジョニングされたアテンションヘッド：スライディングウィンドウアテンションとグローバル層の比率を高め、追加コストを相殺するためにSWAウィンドウサイズを縮小。
FFNアクティベーションクリッピング、ゲート付きアテンション、グローバルNoPE、バリュー残差。
40%のMFUを事前学習とポストトレーニング全体で維持。シンプルなシャーディング、カスタムカーネルなし、量子化なしで達成。

モデルラダリング：コードでの計算効率がOlmo 3ラダーと比較して16倍

Ricursiveは、Olmo 3モデルラダーから始め、コーディングに焦点を当てた小規模な介入をテストする一連のモデルラダー実験を通じて、事前学習レシピを最適化しました。

ラダーは、StepFunのバッチサイズと学習率スケーリング則（v1.0）、アーキテクチャの次元と深さを滑らかにスケーリングする新しいラダー（v1.1）、小規模では中立だったが4Bから改善されたポストノームからプレ+ポストノームへの切り替え（v1.2）、シグモイドゲート付きアテンション（v1.3）、4Bスケールで改善しなかったため拒否された2ストリームmHCバリアント（v1.4）、グローバルNoPEと最終LRクールダウンをゼロへ（v1.5）、バリュー残差（v1.6）と進行しました。最終バージョンは、コードを大幅にアップサンプリングしたカスタム事前学習データセットに切り替えました。

Ricursiveは、複合された変更により、dolma_stackクロスエントロピーで測定されるコードの計算効率が4Bモデルスケールで最大16倍向上したと述べています。つまり、最終ラダーはOlmo 3ラダーと同様のコード性能に16分の1の計算量で到達します。同社は、Olmo 3ベースラインの傾きは自社のラダーよりも浅いため、効率の向上はスケールとともに増加するはずだと指摘しています。

Hacker Newsの議論が挑戦した点

支配的な批判は、「SOTA」の狭い定義でした。コメンテーターは、米国のオープンウェイトモデルに範囲を限定することで、実際の分野と比較するエンドユーザーにとってベンチマークの有用性が低下すると主張しました。

「この程度のカテゴリーの狭小化は、『SOTA』という用語をかなり薄めてしまった。あなたがターゲットにしているベンチマークのサブセットにとってのSOTAという意味ですか？違う？では、特定のサイズカテゴリーのモデルにとってのSOTAですか？えっ、ローカル推論に利用できるモデルについてはどうですか？ああ、米国製の特定サイズのオープンモデルにとってのSOTAですか。うーん。素晴らしい！」 — @advael

「自己定義のカテゴリーで最高に見せたいという欲求は理解できます。しかし、実際のオープンウェイトのリーダーとの比較を示さないことは、すべてのベンチマークを実際のエンドユーザー（実際の分野との実際の性能比較を気にする人々）にとって完全に情報のないものにしています。」 — @a11r

数人のコメンテーターが、Qwenとの比較が欠如していることを特に指摘しました。ある人は、投稿が省略した数字を提供しました：Qwen 3.8 Flash NextはTerminalBench 2.1で84.3を獲得し、Qwen 3.8-27Bは73.0を獲得します。

「このモデルはTerminal Bench 2.1で80.5を獲得しています。参考までに、Qwen 3.8 Flash Next（このモデルより大きいが、MoEのため実行コストはおそらく安い）は84.3、Qwen 3.8-27Bは73.0です。このモデルは、Qwenと比較してどれだけベンチマックスされたかによって、競争力があるかもしれません。」 — @2001zhaozhao

「投稿が比較にQwenに言及しないとき、性能が良くないことがわかります。」 — @syntaxing

他の人々は、ベンチマークの選択自体に疑問を呈しました。あるコメンテーターは、TerminalBench 2.1は古く、SWE-benchはOpenAIによって否認され、DeepSWEはGeminiによってベンチマークハッキングされていると主張しました。別の人は、比較チャートを「困惑させる」と呼び、投稿が弱いモデルを選り好みしていると非難しました。

反論として、米国のみの枠組みをコンプライアンスの観点から擁護する声もありました：

「米国の管轄下にない企業のモデルを明示的に使用することを禁止されている状況がいくつかあります。これは、グローバルな視点で見たときにこれらのモデルが競争力があるという意味ではありませんが、無関係な差別化でもありません。」 — @bluejay2387

ローカル推論：高密度65BはMoEとは異なるトレードオフ

コメンテーターは、65Bの高密度モデルは、同様またはそれ以上の総サイズのMoEモデルと比較して、コンシューマーハードウェアでの実行コストが高いと指摘しました。これは、すべてのパラメータがトークンごとにアクティブになるためです。あるコメンテーターは、ターゲット購入者は、IPを保護するためにエアギャップ環境でチップ設計を行う組織であり、サーバーグレードの推論ハードウェアを購入できると推測しました。

「現状では、Qwenの27BクラスのモデルやMOEモデルのようなホビイストやローカルモデル愛好家の間で人気になるのは難しいでしょう。なぜなら、65Bの高密度モデルであり、コンシューマーグレードのハードウェアでは推論が法外に遅くなるからです...これは、IPを保護するためにエアギャップ環境でチップ設計にAIを使用したい企業向けです。」 — @stewartpark

対照的な報告は、高メモリのMac Studioユーザーから来ました。彼は、モデルのサイズが実際にMacクラスターに適していると述べました：

「私の経験では、Macクラスターのスイートスポットは約200GBのウェイトであり、これはそれをはるかに下回ります。実際に実行されるオープンモデルを構築したRicursiveチームにおめでとうございます！」 — @thesnarkitecht

コスト、能力ではなく、本当のストーリーかもしれない

あるコメンテーターは、このモデルは生の性能では目立たないが、トレーニング経済性が注目すべき結果であり、このクラスのモデルは3年以内に500万ドル未満のコストになる可能性があり、クラウドファンディングの努力の範囲内になる可能性があると外挿しました。

未解決の質問

80.52のうちどれだけがベンチマーク固有のチューニングか？ Ricursiveは、RLタスクをモデルの能力に合わせて調整し、モデルが向上するにつれてより難しいタスクを追加したと述べています。これは標準的なプラクティスですが、独立した評価なしではモデル間の比較が難しくなります。
Ripple-65B Previewは、米国以外のオープンウェイトリーダーと比較してどうか？ リリースはこれについて述べておらず、コメンテーターはRippleの報告スコアを上回る少なくとも1つのQwenモデルを置くQwenの数字を提供しました。
高密度アーキテクチャは、より大規模でも持続するか？ Ricursiveは、自社のラダーの傾きがより急であるため、効率の向上はスケールとともに増加すると主張していますが、16倍の数字は4Bモデルスケールで測定されています。
チップ設計バリアントは何をするか？ Ricursiveは、内部バリアントがAIチップ設計プラットフォームを支えていると述べていますが、そのバリアントのベンチマークは公開していません。

Ricursiveは、AI2のOlmoチーム、Prime Intellect、RadixArk、NVIDIAをこの作業のオープンソース基盤としてクレジットし、「モデルからシリコンまでのフルスタックAI」を推進する研究者とエンジニアを採用していると述べています。