Ripple-65B 预览版：Ricursive 的 3200 万美元开源权重模型声称在智能体编码领域达到美国顶尖水平
Ricursive Intelligence 发布了 Ripple-65B 预览版，这是一个 650 亿参数的密集开源权重语言模型，该公司称其在智能体编码方面达到了美国开源权重模型的顶尖水平，在 TerminalBench 2.1 上得分 80.52。最引人注目的声明不仅是基准测试分数，还有价格：Ricursive 表示，该模型从零开始开发和训练的总研发成本为 3200 万美元，据其所知，这大约是此前智能体编码领域开源权重顶尖模型成本的十分之一。
Ripple-65B 预览版是驱动 Ricursive AI 芯片设计平台的专有模型的一个通用变体。Ricursive 将自己描述为一个全栈 AI 实验室，通过协同优化硬件、软件和模型来构建自我改进的系统。
Ripple-65B 预览版是什么
Ripple-65B 预览版是一个拥有 650 亿参数的密集 Transformer，在 12 万亿个 token 上进行了预训练，支持高达 100 万 token 的上下文长度。Ricursive 针对自己的训练和服务平台优化了架构，而不是采用专家混合（MoE）设计。
该模型可在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上获取，Fireworks 将在发布当天晚些时候上线。
基准测试声明：TerminalBench 2.1 上的美国开源权重顶尖水平
Ricursive 报告称 Ripple-65B 预览版在 TerminalBench 2.1 上的得分为 80.52，并将其与四个更大的美国开源权重模型进行了比较：
| 模型 | 参数 | TerminalBench 2.1 |
|---|---|---|
| Ripple-65B 预览版 | 65B（密集） | 80.52 |
| Reflection Beam | 501B | 80.1 |
| Meta Muse Spark Open | 816B | 76.4 |
| Thinking Machines Inkling | 975B | 63.8 |
| NVIDIA Nemotron 3 Ultra | 550B | 56.4 |
该比较明确限定在美国开源权重模型范围内。Ricursive 没有在图表中包括非美国开源权重模型，这一选择在 Hacker News 讨论中引起了大量批评。
训练成本：完整研发运行 3200 万美元
Ricursive 表示，3200 万美元涵盖了从零开始的完整研发成本，包括预训练阶梯开发、数据混合、评估、调试、合成数据生成、后训练配方开发，以及最终的预训练和后训练运行。
该公司将此与前沿训练的历史估计进行了对比：Sam Altman 在 2023 年表示 GPT-4 的训练成本超过 1 亿美元，而 Dario Amodei 预测到 2026-2027 年预训练成本可能达到 100 亿至 1000 亿美元。Ricursive 的脚注指出，有报道称 Reflection 在 SpaceX Colossus 每月为计算投入 1.5 亿美元，并且 Reflection 自己报告称 Beam 的预训练耗时四周，后训练耗时四周。
RL 配方：140 万次 rollout 和 70 倍缩减
Ricursive 表示，它刻意避免了蛮力强化学习爬升，而是迭代了 SFT 和 RL 配方以提高计算效率。该公司没有购买任何后训练数据，而是构建了自己的合成数据管道、质量过滤和覆盖率指标。
混合 RL 配方使用截断重要性采样、分数中心化和线性长度惩罚，针对高质量的长视野合成环境运行。任务根据模型的能力进行调整，随着模型的改进，不断添加更难的任务。
Ricursive 报告称，仅用 140 万次 rollout 就达到了 TerminalBench 2.1 得分 80.5，它将其描述为大约是此前顶尖模型 Reflection Beam 的 70 倍更少的 rollout。
架构：密集、细长且深，专为简单基础设施设计
Ripple-65B 预览版使用现代化的密集 Transformer，而不是专家混合架构。Ricursive 表示，目标是降低预训练和后训练基础设施的复杂性，同时保持推理和智能体性能。
该公司报告的关键架构选择：
- 细长且深的纵横比，具有窄的
d_model（5120）和总共 80 层。 - 过度配置的注意力头，具有更高的滑动窗口注意力与全局层比率，并减小了 SWA 窗口大小以抵消增加的成本。
- FFN 激活裁剪、门控注意力、全局 NoPE 和值残差。
- 40% MFU 在预训练和后训练中持续保持，通过简单的分片实现，无需自定义内核，也无需量化。
模型阶梯：代码计算效率比 Olmo 3 阶梯提高 16 倍
Ricursive 通过一系列模型阶梯实验优化了其预训练配方，从 Olmo 3 模型阶梯开始，在小规模下测试干预措施，重点关注编码。
阶梯经历了 StepFun 批量大小和学习率缩放定律（v1.0）、一个新的平滑缩放架构维度和深度的阶梯（v1.1）、从后归一化切换到前后归一化（在小规模下中性，但从 4B 开始改进）（v1.2）、sigmoid 门控注意力（v1.3）、一个被拒绝的 2 流 mHC 变体（因为在 4B 规模下没有改进）（v1.4）、全局 NoPE 加上最终 LR 冷却到零（v1.5），以及值残差（v1.6）。最终版本切换到了自定义预训练数据集，其中代码大幅上采样。
Ricursive 表示，这些复合变化将代码计算效率提高了高达 4B 模型规模下的 16 倍（以 dolma_stack 交叉熵衡量）——这意味着最终阶梯以 16 倍更少的计算量达到了与 Olmo 3 阶梯相似的代码性能。该公司指出，Olmo 3 基线斜率比自己的阶梯更浅，因此效率提升应随规模增加而增加。
Hacker News 讨论中提出的挑战
主要的批评是对“SOTA”的狭隘定义。评论者认为，将声明限定在美国开源权重模型范围内，使得基准测试对最终用户与真实领域进行比较的用处降低。
“这种程度的类别缩小确实大大稀释了‘SOTA’这个词。你的意思是它是你针对的基准测试子集的顶尖水平？不是？那它肯定是某个大小类别模型的顶尖水平？嗯，那些可用于本地推理的模型呢？哦，是专门在美国制造的某个大小的开源模型的顶尖水平。呃。不错！” — @advael
“我理解想要在自己定义的类别中看起来最好的愿望。但不与真正的开源权重领导者进行比较，使得所有基准测试对实际最终用户来说完全无信息量（他们关心的是与真实领域的实际性能比较）。” — @a11r
几位评论者特别指出了缺少 Qwen 比较的问题。一位评论者提供了帖子遗漏的数字：Qwen 3.8 Flash Next 在 TerminalBench 2.1 上得分 84.3，Qwen 3.8-27B 得分 73.0。
“这个模型在 Terminal Bench 2.1 上得分 80.5。作为参考，Qwen 3.8 Flash Next（比这个模型大，但由于 MoE 可能运行成本更低）得分 84.3，Qwen 3.8-27B 得分 73.0。我认为这个模型可能具有竞争力，取决于它与 Qwen 相比有多少基准测试优化？” — @2001zhaozhao
“当帖子不提 Qwen 进行比较时，你就知道性能不会太好。” — @syntaxing
其他人则质疑基准测试选择本身。一位评论者认为 TerminalBench 2.1 已经过时，SWE-bench 被 OpenAI 否认，而 DeepSWE 被 Gemini 基准测试攻击。另一位评论者称比较图表“令人困惑”，并指责帖子挑选了较弱的模型。
一个反驳观点以合规为由为仅限美国的框架辩护：
“在某些情况下，我们中的一些人被明确禁止使用来自不受美国管辖的公司的模型。这并不意味着这些模型在全球视角下具有竞争力，但也不是一个无关紧要的区分。” — @bluejay2387
本地推理：密集 65B 是与 MoE 不同的权衡
评论者指出，与类似或更大总大小的 MoE 模型相比，65B 密集模型在消费级硬件上运行成本高昂，因为每个 token 所有参数都是激活的。一位评论者推测，目标买家是在气隙环境中进行芯片设计、能够负担服务器级推理硬件的组织。
“就目前而言，它可能很难在爱好者和本地模型爱好者中流行起来，比如 Qwen 的 27B 类模型或 MoE 模型，因为它是一个 65B 密集模型，在消费级硬件上推理会慢得令人望而却步……这是为那些希望在气隙环境中使用 AI 进行芯片设计以保护其知识产权的公司准备的。” — @stewartpark
一个对比报告来自一位高内存 Mac Studio 用户，他说该模型的大小实际上非常适合 Mac 集群：
“根据我的经验，Mac 集群的最佳点大约是 200GB 的权重，这远低于这个数字。祝贺 recursive 团队构建了一个真正可以运行的开源模型！” — @thesnarkitecht
成本，而非能力，可能是真正的故事
一位评论者认为，该模型在原始性能上并不出众，但训练经济学是值得注意的结果，他推断这类模型在三年内可能成本低于 500 万美元——可能达到众筹努力的范围。
未解决的问题
- 80.52 中有多少是特定于基准测试的调整？ Ricursive 描述了针对其模型能力调整的 RL 任务，并随着模型改进添加更难的任务，这是标准做法，但如果没有独立评估，跨模型比较会更加困难。
- Ripple-65B 预览版与非美国开源权重领导者相比如何？ 发布中没有说明，评论者提供的 Qwen 数字表明至少有一个 Qwen 模型高于 Ripple 报告的得分。
- 密集架构在更大规模下是否仍然有效？ Ricursive 认为其阶梯更陡的斜率意味着效率提升随规模增加而增长，但 16 倍的数字是在 4B 模型规模下测量的。
- 芯片设计变体做什么？ Ricursive 表示，一个内部变体驱动其 AI 芯片设计平台，但尚未发布该变体的基准测试。
Ricursive 感谢 AI2 的 Olmo 团队、Prime Intellect、RadixArk 和 NVIDIA 作为这项工作的开源基础，并表示正在招聘研究人员和工程师，以推动“从模型到硅片的全栈 AI”。