Reflection Beam 501B 开源权重模型：架构、训练与早期基准测试

核心要点

Reflection 的 Beam 模型引入了一种 5010 亿参数的稀疏专家混合（MoE）架构，推理时仅激活 230 亿参数，其编码和代理能力与更大规模的前沿模型相当，但每 token 所需计算量减少了 3–4 倍。

模型概览

Beam 是什么 – Beam 是 Reflection 首款开源权重模型，基于稀疏 MoE 架构，总参数量达 5010 亿，但每 token 仅激活约 230 亿（专家）参数。该模型针对三大工作负载：编码、推理和代理（工具使用）任务。

为何架构至关重要 – 通过每 token 激活少量专家子集，Beam 降低了推理所需的 FLOP 数量。作者声称其计算量比 GLM‑5.2 低 3–4 倍，甚至在 2 万亿以上模型（如 Qwen‑3.8‑Max）面前也展现出更大的效率优势。

预训练基础

数据量 – 来自网络来源、专有授权数据集和广泛代码语料库的 23.8 万亿条精心筛选的 token。
计算预算 – 在 6,144 块 NVIDIA GB300 NVL72 GPU 上，预训练在不到四周内完成，最终阶段的高效利用率（good‑put）达到 92.3%。
质量导向流程 – 使用自定义分类器对网络、代码和 STEM 内容进行过滤与重加权；约 95% 的原始互联网 token 被丢弃，但仍有 1.8 万亿条高质量 token 被保留，这些是常规流程中容易遗漏的。
MoE 稳定性 – 无需辅助损失的负载均衡、余弦衰减的专家偏置更新以及序列级均衡，实现了近乎均匀的专家利用率（繁忙专家负载为 1.04 倍）。残差流缩放、SandwichNorm 和 FP32 累加确保了 52 层中激活范数的稳定。

高算力强化学习（RL）

规模 – 10.5K 块 NVIDIA GB300 GPU 运行四周，跨约 100 万个沙盒环境生成超过 1 亿次 rollout（最大上下文 256K token）。
算法进步 – 采用异步策略梯度训练，具备处理策略陈旧性（样本最老可达一天）和数值不匹配的机制，即使存在较大 rollout 延迟，仍保持稳定性。
效率提升 – 可控的长度惩罚机制在 RL 早期鼓励 token 高效解决方案；后期通过更长的推理过程提升在困难任务上的表现，为用户提供了可调节的“推理投入”参数。
泛化能力 – 在编码和终端任务上进行的 RL 训练成功迁移到了未见过的领域，如网页浏览和 OCR，尽管这些任务并未出现在 RL 混合数据中。

基准测试表现

编码与代理任务（精选结果）

基准测试	Beam	Inkling	Nemotron 3 Ultra	GLM 5.2	GLM 5.3	Kimi K3	Qwen 3.8 Max	DeepSeek V4.1 Flash
DeepSWE v1.1	44.4	NR	NR	44.0	61.0	68.0	51.0	74.2
SWE Bench Pro v2‑Hard	77.2	56.9	NR	NR	84.3	88.2	NR	NR
Terminal Bench v2.1	80.1	63.8	56.4	81.0	88.2	88.3	86.6	90.6
SWEBench Verified	80.9	77.6	70.7	NR	NR	NR	NR	NR

解读 – Beam 在多个编码基准测试中与 GLM‑5.2 表现相当甚至超越，但推理计算量仅为后者的几分之一。尽管在原始得分上落后于最大规模的开源模型（如 Kimi K3、DeepSeek V4.1 Flash），但其每 token 的 FLOPs 更低，具备显著的效率优势。

前沿级 RL 的基础设施

异步执行 – rollout 持续进行，同时发布新的策略检查点；每个 token 记录其来源版本。
动态计算分配 – 推理到训练 GPU 比例在 3.9:1 到 5.4:1 之间波动；训练网格大小可动态缩放而无需丢失状态。
快速权重传播 – 新权重在推理集群中分发的中位时间仅为 12 秒，跨机架流量减少 75%，实现 2.2 倍加速。
可靠性 – 71 次推理故障仅导致 0.02% 的 GPU 分钟损失；中位恢复时间为 8 分钟。
沙盒扩展 – 最多支持 17 万个并发沙盒；跨多个云和区域处理超过 10 亿次沙盒创建请求。

安全与对齐

两阶段对齐 – 通过独立的 SFT + RL 流程训练了一个以安全为重点的教师模型；两个教师模型通过多教师在线蒸馏合并。
对齐原则 – (1) 不违反安全规则；(2) 一致满足事实性、不确定性承认等品质；(3) 采用直接、详尽、高效的交互风格。
奖励建模 – 在不可验证的 RL 环境中使用生成式奖励模型；奖励预测与 RL 后改进高度相关（r = 0.79），从而系统性减少幻觉和过度格式化。
审慎对齐 – 通过迭代对抗性数据收集生成有害提示；成功攻击被反馈至 SFT，提升了对越狱攻击的鲁棒性。

社区反响（Hacker News 精选）

正面评价 – 用户称赞新增了一位开源权重竞争者，强调竞争对生态系统的必要性。
批评意见 – 多位评论者指出，Beam 的基准表格遗漏了更强的开源模型（如 DeepSeek V4.1 Flash），且模型尚未公开下载，限制了即时验证。
硬件顾虑 – 对在消费级硬件上运行 5010 亿 MoE 模型的可行性提出质疑；当前访问方式为等待列表 API。
地缘政治背景 – 一些观察者对比了西方与中国的开源权重努力，指出目前中国实验室在原始能力上处于领先地位。

展望

Reflection 计划本月晚些时候以 Apache 2.0 许可证发布 Beam 的权重，同时提供技术报告、模型卡片和开发者工具。该模型定位为面向企业编码与代理任务的“主力”工具，重点在于推理效率而非模型规模。后续发布将基于相同的 MoE 和高算力 RL 基础设施，旨在缩小与顶尖前沿模型的差距。

所有图表和基准数据均直接取自 Reflection 的博客文章及相关的 Hacker News 讨论；未添加任何外部数据。