反射（Reflection）公司推出首个开放权重模型光束（Beam），其为稀疏混合专家模型，含5010亿总参数与230亿激活参数，面向编程、推理及智能体任务。该模型能力得益于预训练与强化学习（RL）的投入：在23.8万亿高质量token上预训练，并开发支撑大规模高算力RL的算法与设施，于4周中使用10.5K块NVIDIA GB300 GPU生成逾1亿次rollout。Beam正进行最终红队测试，将于本月晚些时候发布权重与技术报告等。

我们推出 Beam，Reflection 首个开放权重模型。Beam 是一个稀疏混合专家模型，总参数 5010 亿，激活参数 230 亿，专为编程、推理和智能体工作负载打造。

Beam 的能力源自在预训练和监督强化学习（RL）上的重大投入。我们在来自网络和专有授权数据集的 23.8 万亿多样、精心筛选的高质量 token 上预训练，匹敌或超越同规模开放基模型。同时，我们开发了支撑超大规模高计算量 RL 的算法、训练环境和基础设施。高计算量 RL 运行在 1.05 万块 NVIDIA GB300 GPU 上，历时 4 周，生成超 1 亿次 rollout。

这些努力共同造就了具有前沿推理计算效率的竞争性开放权重性能。

Beam 正在进行最后的红队测试和评估。可在此链接注册申请早期访问。我们将于本月晚些时候发布权重、技术报告、模型卡和开发者工件。

模型能力

我们训练 Beam 特别侧重编程和智能体性能。Beam 推进了西方开放权重前沿，在编程和智能体任务上可与 GLM 5.2 等更大开放模型竞争，并接近 Qwen 3.8-Max。诸如 Kimi K3 等前沿开放模型在原始能力上仍领先，Beam 的优势在于推理时的效率。

下表展示 Beam 在一系列编程、智能体、推理和 STEM 基准上的表现。NR 表示未报告分数。

| 行标签 | Beam | Inkling | Nemotron 3 Ultra | GLM 5.2 | GLM 5.3 | Kimi K3 | Qwen 3.8 Max | DeepSeek V4.1 Flash | | --- | --- | --- | --- | --- | --- | --- | --- | --- | | DeepSWE v1.1 | 44.4 | NR | NR | 44.0 | 61.0 | 68.0 | 51.0 | 74.2 | | SWE Bench Pro v2-Hard | 77.2 | 56.9 | NR | NR | 84.3 | 88.2 | NR | NR | | SWE Bench Pro v1 | 65.5 | 54.3 | 46.4 | 62.1 | NR | NR | 67.7 | NR | | Terminal Bench v2.1 | 80.1 | 63.8 | 56.4 | 81.0 | 88.2 | 88.3 | 86.6 | 90.6 | | SWE Atlas Codebase QnA | 34.6 | NR | NR | NR | 61.0 | 68.0 | NR | NR | | SWEBench Multilingual | 78.0 | NR | 67.7 | NR | NR | NR | NR | NR | | SWEBench Verified | 80.9 | 77.6 | 70.7 | NR | NR | NR | NR | NR |

Beam 将编程和智能体能力与高效推理结合。在高级推理基准上，它取得与 GLM-5.2 相当的分数，而推理计算量仅为其 1/3 到 1/4。与 Qwen 3.8-Max 等 2T+ 参数家族模型相比，效率提升更明显，后者每 token 需要多得多的推理计算。

这些结果转化为每 token 更多智能，以更低成本提供强模型能力，使 Beam 成为企业编程和智能体工作负载的强力主力模型。

高计算量强化学习

我们将高计算量 RL 作为 Beam 的核心扩展轴，投入 RL 科学、数据和基础设施，将更多计算转化为更强能力。扩展 RL 能更广泛探索问题解决策略，更长 rollout 支持多步推理、工具使用和适应环境反馈。

为扩展 RL，我们部署 1.05 万块 NVIDIA GB300 GPU 运行四周，生成超 1 亿次 rollout，最大上下文长度 256K token。训练和评分用了约 13 亿沙盒。为维持此规模运行，我们获取了 100 万个高质量编程、智能体和 STEM 环境。我们相信这是迄今任何开放实验室进行的最大规模 RL 运行之一。在评测套件中，能力随 RL 计算增加而持续提升，无平台期迹象。

我们以异步策略梯度训练 Beam。在规模上，策略陈旧成为这类方法不稳定的主因。长 rollout 的 token 由多个模型检查点生成，早期 token 相对当前策略越来越陈旧。训练与推理引擎间的数值不匹配加剧了挑战。

我们开发了新算法在这些条件下保持稳定学习，同时系统性减少整个流程中的训练-推理不匹配。这些进展实现了完全异步的大规模 RL，即使从早于当前策略一天以上的交互中学习也稳定。

高效推理学习

我们以可控长度惩罚训练 Beam，奖励成功解法同时抑制多余 token。RL 早期，性能提升而完成长度下降：模型学会用更少推理更有效解题。后期，随着 Beam 发展更强智能体能力，完成长度再次增长，但这些额外 token 带来了性能进一步提升。整个训练过程中，RL 改善了能力与 token 使用间的权衡。

用户可通过 Beam 的推理力度参数控制此权衡：较低设置偏好更短响应，较高设置允许更长推理以提升困难任务性能。这使用户能灵活匹配推理力度与任务和计算预算。

行为如何通过 RL 泛化

我们设计 Beam 的 RL 训练以发展超越训练任务的推理和智能体能力。在针对推理、软件工程和终端任务训练阶段，尽管 RL 混合中无浏览任务，我们看到浏览能力的一致提升。这种迁移表明 Beam 学习了跨领域泛化的更广智能体能力。当给予网络访问，它自发学会搜索和查询其他大语言模型，并使用 OCR API 读取文档。

以下演示展示 Beam 在研究、应用开发、游戏玩法和机器学习工作流中应用这些能力。例子从用公开数据构建实时 NYC 地铁仪表盘，到创建交互式应用和准备模型微调笔记本。尽管 Beam 仅文本，它能处理以文本表示的其他模态信息。在另一个分布外领域，Beam 还为最新的最小 Gemma-4 模型创建了 Text2SQL 任务的微调笔记本。

这些演示共同说明了 Beam 结合推理、编程和工具使用的任务广度。每个例子包含初始请求和结果输出，以及相关设置和用户输入迭代。

扩展强化学习环境

前沿规模 RL 需要大量困难高质量任务。我们构建了近 100 万环境池，主要通过合成数据管线，辅以专有供应商数据和开源来源。

我们严重依赖迭代整理流程。首先，我们在广泛领域合成或获取环境，包括软件工程、终端使用、竞赛编程、STEM、网络搜索、工具使用和通用知识工作。其次，我们严格过滤任务难度（确保既非模型稳定可解也非不可能）和质量（如非欠指定、误导、可猜、可黑客攻击或其他损坏噪声）。第三，我们通过 RL 测试任务，识别进一步质量或难度问题，并为下一轮获取和过滤提供信息。

在 Beam 开发中，我们发现数据质量妥协导致能力平台期和其他训练问题。系统性改进任务质量对维持整个运行的能力增益至关重要，运行结束无饱和迹象。

前沿 RL 基础设施

高计算量智能体 RL 需要生成 rollout、执行工具、评估后果和规模化更新模型。我们构建了异步平台，让这些进程独立运行同时协调经验流和模型更新。

Beam 训练期间，我们维持平均 11 万并发 rollout。七项能力使之可行：

完全异步执行： 代理生成 rollout，同时训练器学习并发布新模型版本。每个 token 标记生成它的版本，使训练算法能在完成 rollout 流入训练时考虑策略陈旧度。

灵活计算分配： 我们根据工作负载演变调整推理与训练平衡，推理与训练 GPU 比在 3.9:1 到 5.4:1 间。我们还在同一训练谱系内调整训练器跨五种 GPU 网格配置而不丢失训练状态。

快速模型更新： 新权重到达推理集群中位数约 12 秒。分层分发通过 RoCE 跨机架传输权重，再通过 NVLink 本地共享。相比每个副本直接拉取权重，这减少 75% 跨机架流量，并使全集群采用新权重快 2.2 倍。

推理故障弹性： 运行期间处理 71 起推理事故而未终止训练任务。推理能力中位数 8 分钟恢复，丢失容量仅占服务 GPU 分钟的 0.02%。

规模化环境： 运行期间我们支持高达 17 万并发沙盒。全平台处理超 10 亿沙盒创建请求，跨越 20 余集群、两朵云和四个区域。90% 新沙盒在 10 秒内就绪。

高效训练器打包： 动态打包使训练批次平均 99.99% 满，当平均 rollout 长度增长近 70% 时保持每 GPU 训练器吞吐在 1.5% 内。

可观测性与奖励完整性： 每 token 记录支持训练和推理间逐步数值一致性检查。独立评判员重新筛查通过解以发现验证器漏洞，而可重放记录使奖励及其训练使用可检查。

这些能力共同使我们能训练更长交互和更苛刻环境，同时保持吞吐、从故障恢复并检查学习过程完整性。

为推理预训练基础

强化学习构建于健壮基模型之上。为促进推理，我们确保 Beam 基础在编程领域有丰富知识、可被放大的先天智能体能力，以及稳定的 MoE 优化动态。

开发 Beam 时，我们预训练一系列递增模型以确立和验证扩展方案。使其性能可预测需精心设计模型层级、策划多样内部代码和网络验证集，并激进去污染所有训练数据。扩展成立；最终 Beam Base 匹配预测性能，也匹敌或超越可及的同规模开源基模型。

稳定均衡的 MoE 优化

Beam 架构和优化方案强调为持续下游 RL 提供数值健康基础。它结合交错局部与全局注意力、细粒度路由专家、受控残差流和多种负载平衡形式，确保稳定、均衡的专家利用和健康残差信号传播。

专家利用方面，我们基于辅助损失自由负载平衡（DeepSeek-AI et al., 2024），引入专家偏置更新的余弦衰减以减少训练后期路由扰动。序列级平衡进一步鼓励预训练分布外数据的均衡专家利用，为下游 RL 分布变化做准备。结果，最终预训练基近乎完美均匀利用，确保所有专家可用于学习推理。

残差流方面，我们开发基于深度的缩放方法抵消子层输出累积导致的激活增长，帮助随模型深度增加保持残差范数稳定。结合 SandwichNorm、逐元素注意力门控和 FP32 残差累积（减少向流中添加小更新时的舍入误差），该方案控制激活增长和离群值，确保 Beam 所有层信号传播健康。此稳定性贯穿预训练、RL 和对齐。

以质量为中心的数据整理

Beam 在来自网络、公共源和专有授权数据集的 23.8 万亿多样高质量 token 上预训练。我们的数据管线旨在为下游智能体编程提供基础：源代码、技术解释和数学科学知识，在每阶段整理中保留。我们训练几乎所有网络公开和无限制许可的代码及代码文档。

我们训练了自己的网络、代码和 STEM 内容质量分类器，将数据分细粒度质量层，并加权训练向更强材料倾斜。经广泛科学迭代，我们显著优化数据整理的精确率和召回率，超越常规 OSS 数据框架的网页过滤器。一方面，约 95% 原始网络 token 通过解析、去重和整理被消除。另一方面，我们发现常规技术会漏掉约 1.8 万亿我们保留的高质量 token，包括 87% 精选网络代码 token。

代码建模需自身整理以达最高性能。每种语言，我们应用单独调优过滤器，移除低质自动生成和不可学内容，训练分类器识别可能损害训练稳定性的损坏内容或代码。过度表示的文件和类型被再平衡以拓宽暴露。

我们还开发了处理 PDF 工件的高吞吐管线，确保 Beam 基在广泛 STEM 主题有知识。它集成视觉语言 OCR 模型与内部质量分类器和工件检测器（捕捉畸形重建），分布跨数千 GPU 处理 PB 级技术数据。

我们重复代码和技术内容多次以增加模型在训练周期内的暴露。这需要仔细关注模糊去重、打包算法和过训练科学，确保每重复数据源助益而非损害泛化。

前沿级预训练基础设施

Beam 在不到四周内端到端预训练于 6144 块 NVIDIA GB300 NVL72 GPU 集群。为实现大规模训练 Beam 所需的可靠性、性能和开发速度，我们几乎构建了整个基础设施栈。这包括跨集群的拓扑感知、基于 Kubernetes 的新型调度器；具连续健康监控和警报的内部节点生命周期系统；以及能半自动回退重启的静默数据损坏（SDC）检测系统。这些系统赋予我们高效稳定训练自身前沿模型的性能和操作控制。

由于训练方案稳定性、基础设施和数据质量的大量投入，整体预训练运行轨迹极平滑。我们执行了九次半自动回退，归因于非确定性梯度范数尖峰或疑似 SDC。此外，由于检查点、故障检测和节点健康管理改进，运行后期 goodput（保留在最终模型中的训练步骤占挂钟时间比例）达 92.3%。

在中间训练中为 RL 建立强先验

我们的中间训练阶段专为高计算量 RL 基础设计，发展知识、推理和工具使用能力，使 Beam 能从更苛刻任务学习。

我们构建多阶段数据整理管线，捕捉真实任务结构和复杂性，同时扩展仅靠原始数据难学的能力覆盖。从精心选真实例子始，这些管线转换、组合和扩展材料为教特定能力的训练数据。这包括暴露模型于扩展逻辑链的长推理富文档。

中间训练还将 Beam 有效上下文长度延至 1M token。我们结合结构化代码仓库、长周期任务和高质长文档教模型跨长序列识别、保留和连接相关信息。

这些能力共同给 RL 更强起点，使 Beam 能探索更复杂解、贯通更长交互、从原本不及任务学习。

安全与对齐

我们的安全和对齐工作涉及从预训练检查点用单独 SFT 和 RL 管线训练第二模型，数据专门针对模型应遵循原则。我们通过多教师同策略蒸馏（MOPD）合并两教师（大规模 RL 教师和专门安全对齐教师）能力。

我们将 Beam 安全对齐原则分三层：

(1) Beam 不应打破的规则：遵循安全策略并保持其作为 AI 代理的身份。

(2) Beam 应持续满足的品质：如使用所给上下文、作出准确声明、承认不确定性、透明遵循用户请求。

(3) Beam 交互的默认风格：直接、彻底、高效并主动预期用户下一步可能需要。

我们设计对齐阶段 RL 环境以激励 Beam 遵守这些原则。许多环境涉及由生成奖励模型判断的非可验证奖励，但我们能用其可预测塑造行为。在运行 RL 前预测奖励如何影响不同行为，我们能比仅靠 Best-of-N 上限更好预测 RL 增益（r=0.79 对比 BoN 的 r=0.46）。这使我们能迭代 rubric 和奖励设计，消除幻觉和过度格式化等行为，提升 Beam 整体交互质量。

我们的安全训练用审慎对齐（Guan et al., 2024）技术将安全策略直接纳入模型推理。数据集对抗性迭代构建：每轮训练模型，生成引发有害或过度拒绝行为的提示，将成功攻击放回下一轮 SFT 混合。安全 RL 中，我们类似获取单轮、多轮、越狱和智能体场景，其中模拟对手施压工具使用模型采取不安全行动，同时减少过度拒绝和有害顺从。

我们将在安全评估技术报告中发布结果，并开源内部开发使用的安全评估，创建开放生态可测试贡献的共享可检标准。

前进之路

此预览展示 Beam 今日能力。我们正在向精选用户群提供 Beam 早期版本；可在此链接注册候补。

我们希望 Beam 广泛可及且易构建。本月我们将以 Apache 2.0 许可发布权重，连同文档和运跑、评估、微调模型的完整栈。我们将与分发伙伴生态推出 Beam，并集成广泛开源库和测试台，使开发者能在现有开源工作流中使用 Beam。

Beam 是系列首模型，也是我们团队致力构建开放智能的首个演示。我们已在训练后续，目标是每次发布都将开放前沿推近智能前沿。

社区对Beam模型公告总体审慎，多数人质疑其“开放权重”实质与基准展示的透明度，少数人肯定西方参与竞争及官方对效率定位的坦诚。

质疑公告以“开放权重”为名却未真正开放且基准对比有误导性

• 模型仅提供注册早期访问，权重和技术细节均未公开；性能图表将更强的开源模型藏在折叠后或排除在图外，只与非前沿模型比较，易造成虚假领先印象（较多人） > 公告把更好的开源模型放到图表折叠外，让人误以为它更强，其实并非如此（@aeetes）

指出Beam在尺寸和成本上不及中国开放模型但欢迎西方入局

• 多个用户对比DeepSeek等中国模型，认为Beam参数更多、运行更贵却各项指标落后；但同时认为西方实验室加入开放权重竞赛有制衡意义，期待后续迭代（较多人） > 西方模型仍远落后于中国，但至少有竞争者出现，避免中美垄断风险（@NorwegianDude）

纠正演示中“新颖谜题”未出现在训练数据的说法

• 公告称陆地水域网格谜题是几天前病毒传播故不可能见于训练集，但实际该任务至少早于公告数月已在其他社区出现，泛化测试前提不成立（少数人） > 让模型画世界地图的谜题早在去年八月就有人讨论，并非最近才出现（@Ariarule）

肯定Beam坦诚自身能力定位并强调推理效率

• 有用户注意到公告承认原始能力不如前沿开放模型，将优势放在推理阶段效率，认为这种不夸大宣传的态度难得（少数人） > 乐于见到公司承认仍需改进而非虚假声称，明确自身推理效率优势（@eaf7e281）

有价值的补充

• 若继承满园区GPU和免费电，高质量训练数据的获取反而成为新瓶颈（@wg0）
• 行业爱用“workhorse”称模型，但马匹早已退出劳作，这词流行纯属用语惯性和SEO（@hypfer）
• 有参与者回忆从预训练首日监控任务，见证模型从零训练过程（@drubs）