一张生成的 hero 卡片,标题为“Beam 1.0 - 四 GPU 服务数学”,副标题为“总计 501.3B,每个 token 激活 23.4B”。三张圆角卡片并排排列:第一张写着“273 GiB”、“4x B300 SXM,NVLink”、“参考构建”;第二张写着“468.72 GiB”、“运行于 8x H200”、“E4M3,ModelOpt”;第三张写着“933.81 GiB”、“8x B200 或 B300”、“188 个 safetensors 分片”。底部一行写着“服务配方将 KV 缓存保持为 FP8 E4M3,并使用 64-token 页面。”。OrcaRouter 徽标合成在图像下方的条带中,位于右下角。
Guides & Insights

Beam 1.0 在四台 B300 上:推理服务的数学,以及无人发表过的吞吐量声明

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

值得停下来琢磨的数字,在 Reflection 的Beam 1.0发布中,不是 5010 亿。而是四。一个总参数为 5013 亿、每个 token 激活 234 亿的模型,如今能装进一台配有四个通过 NVLink 连接的 N​VIDIA B300 GPU 的服务器;而这两个数字之间的差距——在任何给定 token 上,模型约有 4.7% 处于活跃状态——正是这种规模的检查点能被任何没有集群的人下载的全部原因。Reflection 于 2026 年 10 月 16 日在 Apache 2.0 下发布了这些权重,发布材料异常具体地说明了要部署它们需要什么:NVFP4 版本需要四个通过 NVLink 连接的 B300 GPU,FP8 需要八个 H200,BF16 需要八个 B200 或 B300。那张硬件表比基准测试表更有意思,因为它是读者真正可以对照自己的采购清单来核对的部分。

这也是将 Beam 1.0 与它所对标的模型区分开来的部分。Kimi K3 和 GLM-5.2 通过 API 提供服务,其权重要么不公开,要么附带一套不同的条件;Qwen3.8-Max 在旗舰层级上是专有的。Beam 的卖点在于,这笔取舍中困难的那一半——一个可供下载、接近前沿的模型——已经交付,而且服务成本是一个机架,而不是一座数据中心。

10月16日实际降落的究竟是什么?

Reflection 的“Beam 现已可用”帖子日期为 2026 年 10 月 16 日,距该模型于 10 月 5 日发布已过去十一天。已交付四个工件,而精度比标题更重要:

• BF16 — 501.3B 参数,磁盘上 933.81 GiB,188 个 safetensors 分片。参考精度;基准表的第一列。

• FP8 — 在 E4M3 中参数量相同,为 468.72 GiB。使用 NVIDIA ModelOpt 进行量化。推荐用于 Hopper 及更早的硬件。

• NVFP4 —— 一个大小为 273 GiB 的打包 4 位版本。Reflection 自己的服务指南让你下载的就是它,而且它是唯一一个能在 Blackwell 上原生运行、无需付出反量化代价的版本。

• DFlash2 —— 一个 1.93B 参数的推测解码草稿模型,作为独立仓库发布,并作为单独的权重集接入示例命令。

这些检查点背后的架构是稀疏专家混合:52 层,其中 3 层是稠密层,49 层是 MoE,每个 MoE 层有 256 个专家,门控分组查询注意力与滑动窗口注意力混合,以及 152,000 个 token 的词汇表。文本输入,文本输出,模型卡上为 1M token 上下文,API 上最大输出为 131,072 个 token。知识截止日期为 2026 年 6 月 30 日。

Screenshot of the Hugging Face model card for Reflection's Beam-1.0-501B-A23B-NVFP4 repository, showing the Apache 2.0 licence badge, the tags TextGeneration, Safetensors, English, mixture-of-experts, reasoning, code, tool-use, nvfp4, conversational and 8-bit precision modelopt, 24 likes and 864 downloads in the last month, a model size of 255B parameters in the safetensors panel, the model card opening on Beam as an open model built by Reflection that takes text in and generates text out, and the note that the release also includes BF16 and FP8 checkpoints.

文档中没有的吞吐量数字

自这次发布的第一天起,就有一个数字在不断流传:在 Blackwell Ultra 上,每块 GPU 每秒输出超过 70,000 个 token。这是个很吸引人的数字,但值得准确说清楚它出现在哪里、又没出现在哪里。它不在 Reflection 的发布博文中,不在模型卡中,不在 Hugging Face 的发布说明中,也不在开发者文档中。我们在任何第一方来源中都找不到它。

供应商材料确实记录下来的内容是相对值,而非绝对值。模型卡中唯一的一项效率声明是,Beam“在使用大约少 3 倍的推理时推理 token 的情况下,达到与领先开放模型相当的解答质量”,而发布博文则将同一理念表述为“每个 token 带来更多智能”。发布内容中确实公布的唯一一个呈吞吐量形态的数字是实测加速比,而非速率:DFlash2 草稿模型相比单独使用 Beam 将解码速度提升了 1.7 倍到 3.0 倍,该数据是在四块 B300 上针对 NVFP4 检查点测得的,接受长度为 4.11 到 5.88 个 token(最大为 8 个)。这是相对于 Beam 自身基线的比值,因此它完全无法说明每块 GPU 的绝对每秒 token 数——它无论如何都无法敲定 70,000 这个数字。

有一个独立信号表明,这一效率主张并非纯粹的营销说辞。Artificial Analysis 在 Intelligence Index 上测得 Beam 1.0 的输出 token 为 7900 万,而与之对比的模型该项中位数为 1.3 亿——按此指标,Beam 在 46 个模型中排名第 10。这是由第三方统计生成的 token 数,并发现 Beam 比该领域大多数模型都更节省;这一主张虽然弱于单 GPU 吞吐量那样的数字,但得到的支撑要扎实得多。

Screenshot of the SGLang Cookbook documentation site showing Beam 1.0 listed under the Reflection heading with a New badge among the autoregressive-model vendors, and the deployment panel below it offering Blackwell NVFP4, FP8 and BF16 recipes on B300, GB300 and H200 hardware, with the generated Docker command setting page-size 64, context-length 1048576 and the DFlash2 drafter at block size 8.

四块B300在内存方面实际能给你带来什么

服务文档是 Reflection 发布过的最有用的东西,因为它回答了基准表永远不会问的问题。有三个数字格外突出。

• KV 缓存占用 — vLLM 和 NVIDIA Dynamo 配方均默认采用页面大小为 64 个 token 的 FP8 E4M3 缓存;vLLM 配方指出,在八块运行 FP8 检查点的 H200 上,这会使可缓存上下文翻倍至约 1400 万到 2800 万个 token。部署规模应以此数字为准;三 GPU 方案会远在缓存耗尽之前就失败。

• NVFP4 检查点仅量化路由专家。注意力、稠密 MLP、路由器、嵌入和 LM 头保持 BF16,这就是为什么该文件为 273 GiB,而不是完整的 4 位量化流程会得到的 250 多 GiB。在 Blackwell 上,它以 W4A4 运行;在 Hopper 上,vLLM 通过 Marlin 以 BF16 激活提供 FP4 专家。

• 在四块 B300 上的 NVFP4 检查点是参考配置,而 SGLang 方案以固定版本的 Docker 镜像形式发布,其中张量并行度设为 4,DFlash2 草稿器在块大小 8 下启用,并且投机解码与 FP8 KV 缓存一同配置。

还有一个验证工具。这个开源的 beam-verifier CLI 可以对任何运行中的 Beam 端点运行一致性测试套件——请求契约、响应契约、工具协议——然后在主要基准上对其进行评估,这样你就可以将自己的部署,或某个提供商的部署,与 Reflection 的参考分数进行对比。对于一个基准表完全由厂商自报的模型而言,发布一套能让买家复现它的测试工具,是比那张表中任何单个数字都更有分量的承诺。

首日框架支持是部署故事的另一半,而且其覆盖范围比大多数开源发布所能做到的更广:Transformers、vLLM、SGLang、Unsloth、Axolotl、TokenSpeed 和 N​VIDIA Dynamo,并附有 SGLang、vLLM 和 TokenSpeed 的分步指南,以及用于 Kubernetes 的 Helm chart。在训练方面,Reflection 列出了其构建工作流所用的技术栈——来自 N​VIDIA 的 NeMo RL、AutoModel 和 Megatron Bridge,来自 RadixArk 的 Miles,来自 Hugging Face 的 TRL,来自 Anyscale 的 SkyRL 以及 Axolotl——并公布了其 RL 运行手册中的数字,而非针对它们的硬件数字:四周内 10.5K 块 GB300 GPU、超过 1 亿次 rollout、训练期间最大 256K token 的上下文,以及约 13 亿个沙箱。

A generated single-column scoreboard titled "Beam 1.0 - the scoreboard". The rows read 'Total parameters: 501.3B', 'Active per token: 23.4B, a 4.7% activation ratio', 'Context: 1M tokens on the card, 131,072 max output on the API', 'Licence: Apache 2.0, weights out 16 Oct 2026', 'Serving floor: 4x B300 SXM on NVLink for the 273 GiB NVFP4 build', 'Independent index: 30, ranked 19th of 120'. The sourcing footer reads "Serving figures from Reflection's own deployment docs; index per Artificial Analysis v4.3.2. No first-party source publishes a per-GPU throughput figure.". The OrcaRouter logo is composited in the strip below the artwork, bottom right.

API 是存在的,但它仍然没有价格。

除了权重之外,api.reflection.ai 上还提供了一个第一方端点,具备与 OpenAI 兼容的接口,模型 ID 为 Beam-1.0-501B-A23B。它遵循一份有文档记录的契约:强制推理,推理强度可选 max、xhigh、high、medium 和 low,其中 max 为默认值;支持结构化输出和工具调用;组织级速率限制按每分钟和每个 UTC 日的请求数与 token 数计量,并在所有项目和密钥之间共享,因此新增密钥并不会提高这些限制;以及一旦每日配额用尽,429 响应会将 x-should-retry 设为 false,正是这一细节阻止了幼稚的重试循环一直空转到午夜。

文档没有给出每百万 token 的价格,公告也没有。正是这一处遗漏,让买家无法完成效率论证:一个始终进行推理、默认采用最高推理强度、并声称推理 token 只有三分之一的模型,在每百万输出 token 收费 1 美元与 10 美元时,会是不同的商业方案,而目前 Reflection 之外无人能说出它究竟是哪一种。自托管则完全消除了这个问题,并代之以一个资本开支数字,而这至少是一个你能算出来的数字。

这让一个想要尝试它的团队处于什么境地

Beam 1.0 不在我们的路由列表里,所以我们无法为你提供该模型,本文中的任何内容也不应被解读为我们对其可用性的承诺。我们能做的,是让评估这件事变得成本低廉。如果你面前要做的决定,是是否要为一个为期两周的 Beam 试点投入四分之一的工程时间,那么有用的做法是:在试点进行期间,让生产环境继续跑在有公开价目表和实际服务记录的模型上,并提前把回退方案接好。OrcaRouter 用一把兼容 OpenAI 的密钥打通 200 多个模型,按提供商的标价原样透传、不额外加价,因此供应商一旦降价,当天就能反映到你的账单上;而自动故障转移意味着,一个下个月才发现不可用的试点,只是一次路由变更,而不是一次迁移。

在 Beam 所针对的工作负载上,与它最接近的模型都可以通过这种方式获取。值得拿来为试点定价作对比的三款,出自我们自己的产品目录:

• GLM-5.2 — 1,000,000 token 上下文,每百万输入 token 1.40 美元,每百万输出 token 4.40 美元。用于衡量 Reflection 自身效率声明的对照模型。

• Kimi K3 — 1,048,576 token 上下文,每百万输入 token 3.00 美元,缓存 0.30 美元,输出 15.00 美元Reflection 的发布帖文承认,K3 在原始能力方面仍保持领先。

• Qwen3.8-Max —— 1,000,000 token 上下文,每百万输入 $2.00、输出 $6.00,也是 Beam 声称自身效率优势最大的 2 万亿参数级别。

三个值得关注的事项

首先是价格。在 Reflection 公布价目表之前,效率论只是一个关于算力的假设,而非关于金钱的事实,而与 GLM-5.2 或 Kimi K3 的对比也仍是一场关于方法论的争论。

第二个是独立的吞吐量测量。Artificial Analysis 目前将 Beam 列为 Intelligence Index 为 30,但没有速度,也没有价格,因为它为该模型记录的是“没有公开可用的 API”。当这一点发生变化时,每 GPU 的问题就会得到一个并非源自厂商的答案。

第三点是验证器是否会被实际使用。没人运行的一致性测试套件只是文档;而十几个部署都发布结果的一致性测试套件则是基准。Beam 1.0 在第零天就交付了该工具。它是否会交付那些数字,才是仍然悬而未决的部分。

这一切都并非假设:像本次这样的发布背后那些有据可查的 AI 故障与智能体事件,均收录于 OrcaRouter AI 事件档案库中,其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新