
Beam 1.0 在四台 B300 上:推理服务的数学,以及无人发表过的吞吐量声明
- Orca新Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 61 tok/s
- Orca新Orca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百万 tokens · 76 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百万 tokens · 723 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238智能
- OpenAIOpenAI: GPT-6 Sol2026-09-2248智能
- AnthropicAnthropic: Claude Opus 5.52026-09-2258智能
- xAIGrok 4.72026-09-2146智能
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 每百万 tokens · 36 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 每百万 tokens · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040智能
- OpenAIOpenAI: GPT-6 Astra2026-09-0453智能77代码
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241智能76代码
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245智能76代码
- AnthropicAnthropic: Claude Fable 5.12026-09-0153智能82代码
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 每百万 tokens · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 每百万 tokens · 109 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642智能72代码
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 每百万 tokens · 185 tok/s
值得停下来琢磨的数字,在 Reflection 的Beam 1.0发布中,不是 5010 亿。而是四。一个总参数为 5013 亿、每个 token 激活 234 亿的模型,如今能装进一台配有四个通过 NVLink 连接的 NVIDIA B300 GPU 的服务器;而这两个数字之间的差距——在任何给定 token 上,模型约有 4.7% 处于活跃状态——正是这种规模的检查点能被任何没有集群的人下载的全部原因。Reflection 于 2026 年 10 月 16 日在 Apache 2.0 下发布了这些权重,发布材料异常具体地说明了要部署它们需要什么:NVFP4 版本需要四个通过 NVLink 连接的 B300 GPU,FP8 需要八个 H200,BF16 需要八个 B200 或 B300。那张硬件表比基准测试表更有意思,因为它是读者真正可以对照自己的采购清单来核对的部分。
这也是将 Beam 1.0 与它所对标的模型区分开来的部分。Kimi K3 和 GLM-5.2 通过 API 提供服务,其权重要么不公开,要么附带一套不同的条件;Qwen3.8-Max 在旗舰层级上是专有的。Beam 的卖点在于,这笔取舍中困难的那一半——一个可供下载、接近前沿的模型——已经交付,而且服务成本是一个机架,而不是一座数据中心。
10月16日实际降落的究竟是什么?
Reflection 的“Beam 现已可用”帖子日期为 2026 年 10 月 16 日,距该模型于 10 月 5 日发布已过去十一天。已交付四个工件,而精度比标题更重要:
• BF16 — 501.3B 参数,磁盘上 933.81 GiB,188 个 safetensors 分片。参考精度;基准表的第一列。
• FP8 — 在 E4M3 中参数量相同,为 468.72 GiB。使用 NVIDIA ModelOpt 进行量化。推荐用于 Hopper 及更早的硬件。
• NVFP4 —— 一个大小为 273 GiB 的打包 4 位版本。Reflection 自己的服务指南让你下载的就是它,而且它是唯一一个能在 Blackwell 上原生运行、无需付出反量化代价的版本。
• DFlash2 —— 一个 1.93B 参数的推测解码草稿模型,作为独立仓库发布,并作为单独的权重集接入示例命令。
这些检查点背后的架构是稀疏专家混合:52 层,其中 3 层是稠密层,49 层是 MoE,每个 MoE 层有 256 个专家,门控分组查询注意力与滑动窗口注意力混合,以及 152,000 个 token 的词汇表。文本输入,文本输出,模型卡上为 1M token 上下文,API 上最大输出为 131,072 个 token。知识截止日期为 2026 年 6 月 30 日。

文档中没有的吞吐量数字
自这次发布的第一天起,就有一个数字在不断流传:在 Blackwell Ultra 上,每块 GPU 每秒输出超过 70,000 个 token。这是个很吸引人的数字,但值得准确说清楚它出现在哪里、又没出现在哪里。它不在 Reflection 的发布博文中,不在模型卡中,不在 Hugging Face 的发布说明中,也不在开发者文档中。我们在任何第一方来源中都找不到它。
供应商材料确实记录下来的内容是相对值,而非绝对值。模型卡中唯一的一项效率声明是,Beam“在使用大约少 3 倍的推理时推理 token 的情况下,达到与领先开放模型相当的解答质量”,而发布博文则将同一理念表述为“每个 token 带来更多智能”。发布内容中确实公布的唯一一个呈吞吐量形态的数字是实测加速比,而非速率:DFlash2 草稿模型相比单独使用 Beam 将解码速度提升了 1.7 倍到 3.0 倍,该数据是在四块 B300 上针对 NVFP4 检查点测得的,接受长度为 4.11 到 5.88 个 token(最大为 8 个)。这是相对于 Beam 自身基线的比值,因此它完全无法说明每块 GPU 的绝对每秒 token 数——它无论如何都无法敲定 70,000 这个数字。
有一个独立信号表明,这一效率主张并非纯粹的营销说辞。Artificial Analysis 在 Intelligence Index 上测得 Beam 1.0 的输出 token 为 7900 万,而与之对比的模型该项中位数为 1.3 亿——按此指标,Beam 在 46 个模型中排名第 10。这是由第三方统计生成的 token 数,并发现 Beam 比该领域大多数模型都更节省;这一主张虽然弱于单 GPU 吞吐量那样的数字,但得到的支撑要扎实得多。

四块B300在内存方面实际能给你带来什么
服务文档是 Reflection 发布过的最有用的东西,因为它回答了基准表永远不会问的问题。有三个数字格外突出。
• KV 缓存占用 — vLLM 和 NVIDIA Dynamo 配方均默认采用页面大小为 64 个 token 的 FP8 E4M3 缓存;vLLM 配方指出,在八块运行 FP8 检查点的 H200 上,这会使可缓存上下文翻倍至约 1400 万到 2800 万个 token。部署规模应以此数字为准;三 GPU 方案会远在缓存耗尽之前就失败。
• NVFP4 检查点仅量化路由专家。注意力、稠密 MLP、路由器、嵌入和 LM 头保持 BF16,这就是为什么该文件为 273 GiB,而不是完整的 4 位量化流程会得到的 250 多 GiB。在 Blackwell 上,它以 W4A4 运行;在 Hopper 上,vLLM 通过 Marlin 以 BF16 激活提供 FP4 专家。
• 在四块 B300 上的 NVFP4 检查点是参考配置,而 SGLang 方案以固定版本的 Docker 镜像形式发布,其中张量并行度设为 4,DFlash2 草稿器在块大小 8 下启用,并且投机解码与 FP8 KV 缓存一同配置。
还有一个验证工具。这个开源的 beam-verifier CLI 可以对任何运行中的 Beam 端点运行一致性测试套件——请求契约、响应契约、工具协议——然后在主要基准上对其进行评估,这样你就可以将自己的部署,或某个提供商的部署,与 Reflection 的参考分数进行对比。对于一个基准表完全由厂商自报的模型而言,发布一套能让买家复现它的测试工具,是比那张表中任何单个数字都更有分量的承诺。
首日框架支持是部署故事的另一半,而且其覆盖范围比大多数开源发布所能做到的更广:Transformers、vLLM、SGLang、Unsloth、Axolotl、TokenSpeed 和 NVIDIA Dynamo,并附有 SGLang、vLLM 和 TokenSpeed 的分步指南,以及用于 Kubernetes 的 Helm chart。在训练方面,Reflection 列出了其构建工作流所用的技术栈——来自 NVIDIA 的 NeMo RL、AutoModel 和 Megatron Bridge,来自 RadixArk 的 Miles,来自 Hugging Face 的 TRL,来自 Anyscale 的 SkyRL 以及 Axolotl——并公布了其 RL 运行手册中的数字,而非针对它们的硬件数字:四周内 10.5K 块 GB300 GPU、超过 1 亿次 rollout、训练期间最大 256K token 的上下文,以及约 13 亿个沙箱。

API 是存在的,但它仍然没有价格。
除了权重之外,api.reflection.ai 上还提供了一个第一方端点,具备与 OpenAI 兼容的接口,模型 ID 为 Beam-1.0-501B-A23B。它遵循一份有文档记录的契约:强制推理,推理强度可选 max、xhigh、high、medium 和 low,其中 max 为默认值;支持结构化输出和工具调用;组织级速率限制按每分钟和每个 UTC 日的请求数与 token 数计量,并在所有项目和密钥之间共享,因此新增密钥并不会提高这些限制;以及一旦每日配额用尽,429 响应会将 x-should-retry 设为 false,正是这一细节阻止了幼稚的重试循环一直空转到午夜。
文档没有给出每百万 token 的价格,公告也没有。正是这一处遗漏,让买家无法完成效率论证:一个始终进行推理、默认采用最高推理强度、并声称推理 token 只有三分之一的模型,在每百万输出 token 收费 1 美元与 10 美元时,会是不同的商业方案,而目前 Reflection 之外无人能说出它究竟是哪一种。自托管则完全消除了这个问题,并代之以一个资本开支数字,而这至少是一个你能算出来的数字。
这让一个想要尝试它的团队处于什么境地
Beam 1.0 不在我们的路由列表里,所以我们无法为你提供该模型,本文中的任何内容也不应被解读为我们对其可用性的承诺。我们能做的,是让评估这件事变得成本低廉。如果你面前要做的决定,是是否要为一个为期两周的 Beam 试点投入四分之一的工程时间,那么有用的做法是:在试点进行期间,让生产环境继续跑在有公开价目表和实际服务记录的模型上,并提前把回退方案接好。OrcaRouter 用一把兼容 OpenAI 的密钥打通 200 多个模型,按提供商的标价原样透传、不额外加价,因此供应商一旦降价,当天就能反映到你的账单上;而自动故障转移意味着,一个下个月才发现不可用的试点,只是一次路由变更,而不是一次迁移。
在 Beam 所针对的工作负载上,与它最接近的模型都可以通过这种方式获取。值得拿来为试点定价作对比的三款,出自我们自己的产品目录:
• GLM-5.2 — 1,000,000 token 上下文,每百万输入 token 1.40 美元,每百万输出 token 4.40 美元。用于衡量 Reflection 自身效率声明的对照模型。
• Kimi K3 — 1,048,576 token 上下文,每百万输入 token 3.00 美元,缓存 0.30 美元,输出 15.00 美元Reflection 的发布帖文承认,K3 在原始能力方面仍保持领先。
• Qwen3.8-Max —— 1,000,000 token 上下文,每百万输入 $2.00、输出 $6.00,也是 Beam 声称自身效率优势最大的 2 万亿参数级别。
三个值得关注的事项
首先是价格。在 Reflection 公布价目表之前,效率论只是一个关于算力的假设,而非关于金钱的事实,而与 GLM-5.2 或 Kimi K3 的对比也仍是一场关于方法论的争论。
第二个是独立的吞吐量测量。Artificial Analysis 目前将 Beam 列为 Intelligence Index 为 30,但没有速度,也没有价格,因为它为该模型记录的是“没有公开可用的 API”。当这一点发生变化时,每 GPU 的问题就会得到一个并非源自厂商的答案。
第三点是验证器是否会被实际使用。没人运行的一致性测试套件只是文档;而十几个部署都发布结果的一致性测试套件则是基准。Beam 1.0 在第零天就交付了该工具。它是否会交付那些数字,才是仍然悬而未决的部分。
这一切都并非假设:像本次这样的发布背后那些有据可查的 AI 故障与智能体事件,均收录于 OrcaRouter AI 事件档案库中,其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。
本文中的对比1
根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新
