Beam 1.0 与 MathForm 8B：一个模型的错误被编译器捕获

让 MathForm 8B将一个定理形式化，答案要么是一条能编译通过的 Lean 4 陈述，要么不是。再让 Beam 1.0修好一个 bug，答案要么是一个能跑起来的 diff，要么不是——而这两者之间的距离，恰恰就是这些模型之间的全部差别。MathForm 8B 是 OpenBMB 的 81.9 亿参数自动形式化模型，基于阿里巴巴的 Qwen3-8B 构建，并在 FormalVerse 上训练——该语料库包含约 367,000 条经过验证的 Lean 4 示例——训练方式是先做监督微调，再依据 Lean 编译与语义一致性反馈进行强化学习；它于 2026 年 8 月 14 日发布，采用 Apache 2.0 许可。Beam 1.0 是 Reflection 的 5013 亿参数稀疏专家混合模型，每个 token 激活 234 亿参数，于 2026 年 10 月 5 日发布，10 月 16 日以可下载权重的形式提供，同样采用 Apache 2.0 许可。二者的规模之比是 61 比 1，而这是整页里最没意思的数字。

有意思的是，MathForm 8B 能产生一种机器无需信任任何人即可裁定的输出，而 Beam 1.0 不能。下文的一切都由此而来。

每个模型被要求生成的内容

MathForm 8B 只有一个输出契约。它接收用普通散文写成的数学陈述，并返回一个 Lean 4 陈述——一个头部、一个具名定理、假设和目标。训练流水线围绕这种形态构建：通过 Mathlib 知识检索将陈述锚定到现有定义中，通过编译和语义验证来剔除不良候选，通过迭代改进来修复它们，然后通过轨迹重建将存活下来的样本转化为训练数据。论文报告称，模型在六个基准上于语法检查下平均 Pass@8 为 88.06%，在一致性检查下为 72.37%。这些是 OpenBMB 的数字，未被其他任何人复现，并且在评估中更偏向较容易的集合——但这些数字所涉及的任务是有正确答案的。

Beam 1.0 没有这样的契约。它是一款通用模型：其模型卡描述了聊天模板、带有 analysis 和 final 两个通道的 Harmony 风格线格式、六个推理强度等级（分别对应 8、32、64、128、256 和 512 的 token 预算），以及一种工具调用约定——函数以扁平 TypeScript 声明，并在 XML 主体中调用。它的评测覆盖智能体编程（SWE-bench Verified 在 BF16 上 81.6%，Terminal Bench v2.1 80.1，SWE Bench Pro v1 66.1，DeepSWE v1.1 43.3）、推理（GPQA Diamond 90.6，AIME 2026 97.7，LiveCodeBench 88.3）、工具使用（MCP Atlas 80.8）和通用能力（LongBench v2 67.5，IFBench 79.6）。每一个数字都出自 Reflection 自己。它写出的代码是否*正确*，要靠运行它、审查它，或者把它发布出去看看结果来确定。

所以：一个模型的失败会自行暴露。另一个模型的失败则是普通的软件故障，它们来得更晚，出现在评审或生产环境中，看起来和你以往遇到的每一个 bug 都一样。

这些基准并不重叠，而这正是发现所在。

把两个评估集并排放好，几乎没有什么可删减的。

• Beam 1.0 的评分依据——仓库级问题解决、终端任务、竞赛编程、研究生水平的科学问题、工具编排、长上下文回忆与指令遵循。

• MathForm 8B 的评分内容 —— 在语法检查器和语义一致性检查器下的 Pass@8 形式化准确率，跨六个数学基准，并与论文中 7B 到 32B 的专用基线进行对比。

• 重叠——基本上为零。不存在这样一行：两个模型由同一方在同一任务上测量，而且将来也不会有，因为一个衡量的是通用能力，另一个衡量的是单一可验证的变换。

• 概念上确实存在的唯一共同维度——推理——是在不同群体上衡量的。Beam 1.0 在 GPQA Diamond 上的 90.6 分是科学多选题得分。MathForm 8B 的 72.37% 一致性率是一项形式化检查。两者都无法预测对方。

这就是为什么在这里做规模比较会误导人，而不只是显得不体面。Beam 1.0 的体量是该模型的六十一倍，但如果没有为此接受过训练，它根本做不了 MathForm 8B 的工作——其输出契约狭窄到通用能力无法替代它的程度。一个 501B 的通用模型如果被要求生成一个带有正确头部的具名 Lean 定理，就会产出看似合理却常常错误的东西；对证明助手来说，这是最糟糕的失败模式。

运行其中任何一个所需具备的条件

MathForm 8B 继承 Qwen3-8B 的许可证，Hub 上记录为 Apache 2.0，而这正是它的现实理由：81.9 亿稠密参数、纯英语模型、将生成预算收窄到 Lean 输出而非通用推理，以及只需下载而非集群。它的基座 Qwen3-8B，是读者原本会自行托管的模型——一个通用 8B，原生上下文 32K，可扩展至 131K，覆盖 119 种语言。MathForm 8B 几乎用这一切换来了单一技能。

Beam 1.0 需要一个容身之所。模型卡显示：52 层、256 个专家且每个 token 路由 8 个、152,000 token 的词表、知识截止日期为 2026 年 6 月 30 日，以及 1,000,000 token 的上下文窗口。它提供三种权重——BF16 为 501.3B、FP8 为 501.3B、NVFP4 为 255B——外加一个用于投机解码的 2B DFlash2 草稿模型。模型卡上没有服务部署建议，Reflection 旗下任何资产上也没有公布 API 价格；Artificial Analysis 上该模型的页面将价格字段列为不可用，并指出不存在公开可用的 API。四比特版本让它成为一笔看似可行的采购，而非停留在假设层面，但这仍然是一个绕不开 GPU 的话题。

OrcaRouter既不路由这两个模型，本页面也不作此暗示。我们路由的是这两个模型之外的已服务层级：超过200个模型，通过单个OpenAI兼容密钥即可访问，按供应商标价提供，0%加价，因此供应商一旦降价，您当天就能在账单上看到。对于一个真正的需求是今天就能得到应答的模型、而不是明天才能编译的检查点的团队来说，这正是本次对比无法提供的那一行。

可验证性差异，通俗解读

这里将这种不对称性表述为一项操作事实，而非一个基准。

MathForm 8B 的输出进入一条带有闸门的流水线。Lean 编译器要么接受该陈述，要么拒绝它。语义一致性检查要么通过，要么失败。坏输出可以被自动丢弃，模型则可以被留在一个智能体循环中，不断重试，直到有东西通过验证——而这正是 RL 阶段训练它去做的事。错误答案的代价是一个被拒绝的样本，而不是一个被交付出去的缺陷。在当前的开放权重领域，这是一种真正罕见的特性，也正是为什么在一条形如形式数学的流水线内部，一个专门的 8B 模型可以比一个规模是其一百倍的通用模型更有用。

Beam 1.0 的输出没有这样一道关卡。评测表能告诉你它在 SWE-bench 上解决 GitHub issue 的频率，却无法告诉你它为你的代码仓库写出的补丁是否正确，因为那是一个关于你的测试的问题。模型卡对传输格式的描述细致得异乎寻常，对准确率问题却沉默得异乎寻常，而这恰恰公允地描述了这一领域的现状：围绕智能体编程模型的工具链擅长执行代码，却不擅长为代码背书。

如果你的领域有对应的检查器——类型系统、证明助手、schema、模拟器——那么针对该检查器专门优化的模型往往是杠杆率更高的下载选择。如果没有，那你就是在购买能力并自行承担评估成本，而更大的通用模型才能为你提供更多这样的能力。

在两者之间选择

选择MathForm 8B，如果工作只是形式化，别无其他——把一批数学散文转化为证明助手能接受的 Lean 4，且规模大到人类无法逐一检查。81.9 亿参数的体量、Apache 2.0 条款和狭窄的输出形态在那里都是优势。不要为其他任何用途选择它：它不会聊天，写不出值得发布的散文，不像其基础模型那样能处理 119 种语言，而且除了它受训完成的那一项转换之外，没有任何有据可查的能力。

选择Beam 1.0，前提是这项工作属于通用智能体类型——解决大型代码仓库中的问题、驱动工具、执行长时间的多步骤计划——并且你拥有适用于 501B MoE 的硬件或服务合作伙伴。1M token 的上下文、已发布的评估表以及四位量化检查点，都是针对这类工作负载设计的。要为推理 token 预留预算：该模板没有关闭开关，服务端的默认设置为最高努力级别，而且有文档表明，剥离先前轮次的推理会降低输出质量。

如果你要搭建的正是本文真正要讲的那套流水线，那就两个都选。合理的模式是：用一个通用模型去做那些模糊不清的工作，再用一个可验证的专家模型去做需要过闸的那部分——而这两种角色的失败方式各不相同，这正是值得同时拥有两者的唯一理由。

三个月后，这一对比将在哪些方面有所不同

有两行缺失，而这两行都可以确定时间。第一行是对 Beam 1.0 权重的独立评估——这在 2026 年 10 月 16 日才成为可能，且至今尚未进行；本页归因于 Reflection 的每一个数字仍然只有单一来源。第二行是 Beam 的价格。一个拥有 5010 亿参数评估表、却没有按量计费价格（metered rate）的模型，是大多数团队无法为之编列预算的模型；在 Reflection 或某个服务合作伙伴公布价格之前，这两者之间诚实的成本比较，就是一次下载对比一次尚未报价的租用。

MathForm 8B 的差距则不同，不会靠等待而弥合。它报告的 88.06% 语法检查和 72.37% 一致性数字，是供应商在一个配有验证器的任务上给出的数字，而验证本身就是产品——任何拥有该模型并安装了 Lean 的人都能自行测量，这一点是本页面上大多数数字所比不上的。这就是一份狭窄契约能为你带来的东西。

这一切都并非假设：像本次这样的发布背后那些有据可查的 AI 故障与智能体事件，均收录于 OrcaRouter AI 事件档案库中，其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。