一张生成的标题卡,上面写着“AREX-2 对比 MathForm-8B —— 两种被检查的方式”,包含两个面板。左侧面板标题为 MathForm-8B,列出:8B 稠密模型,2026 年 8 月发布;编写 Lean 4 定理陈述;由 Lean 编译器检查;Pass@8 88.06% 通过语法检查。右侧面板标题为 AREX-2,列出:仓库创建于 2026 年 9 月 29 日;没有文件,没有卡片;没有可下载或可运行的内容;不存在可供检查的图表。页脚写着“一个由编译器评分。另一个还没有任何东西可以评分。”OrcaRouter 徽标合成在右下角。
Guides & Insights

AREX-2 与 MathForm-8B:证明检查器与搜索循环是两种不同的验证方式

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

MathForm-8B 和 AREX-2是该系列中两个最严格可验证的模型,并且它们以相反的方式进行验证。MathForm-8B 是 OpenBMB 的 80 亿参数自动形式化器,于 2026 年 8 月发布:给它一个用简单英语写成的数学问题,它会产生该问题的一个形式正确的 Lean 4 陈述,然后由证明助手的编译器检查。AREX-2 是 BAAI 于 2026 年 9 月 29 日 17:56 UTC 创建的 Hugging Face 仓库,只包含一个 .gitattributes,没有权重、没有模型卡、没有许可证标签,也没有任何公告——一个为 BAAI 的 AREX 深度研究代理可能存在的第二代保留的名称,其第一代通过对照给它的约束重新检查自己的答案来验证自身。

所以,这里有趣的问题并不是哪个模型更好。而是一个模型可被检验意味着什么,因为这两者中,一个是由不在乎任何人相信什么的编译器来检验的,另一个则——如果同族先例成立的话——是由同一个模型正在运行的循环来检验的。即便对局的一方尚未发布,这种区分依然成立,而这正是这两者终究该被放在同一次对话中的原因。

存在的那一面,以及它可被核查的原因

MathForm-8B 的职责描述很窄,而这一点值得精确说明,因为这种狭窄正是关键所在。它不解决数学问题,也不声称自己能解决。它在 FormalVerse 上进行了微调,这是一个包含约 367,000 个已验证 Lean 4 示例的语料库,其训练奖励来自 Lean 编译器,而不是人类偏好模型。给定一个非形式化陈述,它会输出导入语句、类型和定理头——将证明义务本身留待完成——以便编译器能够确认该形式化陈述表达的就是那个非形式化问题所表达的内容。

其公布的数据——全部由 OpenBMB 厂商自报,且无一经过独立复现——在六项基准测试中,语法检查下的平均 Pass@8 为 88.06%,更严格的一致性检查下为 72.37%,而在最难的 FATE-H 和 FATE-X 子集上分别降至 63% 和 37%。要按它们的本来面目来理解这些数据:这是一个对照形式系统来衡量的模型,其中,错误答案意味着编译失败,而不是关于质量的分歧。这是一种罕见的特性。本博客上的大多数基准测试主张都依赖于一个必须被信任的评分器;而这一项依赖于机器执行的算术。

尚未存在的那一面,以及为什么它的验证方式不同

AREX-2 唯一可确认的事实是所属机构、名称和时间戳。没有任何内容被上传,BAAI 也未作任何表态。不过,这个名字背后的家族确实存在,并于 2026 年 7 月 23 日以 AREX-Base 之名发布——这是一个基于 Qwen3.5-122B-A10B 的 1220 亿参数混合专家模型,激活参数为 100 亿——同时发布的还有 AREX-Turbo,一个稠密 4B 模型。两者均采用 Apache 2.0 许可,且都是智能体而非聊天模型。

AREX 设计是一个双环研究框架,外环是验证步骤。内环从搜索和浏览中收集证据,将其整合,并生成一个附带置信度数值的候选答案。随后外环会依据初始约束条件检查该候选答案,并决定:接受它、优化它,还是丢弃这条轨迹并重新开始。在迭代之间,模型维护一个上下文区块,其中包含已验证的发现、待定候选、未解决的约束以及下一步计划,这正是让它能在长时间追踪中不迷失线索的原因。BAAI 报告称,Base 在 BrowseComp 上为 82.5,在 GAIA 上为 85.4,在 DeepSearch QA 上为 89.9,而 Turbo 则为 70.7 / 81.6 / 78.5——这些都是厂商自身的数据,未经复现。

那是一种真实且有用的自我检查形式。它在性质上弱于编译器。当 AREX 外层循环判定某个答案满足其约束时,这一判断来自一个读取约束的语言模型。当 Lean 接受一个 MathForm-8B 形式化时,这一判断来自一个实现固定演算的类型检查器。两者都无法免于错误——一个形式化可以是有效的 Lean,却刻画了错误的定理——但只有其中一个可能出错而无人察觉,并且这种差异不是程度上的差异。

• 可用性 — MathForm-8B 可从 OpenBMB 下载,并附有已发布的模型卡。AREX-2 是一个不含任何文件的仓库。

• 参数 — MathForm-8B 为 8B 稠密模型。AREX-2 未知;该系列涵盖 122B 混合专家模型和 4B 稠密模型。

• 它产出什么——为 MathForm-8B 生成的 Lean 4 定理陈述,证明按设计留空。AREX-2 的情况未知;首次生成产出了一个附有置信度数值的经研究得出的答案。

• 如何校验——针对 MathForm-8B 的 Lean 编译器。基于 AREX-Base 的证据,在同一模型内部进行验证循环。

• 许可证 —— OpenBMB 为 MathForm-8B 制定的自有条款;AREX-2 尚未公布任何条款。第一代 AREX 采用 Apache 2.0 许可。

• 核心数据 — MathForm-8B 的语法检查通过率为 88.06%,一致性检查通过率为 72.37%(Pass@8),由厂商报告。AREX-2 则无此类数据。

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

栈可以同时容纳的两个作业

这些模型在功能上并不重叠;在任何人将“versus”解读为一种选择之前,这一点值得先说明。MathForm-8B 是一个证明助手的前端。它的输出是一条定理陈述,随后由数学家或自动证明器在其基础上展开工作。它自然归属于数学、形式化方法或规约工作的验证流水线,其价值在于下游工具无需信任模型即可使用其输出。

AREX-2 如果延续其家族,就是那些没有编译器的问题的后端。“这三份申报文件中的哪一份与另外两份不一致”没有可供核验的正式系统,唯一可用的防御手段就是收集更多证据并重新审视你自己的推理——而这正是 AREX 外层循环。一个两者都需要的团队会把它们放在不同地方运行:对问题中可被形式化的部分做形式化,对无法形式化的部分则使用一个搜索并验证的智能体。

这种区分也诚实回答了这两个当中哪一个是你本周可以着手推进的。MathForm-8B 已经发布、有文档记录,现在即可使用。AREX-2 只是一个名字。

当验证成为主题时,路由的故事会是什么样子

由于两者的使用方式差异巨大,基础设施问题也随之分化。

对于 MathForm-8B,其工作负载是一批突发式的简短、确定性生成,输出会直接进入编译器。关键在于模型可被访问到,并且失败的调用会被重试,因为一条丢弃请求的形式化流水线,看起来与一条失败的形式化流水线完全相同——而这两者中只有一个是关于模型的事实。 跨提供商的自动故障转移正是将这两者区分开来的特定功能。OrcaRouter 目前既不承载 MathForm-8B,也不承载 AREX-2,因此 OpenBMB 权重来自 OpenBMB 自己的分发渠道,任何托管端点都属于第三方;我们提供的是前置路由,按提供商标价原样传递,且不按 token 加收任何费用。

对于像 AREX-Base 这样的智能体,情况更为棘手,走路由方案的理由也更充分。一条深度研究轨迹会为每个查询发起数十次模型调用,每一次都要重新读取一份随着证据不断积累而增长的上下文,而故障模式会不断叠加:某个提供商在第 25 步中的第 19 步超时,并不会让答案变差,而是会给出一个自信十足的错误答案。一个覆盖 200 多个模型、并带有可在运行时决定的故障转移规则的 API 之后的理由,这样一来,单个提供商出故障只是一次重试,而不会变成一条错误的引用。

唯一需要留意的一点,以及唯一不能想当然的一点

三个事实将能回答关于 AREX-2 的大部分悬而未决的问题,而且这三者都能从外部看到:该仓库中是否出现文件、模型卡声称的参数数量是多少,以及它是否带有其两个前身所带的 Apache 2.0 标签。在这些事实出现之前,关于 AREX-2 唯一站得住脚的说法是,BAAI 于 2026 年 9 月 29 日预留了这个名称,并且没有宣布任何内容。

不该假定的是,第二代一定会继承第一代的形态。“2”是产品名,不是架构。它可能比 122B Base 更大,也可能是同一框架的小型蒸馏版——而且鉴于该系列已经同时推出了质量档和服务成本档,这两种理解都说得通。此时此刻不现实的,是为它发布一份规格说明。