一张生成的标题卡,标题为"HiRO-ACEv2 vs MathForm-8B —— 两种真值基准"。左侧卡片 MathForm-8B 列出:8B 稠密模型,以 Qwen3-8B 为骨干,输出 Lean 4 定理陈述,语法检查下 Pass@8 为 88.06%,一致性检查下 Pass@8 为 72.37%,仓库创建于 2026 年 8 月 14 日。右侧卡片 HiRO-ACEv2 列出:未公布参数规模,3 km 降水、风和气压,声称尾部达到第 99.9999 百分位,声称推理成本降低 300 倍以上,仓库创建于 2026 年 10 月 12 日。页脚写道:"MathForm-8B 的数据由厂商自报;Ai2 的数据由作者自报且未经复现。"OrcaRouter 标志合成于右下角。
Guides & Insights

HiRO-ACEv2 与 MathForm 8B:两种窄域模型,两类真值

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

无论是HiRO-ACEv2还是MathForm-8B,都不试图成为通用模型,而且两者都是由那些认定真正有趣的问题比聊天机器人更狭窄的团队构建的。HiRO-ACEv2 是 Ai2 的第二代气候模拟器,于 2026 年 10 月 12 日以 10.9 GB 仓库的形式发布到 Hugging Face,没有发布公告,同时还有一份日期为次日的预印本。MathForm-8B 是 OpenBMB 的自动形式化模型,于 2026 年 8 月 14 日基于 Qwen3-8B 主干创建,可将自然语言数学转化为 Lean 4 陈述。一个生成 3 公里网格大气;另一个生成形式化证明义务。比较二者的理由不在于能力——它们的用途毫无重叠——而在于它们都声称的那件事,而这件事在每种情况下最终含义大不相同:机器能够判断输出是否正确。

每个模型实际输出的内容

HiRO-ACEv2 运行一个两阶段流水线。一个自回归模拟器生成 X-SHIELD——全球风暴解析模型——并将其粗化到 100 公里;随后,一个单独训练的扩散模型将该粗粒度状态降尺度到 3 公里,生成每六小时平均的地表降水率、瞬时的 10 米高度向东和向北风速以及海平面气压。该仓库将降尺度器保存为 HiROv2.ckpt,大小约 1.28 GiB;将粗粒度模拟器保存为 ACE2S-X-SHIELD.ckpt,大小约 2.98 GiB;此外还有十年的 NetCDF 强迫数据、两个初始条件文件以及将它们关联起来的 YAML 配置。

MathForm-8B 会输出文本,但属于一种非常特殊的类型:Lean 4 定理陈述。模型卡将其描述为一个自动形式化模型,基于 OpenBMB 的 FormalVerse 数据集训练,先进行监督微调,然后进行强化学习,其奖励来自 Lean 编译和语义一致性反馈。它是 8B 稠密模型,采用 Apache 2.0 许可,其规模继承自基座模型——Qwen3-8B——而非来自其自身任何已公布的参数数量。推荐的生成设置是温度 0.6、top-p 0.95 和 16,384 个新 token,在 Transformers、vLLM 或 SGLang 服务器上运行;评估需要运行中的 Kimina Lean Server 和 Lean 4.21.0。

两者在设计上都是窄的。这是第一个真正的相似之处,而相似之处大体上也就止步于此了。

两种核查,以及为什么只有其中一种能终结争论

Lean 一侧拥有一个决定性的验证器。一条定理陈述在 Lean 4 下要么通过编译,要么不通过,而类型检查器是一套固定的演算——它没有状态好坏之分,也不需要被校准。正因如此,MathForm-8B 的训练循环才能把编译结果用作奖励信号。已公布的数字是两种机制下的 Pass@8 通过率,即语法检查与一致性检查,并在六个基准上进行了评估;语法检查的数字为 88.06%,一致性检查的数字为 72.37%。这些是作者自己的数字,此处并未复现,而两者之间十六个百分点的差距,是这张卡片上最具信息量的一点:一条能通过编译的陈述,并不等同于一条表达了原问题含义的陈述。

气候方面则没有这样的验证器。HiRO-ACEv2 的模型卡中没有基准表。其唯一一项定量声明是:该降尺度器能够重现参考降水、10 米风场和海平面气压分布,直至第 99.9999 百分位,并且大体上遵循参考热带气旋强度分布。论文还补充说,其推理成本比传统的数值全球风暴解析模型低 300 倍以上。

所有这些中的每一项都是相对于某个参照的分布性论断,而不是针对某种演算的通过/失败检验。这一区别决定了每个论断能在无人质疑的情况下存续多久。你可以通过用 Lean 服务器和 GPU 让模型运行基准来证伪 MathForm-8B 的数字。证伪 HiRO-ACEv2 的数字则需要一个十年期的强迫数据集、一个可供比较的参考模拟,以及一位愿意在极端尾部工作的分析师。前者对研究生来说是一周的工作量。后者是一篇论文。

A headless-browser capture of the Hugging Face model card for openbmb/MathForm-8B, showing 9 likes, the openbmb organisation line, Text Generation, Transformers and Safetensors tags, the openbmb/FormalVerse dataset tag, arXiv 2608.14221 and an apache-2.0 licence badge, with the card opening on the title MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement.

供应商会告诉你什么,不会告诉你什么

这两份模型卡的气质截然相反,把它们放在一起读,能让人对模型卡的用途颇受启发。

OpenBMB 的模型卡是一份带有局限性部分的声明表。它给出了训练语料、奖励结构、推荐的采样参数、确切的 Lean 版本,以及一张报告六个基准上 Pass@8 的图——不过值得注意的是,这些数字存在于图片中而非文本中,因此任何以程序方式抓取该页面的人都会发现方法被仔细描述,而结果则完全找不到。它没有提供的是发布日期;元数据中唯一的日期线索是 arXiv 标识符 2608.14221 以及仓库创建时间戳 2026 年 8 月 14 日。

Ai2的卡片本质上是一份约束清单。两个检查点都使用了九年(2014年至2022年)的训练数据。其输出复现的是X-SHIELD,而非观测数据,因此带有参考模拟的偏差。不期望在训练强迫条件之外具有泛化能力——v2论文强化了这一点,指出该框架在66°S至70°N之外未经测试,且无法在超过88°S或88°N的范围内运行。在大于16×16的一度训练图块的区域中,存在补丁重叠不连续性。备注指出,捆绑的ACE2S-X-SHIELD检查点不如早期的ACE2-ERA5系列经过严格测试,且不用于天气预报。以及一个许可证——Apache 2.0——包含Ai2的《负责任使用指南》和以研究与教育为目的的定位。

一张卡片告诉你模型的得分。另一张告诉你它做不到什么。两者都没有隐瞒任何东西,而读者若把第二张误认为较弱的发布,就误解了这些材料的用途。

A generated two-column card headed "A compiler versus a distribution". Left column MathForm-8B lists verifier the Lean 4 compiler, kind of test type checking a fixed calculus, can it be wrong no it fails a wrong answer, cost to falsify a GPU and a Lean server. Right column HiRO-ACEv2 lists verifier none public, kind of test distribution against a reference simulation, can it be wrong yes and quietly, cost to falsify a 10-year forcing set and a paper. A footer reads "One claim can be settled in a week; the other takes a research effort." The OrcaRouter logo is composited bottom-right.

真正具有可比性的部分:分叉究竟价值几何

这是两个版本唯一能以相同方式衡量的维度,而它们在这个维度上走向了相反的方向。

• 骨干模型的来源——MathForm-8B 是 Qwen3-8B 的全量微调版本,因此其谱系记录在 Hugging Face 元数据中,其前身是一个广泛部署的开放模型;而 HiRO-ACEv2 的各个组件均在 Ai2 自有流程中训练,训练数据归属 X-SHIELD、由 GFDL 提供,底层没有任何上游开放检查点。

• 有多少种运行时可以加载它——MathForm-8B 可在 Transformers、vLLM 或 SGLang 上运行,社区也已为 llama.cpp 和 Apple silicon 制作了 GGUF 与 MLX 量化版本;HiRO-ACEv2 则通过 Ai2 的 fme Python 包运行,其配置指向 ai2cm/ace 仓库,且没有其他可选路径。

• 生态系统的推进速度有多快 —— MathForm-8B 的代码仓库出现后仅四天,社区构建的 GGUF 版本就已上线,4 位、6 位和 8 位的 MLX 转换版本也在两周内相继推出;而 HiRO-ACEv2 的代码仓库在最后一次提交两天后,只获得了一个点赞,下载量为零。

• 获取权重需要付出什么代价 —— MathForm-8B 可作为普通模型检查点下载,并能量化压缩到消费级硬件上运行;HiRO-ACEv2 则是 10.9 GB 的仓库,其中大部分是强迫数据和初始条件数据,而非权重,而且它不会缩减。

规律是,面向特定应用的语言模型会从其骨干模型继承一个生态,而面向特定应用的物理仿真器则什么都继承不到。对于 MathForm-8B,让它运行起来的工作大多在它问世之前就已完成。对于 HiRO-ACEv2,这要从 README 开始。

路由层适用于何处,又不适用于何处

这里诚实的答案是并不对称的,值得直说,而不是对两个模型一视同仁地含糊带过。MathForm-8B 本身并不在我们的目录中——这个微调检查点来自 OpenBMB 自己的发行版本,需要运行在你自己的服务器上,与它所调用的 Lean 安装部署在一起。它的前身也不在我们的目录中,这一点值得说明,因为人们的假设往往正好相反:它微调所依据的那个具体 Qwen3-8B 检查点是 2025 年发布的,并不属于我们提供服务的任何一个 Qwen id。我们实际提供路由的,是围绕它的当前 Qwen 世代——Qwen3.8 和 Qwen3.5 层级,以及 Qwen3-VL-8B-Instruct 检查点,它与前者同为 8B 规模、同属一个家族谱系,每百万输入 token 收费 0.18 美元、每百万输出 token 收费 0.70 美元,上下文为 131,072 token.

那正是形式化流水线真正需要的那一层。把一个教科书拆分成候选命题、在论文送入自动形式化器之前从中提取出非形式化定理,或者把一条 Lean 报错信息转化为诊断,这些都是普通的语言模型调用,而且它们可以和其余一切共用同一个密钥。HiRO-ACEv2 不可路由,以其当前形态也永远不可能可路由,因为根本不存在需要路由的按 token 计量的请求——10.9 GB 的检查点外加一个 shell 脚本,并不等于一个端点。

一把密钥通吃两百多个路由模型,能为你换来的,在围绕这两者中任意一个搭建的流水线里,就是让周边工作从项目变成一次调用:提供商的目录价原样传递,不附加任何加价;提供商之间的故障转移自动完成;而驱动一次集成或形式化运行的脚本,无需再签一份供应商合同就能总结自身的输出。

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3-vl-8b-instruct, showing the page navigation, Vision, Tools and JSON capability badges, the byline "by Qwen - 2025-10-14", and the description "Qwen3-VL 8B Instruct - open-weight small vision-language model, 8B params, 128k context, no thinking mode".

双方需要注意什么

在 Lean 这一侧,真正有意义的数字,是由一个与训练配方毫无利害关系、不牵涉其中的团队,对 88.06 和 72.37 这两个数值所做的独立复现,而且最好按基准分别拆解开来,而不是平均成一个单一的 Pass@8——因为自动形式化的失败会按数学领域聚集,而平均值恰恰掩盖了实践者最需要看到的正是那种模式。在气候这一侧,真正有意义的数字,是由模拟器作者之外的其他人,在同一硬件上运行一个数值风暴分辨模型所进行的对比,因为“推理速度提升 300 倍”这一说法,才是决定这项技术能否在业务中被采用的那一个。

在那之前,两个模型最好都按照各自模型卡所引导的方式来解读。MathForm-8B 是一个强大的自动形式化器,其输出背后有一个编译器支撑;关于它的有趣问题是,编译后的陈述有多大比例说的是正确的内容,而不仅仅是碰巧为真。HiRO-ACEv2 是一个研究用仿真器,刚刚在以往只输出降水的基础上加入了风和气压;关于它的有趣问题是,新增的场是否与其一同输出的降水在物理上一致——这是即使存在基准表,也不会告诉你的东西。

像这样的比较,也正是故障模式暴露之处:OrcaRouter AI Incident Archive 收录了这类模型背后有记录的 AI 事件和智能体故障,其中每个条目都带有各自的来源、严重程度、置信度等级和争议标记。