一篇为文章生成的标题卡,标题为“ZwZ2-9B vs MathForm-8B”,副标题为“两者宽度均为 4,096,只有一者有文档记录”,并带有两张圆角卡片:左侧标注为“MathForm-8B”,文字行为“Qwen3-8B 微调”和“论文、数据集、Pass@8 结果”;右侧标注为“ZwZ2-9B”,文字行为“Qwen3.5-9B 衍生模型”和“仅有配置文件”。页脚写着“主干宽度相同,证据量不同。”OrcaRouter 标志合成在插图下方的白色条带中。
Guides & Insights

ZwZ2-9B vs MathForm-8B:同一主干,真相含量却大相径庭

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

两个相隔八周发布的模型,来自两个不同的实验室,构建于同一家族的两个不同代际之上——而它们的主干宽度却完全相同。MathForm-8B由 OpenBMB 于 2026 年 8 月 14 日发布,是 Qwen3-8B 的微调版本,运行 36 层,隐藏层大小为 4,096,中间层大小为 12,288。ZwZ2-9B由 inclusionAI 于 2026 年 10 月 16 日发布,基于 Qwen3.5-9B 技术栈,运行 32 层,隐藏层大小为 4,096,中间层大小为 12,288。父代相隔一代,词表规模分别为 151,936 和 248,320,用途也完全不同——但两者拥有相同的 4,096×12,288 主干几何结构。将它们区分开的并非架构,而是其中一个附带了论文、数据集、评估工具链和许可证,另一个则只附带了八个文件。

简而言之:如果你能把你的问题描述成“把这段文字转成 Lean 4”,那么 MathForm-8B 就是一个有文档记录、有公开数据的专用模型,你应该用它。如果你的问题涉及像素,而你想要一个通用的视觉语言模型,那么 ZwZ2-9B 是一个没人表征过的 9.4B 检查点,采用它就意味着成为它的第一个评估者。这个比较中有趣的地方在于,这种不对称性让我们明白共享的继承有多大价值。

两个后代,相隔一代

MathForm-8B 是 Qwen3-8B 的衍生模型,并且对此直言不讳:其模型卡记录了基础模型、训练数据集、训练方法和论文。配置是教科书式的 Qwen3 布局——36 层,32 个查询头对 8 个键值头,头维度 128,151,936 词元的词表,40,960 位置的上限,旋转基频 1,000,000,且每一层都使用完整注意力。没有任何异乎寻常之处,也没有任何隐藏。

ZwZ2-9B 是 Qwen3.5-9B 的衍生模型,仅通过一个 Hub 标签表明这一点。其配置解析为 Qwen3_5ForConditionalGeneration,除删除了一个多 token 预测层外,每个架构取值都与 Qwen3.5-9B 一致。248,320 个 token 的词表、262,144 位置的上限、交错式 M-RoPE 以及视觉塔均原样继承。

• 参数——ZwZ2-9B:9,409,813,744。MathForm-8B:80亿,依据其模型卡。

• 父级 —— Qwen3.5-9B 与 Qwen3-8B,因此两者从不同的 Qwen 世代继承了不同的注意力设计。

• 注意力 —— 24 层线性注意力层加 8 层全注意力层,而全部 36 层均为全注意力。

• 主干几何结构 — 两者的隐藏层大小均为 4,096,中间层大小为 12,288。

• 词表 — 248,320,其中包含图像和视频 token id,相比之下为 151,936 且仅含文本。

• 上下文上限 — 262,144 个位置 vs 40,960 个位置。

• 模态类型 — 文本、图像和视频 vs 仅文本。

• 已公布的证据—— 一份配置文件与一篇论文、一个数据集、一条评估流水线以及 Apache-2.0 条款的对比。

MathForm-8B 带来了什么

这张卡片异常完整,值得仔细梳理,因为后文的对比正依赖于它。MathForm-8B 将自然语言数学陈述翻译为 Lean 4。它在 FormalVerse 上训练——这是 OpenBMB 随其一同发布的数据集——通过监督微调,然后进行强化学习,其中 Lean 编译和语义一致性反馈提供奖励信号。论文是 MathForm:通过知识检索与验证引导的精炼来扩展数学自动形式化,arXiv 2608.14221,代码库包括评估流程、基准文件和 Pass@k 脚本。

结果以 Pass@8 通过率报告,依据两个独立标准:语法检查(Syntax Check),即生成的 Lean 确实能编译;以及一致性检查(Consistency Check),即它能编译并且表达与原始问题相同的内容。在六个基准上,该模型卡报告语法项宏平均为 88.06,一致性项为 72.37,领先于其列出的其他 8B 自动形式化器,并在语法一列上领先于若干 32B 条目。最后那个比较属于那种值得去检验、而不只是复述的说法,而设置中有一个细节让检验它并非易事:编译检查需要一个运行中的 Kimina Lean Server,并且实验使用的是 Lean 4.21.0。这不是一个你能用 Python 脚本打分的检查点。

上面的每个数字都是由厂商报告的。OpenBMB 运行了评估,OpenBMB 发布了评估结果,而且仓库确实包含可复现该评估的脚本——这比大多数实验室提供的都要多,也是这些数字即便未经验证也仍有价值的原因。模型卡还公布了其推荐的生成设置:temperature 0.6 和 top-p 0.95,而这类细小的操作细节,如果没有模型卡,就只能靠你自己猜了。

A screenshot of the OpenBMB MathForm-8B model card on Hugging Face showing 9 likes, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse dataset, English, qwen3, lean4, autoformalization, mathematics, formal-verification, reasoning and Apache 2.0 licensing, a model size of 8B parameters in BF16, a Downloads last month figure of 532, a figure showing a five-stage data construction and training pipeline covering formalization generation, verification, refinement, trajectory reconstruction and training, and a partial Pass@8 results table headed by an AVG column and benchmark columns for FormalMATH, ProverBench, CombiBench and three more.

ZwZ2-9B 拿出了什么真本事

一个 config.json、一个 tokenizer_config.json、一个聊天模板,以及 18.8 GB 的权重。没有 README、没有许可证字段、没有 pipeline 标签,也没有数据集。Hub 显示零次下载和两个点赞,且没有任何 inclusionAI 集合包含它。

读取这些文件确实能获得真实信息,在否定该检查点之前值得先做这件事。当请求到达时没有系统提示词,聊天模板会注入一个默认系统提示词,而它默认不进行推理——除非调用方明确要求思考,否则它会输出一个空的<think></think>块,这与其父模型 Qwen3.5-9B 的行为正好相反。配置中包含一个 27 层的视觉塔和一个视频处理器,可以以每秒 2 帧的速度接收最多 768 帧。参数总数为 9,409,813,744,分布在 760 个张量中,全部为 bfloat16。

所有这些都没有告诉你的是:这个模型擅长什么、它是在什么数据上训练的、它是指令模型还是其他类型的模型,以及你可以在什么条款下使用它。MathForm-8B 在首屏就回答了这四个问题。ZwZ2-9B 则在哪里都没有回答其中任何一个。

共用的 4,096 并非巧合,也并非捷径

两个模型都使用宽度为 4,096 的主干、12,288 的中间层大小,而两者的原因是一样的:那一代的 Qwen 就是这个尺寸。Qwen3-8B 和 Qwen3.5-9B 是不同的设计——前者自始至终使用完整注意力,后者则是线性注意力与完整注意力三比一的混合——但它们都建立在相同的宽度之上,因为小号 Qwen 就是这样。看着一个微调模型继承其父模型的每一个维度,是现有最清晰的证据,说明微调模型会整体继承父模型的特性:不只是外形,还有长处和失效模式。MathForm-8B 会告诉你它来自哪个父模型,所以你可以去查相关资料。ZwZ2-9B 则不会,Hub 标签是唯一能追溯回去的线索。

A generated comparison scoreboard card titled 'ZwZ2-9B vs MathForm-8B — the scoreboard' with two columns of six matching rows: Parameters 9.41B vs 8B, Parent Qwen3.5-9B vs Qwen3-8B, Trunk 4,096 by 12,288 vs 4,096 by 12,288, Modalities text, image and video vs text only, Context 262,144 vs 40,960, and Evidence config file vs paper, dataset and results. The footer reads 'The right-hand column is vendor-reported from the published model card; the left-hand column is read from the published configuration.' The OrcaRouter logo is composited in the white strip below the artwork.

你到底需要哪一个?

这些不是替代品,二者的重叠几乎为零。MathForm-8B 只做一件事:把自然语言的数学陈述转换成能够编译的 Lean 4 代码。它的整套评估装置,包括对运行中的 Lean 服务器的依赖,都是围绕这一点构建的。如果这正是你的问题,那么它是一个强有力的、有文档记录的、采用 Apache-2.0 的答案,并配有可复现的工具链,而 72.37 这个一致性数字就是需要超越的目标——是一致性,而不是语法,因为一个能够编译但含义不同的形式化,是一个比编译失败代价更高的 bug。

ZwZ2-9B 是一个通用视觉语言模型。它从未在自动形式化任务上被评估过,也谈不上有什么 Lean 分词器方面的考量,而且它是由一个早先工作与细粒度视觉感知有关的实验室发布的。不要去寻找 ZwZ2-9B 在 Lean 基准上的分数;根本没有理由会存在这样一个分数。

真正的问题在于,你到底想不想要一个专才或一个通才。专才在它唯一的那项工作上更出色,但出了这个范围就毫无用处。通才在所有具体事情上都更差,却是输入形态变化时唯一的选择。这种比较之所以不对等,并不是因为两者相隔八周或相差十亿参数——而是因为其中一个发布时附带了专才所需的文档,另一个则是作为他人工作的起点而发布的。

如果你希望在同一个管道中同时获得这两种能力

这两种模式确实会在一种真实场景中交汇:一个通用模型阅读一份含义模糊的文档,提取其中的数学命题,将其交给形式化工具,再由检查器判定结果是否成立。这是三次承担不同角色的模型调用,而路由层存在的意义,正是让这种形态变得廉价——OrcaRouter 的路由 DSL 可将多个模型组合成一次调用,于是扇出与后续追问就是同一个请求,而不是一个需要你维护的编排服务。 模型融合——即由一组模型共同作答,再由评判者选出最强的回答,则是把同样的思路用于单个难题,而非一条流水线。

ZwZ2-9B 和 MathForm-8B 都不在我们的目录中,我们也不打算粉饰这一点:MathForm-8B 可依据 Apache-2.0 许可下载,并能从您自己的 vLLM 或 SGLang 实例提供服务;而 ZwZ2-9B 只是一个仓库,根本没有端点。如今该流水线推理侧真正可路由的是 qwen/qwen3.8-27b——Qwen 当前一代的稠密旗舰模型,Apache-2.0 许可,具备 262K token 上下文和 1M token 的托管上限,价格为每百万输入 token 0.33 美元、每百万输出 token 2.40 美元,按提供商标价原样传递,不附加任何费用。

A screenshot of the OrcaRouter Fusion model page showing the model identifier orcarouter/fusion described as Text in, Text out with a 1M-token context, a tier of Quality with a panel of 3 models plus a judge, and copy stating that Fusion sends your hardest prompts to several frontier models at once and then a judge weighs where they agree and catches where they contradict; below, a diagram shows a prompt fanning out in parallel to three models and returning through a judge to a best answer, followed by three numbered steps titled Route by task, Fan out to a panel and Pick the best answer.

不对称的价值所在

MathForm-8B 是更值得写的模型,因为有些东西需要核实。ZwZ2-9B 是更有趣的产物,因为一个带有调校过的聊天模板和被移除的预测头的 9.4B 检查点,证明有人做了真正的工作——也因为 inclusionAI 在 ZwZ 这个名字上的过往记录,让下一篇帖子值得关注。

对于今天要做决定的人来说,这条规则并不光鲜。一篇已发表的论文、一个数据集、一个有名字的基础模型和一份明确声明的许可证,这些都不是纸面形式。它们决定了一个模型是你能够据以规划的,还是你必须反向工程的,而再有趣的架构也无法弥合这一差距。

这样的结果也提醒我们,模型出错早已有记录:此类模型背后的 AI 事件和智能体故障,均收录于OrcaRouter AI Incident Archive,其中每个条目都附有自己的来源、严重程度、置信度等级和争议标记。