TwIL-LM3-Pro 与 MathForm 8B：陈述与蕴涵是形式化的不同两半

TwIL-LM3-Pro 和 MathForm-8B都旨在解决同一个宽泛问题——让机器生成形式化、可检查的文本，而非看似合理的散文——并且它们正在解决这个问题的不同部分。MathForm-8B 是 OpenBMB 的 80 亿参数自动形式化器，于 2026 年 8 月发布：给定以自然语言表述的数学问题，它会输出该问题的 Lean 4 陈述，并将证明义务留给编译器检查。TwIL-LM3-Pro 是 webAI 于 2026 年 9 月推出的 36.6 亿参数形式逻辑模型，其目标输出包括蕴涵标签、一阶逻辑翻译、语义解析和 Lean 证明评析。前者生成待检查的对象。后者告诉你，你所拥有的对象是否蕴涵你所声称的内容。

由于两者恰好在一条赛道上重叠——Lean 形式化——所以做一个对比页面既诱人又容易误导。更有用的问题是：每一方被训练去获得奖励的目标分别是什么，因为奖励信号正是这两种设计分歧最剧烈的地方，也是更明智的选择真正所在之处。

陈述与蕴涵

MathForm-8B 在 FormalVerse 上训练，OpenBMB 的论文将这一 Lean 4 语料库描述为大约 367,000 个经过验证的示例，训练方式是监督微调，随后进行强化学习。围绕它的流程会在生成前从 Mathlib 中检索相关定义和已有形式化，然后利用编译器诊断信息和语义一致性检查进行细化。它的输出是一个形式化陈述——导入、类型、定理头——由外部编译器接受或拒绝。模型卡明确表示它并不解决问题，也不声称能解决；证明是别人的工作。

TwIL-LM3-Pro 从逻辑一侧切入同一领域。它的流程面向六个目标：一阶逻辑翻译、蕴涵标注、语义解析、Lean 形式化、Lean 证明审查和规则归纳。MathForm 旨在生成一个陈述，而 TwIL-LM3-Pro 旨在对陈述作出判断——它是否被蕴涵、这个解析是否正确、这次证明尝试是否可靠。它也会进行形式化，而这是两个模型真正可比较、而非仅仅相邻的唯一地方。

来自编译器的奖励与来自评分器的奖励对比

这才是关键的设计差异，两家厂商都对此有文档说明。

MathForm 的训练奖励来自 Lean 编译和语义一致性反馈。编译器就是一个预言机：它要么接受该形式化，要么不接受，没有部分得分，也没有什么可争辩的。这是机器学习这一领域中最干净的奖励信号，也正是为什么自动形式化基准以通过率来报告——该指标处于一个不在乎任何人相信什么的程序的下游。

TwIL-LM3-Pro 的最后阶段是一次针对程序化验证器的熵加权 GRPO 运行，模型自己的卡片描述了宽松匹配和 token-F1 的部分得分，使得全部失败的提示组仍能产生梯度。其主要的宏观门控是四个有界分类通道加上规则归纳的等权平均值，在该门控中，多项选择和程序性通道被记为 `max(exact_match, loose_match)`——卡片明确陈述了这一规则，因为格式不同的正确答案是格式人为产物而非推理失败。

两种设计都不算更差。它们是为不同后果调校的。由编译器评分的奖励会产生这样一个模型：你可以把一个困难的形式化问题交给它，并信任其输出，因为输出是可验证的。由评分器打分并给予部分得分的奖励会产生一个能在更模糊判断上训练的模型——蕴含、批判、规则归纳——在这些领域没有编译器可供裁决，而替代方案就是根本不训练这些方向。代价是，得出的数字好坏取决于评测框架，而 webAI 也这么说：它的 strict-7 行剔除了所有宽松匹配得分的痕迹，其存在正是为了让读者能把更严苛的数字与主数字并排查看。

这些分数不在同一个标尺上

两个模型都公布了与 Lean 相关的数字，但它们无法相减。MathForm 的论文报告，在六项 Lean 基准上，Syntax Check 下的平均 Pass@8 为 88.06%，Consistency Check 下为 72.37%；在更难的 FATE-H 和 FATE-X 子集上，一致性检查通过率分别为 63% 和 37%，并声称优于若干专门的 32B 自动形式化器。TwIL-LM3-Pro 的模型卡报告，在其自己的 Track A 测试框架上，`lean_formalize` 的 token-F1 为 0.5092，`lean_critic` 的准确率为 0.7950。

在编译器检查下的 Pass@8 和针对参考字符串的 token-F1 衡量的是不同的东西。Pass@8 给模型八次尝试，并询问其中是否有一次编译通过并保持一致；token-F1 则评估单次生成与参考的匹配程度。模型可能在一项上得分高，在另一项上得分低，而这两份文档中都没有任何内容允许将二者并排解读。

对基准测试记录的诚实总结是：MathForm-8B 的证据来自一篇把编译器纳入流程的论文，而 TwIL-LM3-Pro 的证据来自一个把评分器纳入流程的供应商测试框架，并且没有任何第三方用同一套评分标准对两者都跑过。任何把“88.06%”和“0.5092”并排放置、仿佛它们是一条比分线的页面，都应被视为没有读过定义说明的页面。

规格，并排显示

• 参数 — TwIL-LM3-Pro 3.66B 稠密版 对比 MathForm-8B 8B，后者大小约为前者的 2.2 倍。

• 基座模型 — `ibm-granite/granite-4.2-3b` 对比 `Qwen/Qwen3-8B`。

• 训练数据——一个合成形式逻辑语料库，涵盖六个目标，对比 FormalVerse，约 367,000 个经过验证的 Lean 4 示例。

• 奖励——一个具有部分得分和宽松匹配容忍度的程序化验证器，对比 {{1}}Lean 编译与语义一致性{{/1}}的 {{2}}反馈{{/2}}。

• 主要输出——蕴含标签、FOL 翻译、语义解析、Lean 陈述和证明评析，与供编译器检查的 Lean 4 陈述相对比。

• 上下文窗口 — TwIL-LM3-Pro 为 131,072 个 token，在 8,192 个 token 范围内测得；MathForm-8B 在其自身的使用示例中，以最高 16,384 个 token 的生成预算提供服务。

• 许可证 — webAI 非商业许可证 1.0 版 与 Apache 2.0 对比。

• 量化体积：TwIL-LM3-Pro 提供 2.09 GiB 的 Q4_K_M GGUF，适用于 CPU 或 4 GB 显存；MathForm-8B 未在其自身仓库中发布任何 GGUF。

许可证再次决定生产问题

MathForm-8B 采用 Apache 2.0 许可。你可以对其进行微调、再分发，并将其部署在商业产品中对外提供服务。TwIL-LM3-Pro 是非商业性的：允许用于研究和个人使用，而产生收入的部署需要与 webAI 另行达成协议；其商业途径是企业级安排，而非公开的费率表。

对于研究团队或学生来说，这种差异无关紧要——两者在 Hugging Face 上都是无需授权即可下载的。对于公司而言，这具有决定性，并且对于任何生产级自动形式化工作，它都指向 MathForm-8B，无论哪个模型在两家厂商都未以相同方式衡量的赛道上得分更高。

路由器在此流水线中所处的位置

TwIL-LM3-Pro 和 MathForm-8B 都不是 OrcaRouter 目录中的路由，且原因各不相同：一个是非商业许可、没有托管端点，另一个则是作为可供自行托管的开放检查点发布的。在形式化流水线中，涉及路由的问题在于它们外围的那一层。构建 FormalVerse 风格的语料库意味着生成数千道非形式化题目、按格式良好性进行筛选，并编写对输出打分的语义一致性检查——全都是文本调用，而且全属于那种你希望无需再签一份合同就能把生成批量数据的模型换成评判它的模型的工作。在一个兼容 OpenAI 的端点、前置 200 多个模型，按供应商标价、加价 0%，这样的替换不过是一次配置变更，而生成模型的供应商降价当天就会生效。自动故障转移在语料库构建中至关重要，正因为一个任务在生成过程中进行到三分之二时失败，就会让整轮运行付诸东流。

劳动分工

如果任务是将教科书数学大规模转化为可编译的 Lean 语句，而且结果必须交付到商业产品中，那么 MathForm-8B 就是工具，而 Apache 2.0 许可证就是原因。如果任务是判断一段文本是否蕴含某个断言、标注蕴含关系、解析语义，或评判一次证明尝试，那么 TwIL-LM3-Pro 覆盖的是 MathForm 从未瞄准的领域——而它的非商业许可证是这种能力可用范围的边界，而不是对该能力本身的减分项。

合理的组合不是二选一，而是一个两阶段流水线：一个模型输出形式化陈述，另一个模型对它进行评判。两者都公开了生成它们的流水线，这在这个规模上很不寻常，也正是能够进行这种比较的原因。