Beam 1.0 對比 MathForm 8B：其中一個模型的錯誤能被編譯器捕捉

請 MathForm 8B 將一個定理形式化，答案要嘛是一段能編譯通過的 Lean 4 敘述，要嘛是編譯不過的敘述。請 Beam 1.0 修正一個程式錯誤，答案要嘛是一份能跑得起來的 diff，要嘛是跑不起來的 diff，而這兩者之間的差距，正是這些模型之間的全部差異。MathForm 8B 是 OpenBMB 的 81.9 億參數自動形式化模型，以阿里巴巴的 Qwen3-8B 為基礎，並在 FormalVerse 上訓練——那是一個約含 36.7 萬個經過驗證的 Lean 4 範例的語料庫——訓練流程是先進行監督式微調，再以 Lean 編譯與語意一致性回饋進行強化學習；它於 2026 年 8 月 14 日以 Apache 2.0 授權發布。Beam 1.0 是 Reflection 的 5,013 億參數稀疏專家混合模型，每個 token 啟用 234 億參數，於 2026 年 10 月 5 日發布，並於 2026 年 10 月 16 日以可下載權重形式推出，同樣採用 Apache 2.0 授權。兩者的規模比為 61 比 1，而這是整頁中最不有趣的那個數字。

有趣的一點是，MathForm 8B 產生的輸出可讓機器在無須信任任何人的情況下進行裁決，而 Beam 1.0 則不行。以下一切皆由此而來。

每個模型被要求產生的內容

MathForm 8B 只有一個輸出契約。它接收以一般散文寫成的數學陳述，並回傳一個 Lean 4 陳述——包含標頭、具名定理、假設與目標。訓練管線正是圍繞這個形態打造：以 Mathlib 知識檢索將陳述建立在既有定義之上，透過編譯與語意驗證來剔除不良候選，以迭代精進修復它們，再以軌跡重建將留存下來的範例轉換成訓練資料。論文報告該模型在六項基準測試中，於語法檢查下的平均 Pass@8 為 88.06%，於一致性檢查下為 72.37%。那些是 OpenBMB 的數字，未經任何其他人重現，且在評估中偏向較簡單的集合——但這些數字所關乎的任務，是有正確答案的。

Beam 1.0 沒有這樣的契約。它是一個通用模型：其模型卡描述了對話模板、帶有分析與最終通道的 Harmony 風格傳輸格式、六個推理投入等級對應到 8、32、64、128、256 與 512 的 token 預算，以及一種工具呼叫慣例——函式以扁平 TypeScript 宣告，並在 XML 主體中呼叫。其評估涵蓋代理式程式設計（SWE-bench Verified 在 BF16 上 81.6%、Terminal Bench v2.1 80.1、SWE Bench Pro v1 66.1、DeepSWE v1.1 43.3）、推理（GPQA Diamond 90.6、AIME 2026 97.7、LiveCodeBench 88.3）、工具使用（MCP Atlas 80.8）與一般能力（LongBench v2 67.5、IFBench 79.6）。每個數字都是 Reflection 自家的。它所寫的程式碼是否*正確*，得靠實際執行、審查，或把它上線後才知道。

所以：一種模型的失敗會自己現形。另一種模型的失敗則是普通的軟體故障，較晚才在審查或正式環境中出現，而且看起來就像你曾遇過的每一個其他 bug。

這些基準測試並無重疊，而這就是研究發現。

把這兩組評估集並排對齊，幾乎沒有什麼可相減的。

• Beam 1.0 的評分項目——儲存庫規模的議題解決、終端機任務、競技程式設計、研究所程度的科學問題、工具協調、長上下文召回與指令遵循。

• MathForm 8B 的評分依據——在語法檢查器與語意一致性檢查器下的 Pass@8 形式化準確率，涵蓋六個數學基準，並對比該論文的 7B 到 32B 專用基線。

• 重疊——基本上為零。沒有任何一列是兩個模型由同一方在同一項任務上進行測量的，而且也不會有，因為其中一個衡量的是通用能力，另一個衡量的則是單一可驗證的轉換。

• 概念上確實存在的唯一共同維度——推理——是在不同群體上測量的。Beam 1.0 在 GPQA Diamond 上的 90.6 是選擇題科學分數。MathForm 8B 的 72.37% 一致性比率是一項形式化檢查。兩者無法互相預測。

這就是為什麼在這裡做規模比較不只是不體面，而是會造成誤導。Beam 1.0 是該模型的六十一倍大，而且若未經訓練，它根本無法勝任 MathForm 8B 的工作——其輸出契約狹窄到通用能力無法取而代之。一個 501B 的通用模型若被要求產出一個具名 Lean 定理並附上正確的標頭，會產出看似合理卻經常錯誤的內容；對證明助理而言，這是最糟糕的失敗模式。

你需要具備什麼才能執行其中任一個

MathForm 8B 沿用 Qwen3-8B 的授權，Hub 上登錄為 Apache 2.0，而以下就是支持它的實際理由：81.9 億個稠密參數、一個僅支援英文的模型、把生成預算收窄到 Lean 輸出而非一般推理，以及一次下載而非一整個叢集。它的基礎模型 Qwen3-8B，正是讀者原本會自行架設的模型——一個通用 8B 模型，具備 32K 原生上下文、可延伸至 131K，並涵蓋 119 種語言。MathForm 8B 幾乎把這一切都換掉，只為換取一項技能。

Beam 1.0 需要有個落腳之處。模型卡上列出 52 層、256 個專家（每個 token 路由其中八個）、152,000 個 token 的詞彙量、2026 年 6 月 30 日的知識截止日，以及 1,000,000 個 token 的上下文視窗。它推出三種權重版本——BF16 為 501.3B、FP8 為 501.3B、NVFP4 為 255B——外加一個 2B 的 DFlash2 草稿模型，用於推測解碼。模型卡上沒有服務部署建議，Reflection 旗下各處也找不到任何已公布的 API 價格；Artificial Analysis 該模型的頁面將價格欄位列為無法取得，並註明目前沒有公開可用的 API。四比特版本正是讓這筆採購從假設變成可行的關鍵，而這說到底仍是一場關於 GPU 的討論。

OrcaRouter 兩個模型都不代為路由，本頁面也無意暗示相反的情況。我們路由的是那兩者之外的實際供應層級：超過 200 個模型，透過單一 OpenAI 相容金鑰、以供應商定價、零加價提供，因此供應商一宣布降價，當天就會反映在你的帳單上。對於真正需要的是今天就能回應的模型、而非明天才編譯完成的檢查點的團隊而言，這正是這份比較表所無法提供的那一列。

可驗證性差異，用淺白的話說

這裡陳述的不對稱性，是一項操作上的事實，而非基準。

一個 MathForm 8B 的輸出會進入一條設有閘門的管線。Lean 編譯器會接受或拒絕該陳述。語意一致性檢查會通過或失敗。不良輸出可以自動被丟棄，而模型可以被留在代理迴圈中不斷重試，直到有某個結果通過驗證——這正是 RL 階段訓練它去做的事。錯誤答案的代價是一個被拒絕的樣本，而不是一個被交付出去的缺陷。這在當前的開放權重領域中確實是罕見的特性，也正是為什麼在一個形塑得像形式數學的管線中，一個專門化的 8B 模型可以比一個規模大它一百倍的通用模型更有用。

Beam 1.0 的輸出沒有這樣的閘門。評估表可以告訴你它在 SWE-bench 上解決 GitHub 問題的頻率，但無法告訴你它為你的儲存庫所寫的修補程式是否正確，因為那是關於你的測試的問題。模型卡對傳輸格式異常具體，卻對準確性問題異常沉默，而這恰如其分地描述了這個領域的現狀：圍繞代理式編碼模型的工具鏈擅長執行程式碼，卻不擅長為它認證。

如果你的領域有檢查器——型別系統、證明助理、結構描述、模擬器——那麼專為該檢查器打造的專家模型，往往是槓桿更高的下載選擇。如果你的領域沒有這類檢查器，你就是在購買能力，並自行支付評估成本，而較大的通用模型才是能給你更多能力的那一個。

在它們之間做選擇

選擇 MathForm 8B，前提是這項工作就是形式化，別無其他——把一批數學散文語料轉換成證明助理會接受的 Lean 4，而且規模大到人類無法逐一檢查。81.9 億參數的規模、Apache 2.0 條款與狹窄的輸出型態，在這種情況下全都是優勢。除此之外，其他用途都別選它：它不閒聊，寫不出值得交付的散文，也不像其基礎模型那樣能處理 119 種語言，而且在它受訓的那一項轉換之外，沒有任何已記載的能力。

選擇Beam 1.0如果這類工作屬於通用代理型態——在大型程式庫中解決問題、驅動工具、執行長篇多步驟計畫——而且你擁有 501B MoE 所需的硬體或服務合作夥伴，那就選它。100 萬 token 的上下文、公開的評估表以及四位元檢查點，全都瞄準這類工作負載。請為推理 token 編列預算：範本沒有關閉開關，服務預設為最高努力等級，而且移除先前輪次的推理內容已被記錄為會降低輸出品質。

如果這篇文章真正要談的pipeline是由你來建的，那就兩者都選。合理的模式是：用一個通用模型來做有歧義的部分，再用一個可驗證的專才來做有把關機制的那部分——而這兩個角色會以不同的方式失效，這正是值得兩者都擁有的唯一理由。

這個比較在三個月後會有哪些不同

有兩列缺漏，而這兩列都能標定日期。第一列是 Beam 1.0 權重的獨立評估，這件事要到 2026 年 10 月 16 日才可能進行，而且至今尚未發生；本頁歸給 Reflection 的每一項數字，仍舊只有單一來源。第二列是 Beam 的價格。一個擁有 5010 億參數評估表、卻沒有計量費率的模型，是大多數團隊都無法編列預算的模型；在 Reflection 或某家服務合作夥伴公布費率之前，這兩者之間最誠實的成本比較，就是一場下載對上一筆尚未報價的租用。

MathForm 8B 的差距不同，不會因為等待而彌合。它報告的 88.06% 語法檢查與 72.37% 一致性數字，是廠商在一個帶有驗證器的任務上給出的數字，而驗證本身就是產品——任何擁有該模型與 Lean 安裝環境的人都能自行測量，這一點是這頁上大多數數字比不上的。這就是狹窄合約能為你換來的東西。

這些都不是假設：像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件，全都收錄在OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。