一張生成的標題卡,標題為「HiRO-ACEv2 對比 MathForm-8B——兩種基準真相」。左側卡片 MathForm-8B 列出 8B dense、採用 Qwen3-8B 主幹、輸出 Lean 4 定理敘述、語法檢查通過率 Pass@8 88.06%、一致性檢查通過率 Pass@8 72.37%、儲存庫建立於 2026 年 8 月 14 日。右側卡片 HiRO-ACEv2 列出未公布參數量、3 公里降水、風與氣壓、聲稱尾部可達第 99.9999 百分位、聲稱推論成本便宜逾 300 倍、儲存庫建立於 2026 年 10 月 12 日。頁尾寫著「MathForm-8B 的數據由廠商提供;Ai2 的數據由作者自行報告且未經重現。」OrcaRouter 標誌合成於右下角。
Guides & Insights

HiRO-ACEv2 對 MathForm 8B:兩種窄域模型,兩種基準真相

作者

Magnus Corvin

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

無論是HiRO-ACEv2還是MathForm-8B都不是想成為通用模型,而且兩者都是由那些認定有趣問題比聊天機器人更狹窄的團隊所打造。HiRO-ACEv2 是 Ai2 的第二代氣候模擬器,於 2026 年 10 月 12 日以 10.9 GB 的儲存庫發布到 Hugging Face,沒有發布公告,同時還有一篇日期為隔天的預印本。MathForm-8B 是 OpenBMB 的自動形式化模型,於 2026 年 8 月 14 日在 Qwen3-8B 骨幹上建立,能將自然語言數學轉換成 Lean 4 語句。一個產生 3 公里網格大氣;另一個產生形式證明義務。比較它們的理由不是能力——它們的用途毫無重疊——而是兩者都宣稱、但結果在各自情況下意義截然不同的事情:機器能判斷輸出是否正確。

每個模型實際上輸出什麼

HiRO-ACEv2 執行一套兩階段管線。一個自迴歸模擬器產生 X-SHIELD(全球風暴解析模式)粗化至 100 公里的版本;接著由另一個獨立訓練的擴散模型將該粗尺度狀態降尺度至 3 公里,產出每六小時平均的地表降水率、瞬時 10 公尺東向與北向風速,以及海平面氣壓。此儲存庫收錄了降尺度器 HiROv2.ckpt(約 1.28 GiB)與粗尺度模擬器 ACE2S-X-SHIELD.ckpt(約 2.98 GiB),以及十年的 NetCDF 強迫資料、兩個初始條件檔案,和將它們串接起來的 YAML 設定檔。

MathForm-8B 會輸出文字,但屬於非常特定的一種:Lean 4 定理陳述。模型卡將其描述為一個自動形式化模型,以 OpenBMB 的 FormalVerse 資料集訓練,先進行監督式微調,再進行強化學習,其獎勵來自 Lean 編譯與語意一致性回饋。它是 8B 稠密模型,採用 Apache 2.0 授權,其規模繼承自基礎模型——Qwen3-8B——而非來自其自身任何已公布的參數量。建議的生成設定為 temperature 0.6、top-p 0.95 與 16,384 個新 token,並在 Transformers、vLLM 或 SGLang 伺服器上運行;評估則需要一個正在運行的 Kimina Lean Server 與 Lean 4.21.0。

兩者都刻意設計得狹窄。那是第一個真正的相似之處,而相似之處大多也就到此為止。

兩種檢查,以及為什麼只有其中一種能平息爭論

Lean 這一側有一個決定性的驗證器。一條定理陳述在 Lean 4 之下不是能編譯,就是不能;而型別檢查器是一套固定的演算——它沒有時好時壞的問題,也不需要被校準。這正是 MathForm-8B 的訓練迴圈能夠把編譯當作獎勵訊號的根本原因。已發表的數字是兩種制度下的 Pass@8 比率:語法檢查與一致性檢查,並在六項基準測試上進行評估;語法檢查的數字為 88.06%,一致性檢查的數字則為 72.37%。那些是作者自己的數字,此處並未重現,而兩者之間十六個百分點的落差,是這張卡片上最具資訊價值的一點:一條能編譯的陳述,並不等同於一條表達了原始問題意涵的陳述。

氣候領域並沒有這類驗證器。HiRO-ACEv2 的模型卡不含基準測試表。它唯一的量化主張是:該降尺度器能重現參考的降水量、10 公尺風速與海平面氣壓分布,直至第 99.9999 百分位,並且大致遵循參考的熱帶氣旋強度分布。該論文補充,推論成本比傳統數值全球風暴解析模型低 300 倍以上。

那些當中的每一項,都是相對於某個參考基準的分布性宣稱,而不是對照某套演算的通過/不通過測試。這項區別決定了每一項宣稱能在不受挑戰的情況下存活多久。你可以用 Lean 伺服器和 GPU,讓模型跑這些基準測試,來否證 MathForm-8B 的那個數字。若要否證 HiRO-ACEv2 的數字,則需要一份十年期的強迫資料集、一個可供比對的參考模擬,以及一位願意在極端尾部工作的分析師。第一項對研究生來說是一週的工作量。第二項則是一篇論文。

A headless-browser capture of the Hugging Face model card for openbmb/MathForm-8B, showing 9 likes, the openbmb organisation line, Text Generation, Transformers and Safetensors tags, the openbmb/FormalVerse dataset tag, arXiv 2608.14221 and an apache-2.0 licence badge, with the card opening on the title MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement.

供應商會告訴你什麼,以及不會告訴你什麼

這兩張模型卡的氣質截然不同,將它們並排閱讀,能讓人深受啟發,明白一張模型卡究竟有何用途。

OpenBMB 的卡片是一份附有限制章節的主張表。它提供了訓練語料、獎勵結構、建議的取樣參數、確切的 Lean 版本,以及一張報告六項基準測試 Pass@8 結果的圖——不過值得注意的是,這些數字存在於圖片中而非文字裡,因此任何以程式方式爬取該頁面的人,都會發現方法被仔細描述,結果卻完全付之闕如。它沒有提供的是發布日期;中介資料中唯一的日期訊號,就是 arXiv 識別碼 2608.14221 以及該儲存庫於 2026 年 8 月 14 日的建立時間戳。

Ai2 的模型卡本質上是一份限制清單。兩個檢查點都有九年、2014 至 2022 年的訓練資料。輸出重現的是 X-SHIELD,而非觀測資料,因此帶有參考模擬的偏差。不預期能在訓練強迫條件之外進行泛化——v2 論文特別強調這一點,指出該框架在 66°S 至 70°N 之外未經測試,且無法運行超過 88°S 或 88°N。在大於 16×16 一度訓練圖塊的區域中,會出現區塊重疊不連續性。一項註記:隨附的 ACE2S-X-SHIELD 檢查點未如早先的 ACE2-ERA5 系列那般經過嚴格測試,且不用於天氣預報。以及一份授權條款——Apache 2.0——附帶 Ai2 的《負責任使用指南》與研究及教育用途的框架。

一張卡告訴你模型得了幾分。另一張告訴你它做不到什麼。兩者都沒有隱瞞任何事,而若有人把後者誤認為是較弱的發布版本,那就是誤讀了這些產物的用途。

A generated two-column card headed "A compiler versus a distribution". Left column MathForm-8B lists verifier the Lean 4 compiler, kind of test type checking a fixed calculus, can it be wrong no it fails a wrong answer, cost to falsify a GPU and a Lean server. Right column HiRO-ACEv2 lists verifier none public, kind of test distribution against a reference simulation, can it be wrong yes and quietly, cost to falsify a 10-year forcing set and a paper. A footer reads "One claim can be settled in a week; the other takes a research effort." The OrcaRouter logo is composited bottom-right.

真正具有可比性的部分:一個分叉究竟值多少

這是唯一能用相同方式衡量這兩個發行版的軸線,而它卻朝相反方向發展。

• 骨幹從何而來 — MathForm-8B 是 Qwen3-8B 的完整微調,因此其血統記錄在 Hugging Face 的元資料中,而其祖先是廣泛部署的開放模型;HiRO-ACEv2 的元件則在 Ai2 自家的流程中訓練,訓練資料歸屬於 X-SHIELD、由 GFDL 提供,且底下沒有上游的開放檢查點。

• 有多少種執行環境能載入它—— MathForm-8B 可在 Transformers、vLLM 或 SGLang 上執行,社群也已經為 llama.cpp 和 Apple silicon 製作了 GGUF 與 MLX 量化;HiRO-ACEv2 則透過 Ai2 的 fme Python 套件執行,設定檔指向 ai2cm/ace 儲存庫,而且沒有其他替代途徑。

• 生態系統演進的速度有多快——MathForm-8B 的儲存庫出現後四天內,社群製作的 GGUF 版本就已上線,4 位元、6 位元與 8 位元的 MLX 轉換也在兩週內陸續推出;而 HiRO-ACEv2 的儲存庫在最後一次提交後兩天,只獲得一個讚,且沒有任何下載。

• 取得權重所需付出的代價——MathForm-8B 以一般模型檢查點的形式下載,並可量化至消費級硬體;HiRO-ACEv2 則是 10.9 GB 的儲存庫,其中大部分是強迫資料與初始條件資料,而非權重,而且它不會縮減。

這個模式是:特定應用的語言模型會從其骨幹繼承一套生態系,而特定應用的實體模擬器則什麼都繼承不到。對 MathForm-8B 而言,讓它能運作的工作大多在它問世之前就已經完成。對 HiRO-ACEv2 而言,這一切則從 README 開始。

路由層適合的地方,以及不適合的地方

這裡的誠實答案並不對稱,值得直說,而不是對兩個模型一視同仁地含糊帶過。MathForm-8B 本身並不在我們的目錄中——這個微調檢查點來自 OpenBMB 自家的發行版,而且需要在你自己的伺服器上,緊挨著它所呼叫的 Lean 安裝來執行。它的前身也不在我們的目錄中,這點值得說明,因為預設假設正好相反:它所微調自的那個特定 Qwen3-8B 檢查點是 2025 年的發布版本,並不是我們所提供服務的 Qwen ID 之一。我們實際路由的是它周邊的當前 Qwen 世代——Qwen3.8 與 Qwen3.5 層級,以及 Qwen3-VL-8B-Instruct 檢查點,它共享 8B 規模與相同家族血統,在 131,072 token 的上下文下,每百萬輸入 token 為 0.18 美元、每百萬輸出 token 為 0.70 美元。

那正是形式化流程實際需要的層級。將教科書拆分為候選陳述、在論文進入自動形式化器之前從中提取非正式定理,或將 Lean 的錯誤訊息轉化為診斷,這些都是普通的語言模型呼叫,而且它們可以與其他所有事物一樣,透過同一把金鑰來執行。HiRO-ACEv2 無法被路由,而且以其目前的形式永遠也不會,因為沒有以 token 計量的請求可供路由——10.9 GB 的檢查點和一個 shell 腳本並不是一個端點。

在兩百多個已路由模型中,一把金鑰能為你帶來什麼,在以其中任一者為核心打造的管線裡,就是讓周邊工作變成一次呼叫,而不是一個專案:供應商的標價原樣通過,不額外加價;供應商之間會自動容錯移轉;而驅動集成或形式化執行的指令碼,不需要第二份供應商合約就能摘要自身的輸出。

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3-vl-8b-instruct, showing the page navigation, Vision, Tools and JSON capability badges, the byline "by Qwen - 2025-10-14", and the description "Qwen3-VL 8B Instruct - open-weight small vision-language model, 8B params, 128k context, no thinking mode".

兩側需注意的事項

在 Lean 這一邊,真正算數的數字,會是由一個與訓練配方毫無利害關係的團隊,獨立重現 88.06 與 72.37 這兩個數字,而且最好是依各項基準分別拆解,而不是平均成單一的 Pass@8——因為自動形式化的失敗會依數學領域而群聚,而平均值恰好掩蓋了實務工作者真正需要的模式。在氣候這一邊,真正算數的數字,會是與由模擬器作者以外的人、在同一套硬體上跑出的風暴解析數值模式所做的比較,因為「推論快 300 倍」這個說法,才是決定這項技術能否在實際作業中被採用的關鍵。

在那之前,這兩個模型最好都按照各自模型卡所引導的方式來解讀。MathForm-8B 是一個強大的自動形式化器,其輸出背後有編譯器撐著;關於它,有趣的問題是:編譯後的陳述有多常說出正確的東西,而不只是說出一個為真的東西。HiRO-ACEv2 是一個研究用模擬器,它剛在原本僅有降水輸出的基礎上,新增了風與氣壓;有趣的問題是,這些新增欄位是否與一同輸出的降水在物理上一致——這種事就算有基準測試表,也不會告訴你。

像這樣的比較,也正是失效模式會浮現的地方:這一類模型背後有紀錄的 AI 事故與代理失效,都彙集在OrcaRouter AI 事故檔案庫,其中每一筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。