HiRO-ACEv2 対 MathForm 8B：2つの特化型モデル、2種類のグラウンドトゥルース

どちらもHiRO-ACEv2もMathForm-8Bも、汎用モデルになろうとはしていない。そしてどちらも、チャットボットよりも狭い問題のほうが面白いと判断したチームによって作られた。HiRO-ACEv2はAi2の第2世代気候エミュレータで、2026年10月12日に10.9 GBのリポジトリとして、何の告知もなくHugging Faceに投稿され、翌日付のプレプリントも同時に公開された。MathForm-8BはOpenBMBの自動形式化モデルで、2026年8月14日にQwen3-8Bを基盤として作成され、自然言語の数学をLean 4のステートメントに変換する。一方は3 km格子の大気を生成し、もう一方は形式的な証明義務を生成する。両者を比較する理由は能力ではない——用途が重なることはない——が、両者がともに主張している、それぞれの場合でまったく異なる意味を持つことになる点にある。すなわち、機械が出力の正しさを判定できるという主張である。

各モデルが実際に出力するもの

HiRO-ACEv2 は二段階のパイプラインを実行します。自己回帰エミュレータが、全球の storm-resolving モデルである X-SHIELD を 100 km に粗視化したものを生成し、別途学習された拡散モデルがその粗い状態を 3 km にダウンスケールして、6時間平均の地表降水量、瞬時の地上10メートルの東向きおよび北向きの風、海面気圧を出力します。リポジトリには、ダウンスケーラーが HiROv2.ckpt として約 1.28 GiB、粗視化エミュレータが ACE2S-X-SHIELD.ckpt として約 2.98 GiB で格納されており、さらに10年分の NetCDF 強制データ、2つの初期条件ファイル、それらを結び付ける YAML 設定が含まれています。

MathForm-8Bはテキストを生成しますが、それは極めて特殊な種類のものです。すなわち、Lean 4の定理文です。このカードでは、OpenBMBのFormalVerseデータセットで訓練された自動形式化モデルとして説明されています。まず教師ありファインチューニングを行い、次にLeanのコンパイルと意味的一貫性フィードバックから報酬を得る強化学習を行っています。これは8Bのdenseモデルで、Apache 2.0ライセンスです。その規模は、独自に公開されたパラメータ数からではなく、ベースモデルであるQwen3-8Bから継承されています。Transformers、vLLM、またはSGLangサーバー上での推奨生成設定は、温度0.6、top-p 0.95、新規トークン16,384個です。評価には、実行中のKimina Lean ServerとLean 4.21.0が必要です。

どちらも設計上、対象が狭い。これが最初の本当の共通点であり、共通点はおおむねそこで終わる。

2種類のチェック、そしてなぜそのうちの1つだけが議論を決着させるのか

Lean側には決定的な検証器がある。定理の文はLean 4でコンパイルが通るか通らないかのどちらかであり、型チェッカーは固定された計算体系である——好調な日も不調な日もなく、較正される必要もない。だからこそMathForm-8Bの学習ループは、コンパイルを報酬信号として使うことができる。公表されている数値は、構文チェックと整合性チェックという2つの方式におけるPass@8率で、6つのベンチマークにわたって評価されたものである。構文チェックの数値は88.06%、整合性チェックの数値は72.37%だ。これらは著者自身の数値であり、ここで再現されたものではない。そして両者の16ポイントの差は、このカード上で最も情報量の多い事実である。コンパイルが通る文は、元の問題が意味していたことを述べている文と同じではない。

気候側にはそのような検証ツールはない。HiRO-ACEv2のモデルカードにはベンチマーク表が含まれていない。その唯一の定量的な主張は、ダウンスケーラーが99.9999パーセンタイルまでの参照降水量、10メートル風、海面気圧分布を再現し、参照熱帯低気圧強度分布に大まかに従うというものである。論文はさらに、推論コストが従来の数値全球ストーム解像モデルよりも300倍以上少ないと付け加えている。

それらはすべて、計算体系に対する合否テストではなく、参照に対する分布的な主張だ。その区別が、それぞれの主張が異議を唱えられずにどれだけ長く生き残るかを決める。MathForm-8B の数値なら、Lean サーバーと GPU を使ってモデルをベンチマークに対して実行すれば反証できる。HiRO-ACEv2 の数値を反証するには、10年分の強制データセット、比較対象となる参照シミュレーション、そして極端な裾を扱うことをいとわない分析者が必要だ。前者は大学院生にとって1週間の仕事だ。後者は論文1本だ。

ベンダーがあなたに教えてくれることと、教えてくれないこと

この2つのモデルカードは正反対の気質を持っていて、並べて読むと、カードが何のためにあるのかがよく分かる。

OpenBMBのカードは、制限事項セクションを備えた主張シートである。そこには学習コーパス、報酬構造、推奨サンプリングパラメータ、正確なLeanバージョン、そして6つのベンチマークにわたるPass@8を報告する図が示されている。ただし注目すべきは、数値が本文ではなく画像内にあるため、プログラムでページをスクレイピングする者には、手法は丁寧に記述されているものの、結果はまったく見つからないということだ。与えられていないのはリリース日である。メタデータのどこかにある唯一の日付シグナルは、arXiv識別子2608.14221と、リポジトリの作成タイムスタンプである2026年8月14日だけである。

Ai2のカードは、本質的に制約のリストだ。両方のチェックポイントについて、2014年から2022年までの9年間の訓練データ。観測ではなくX-SHIELDを再現する出力であり、そのため参照シミュレーションのバイアスを引き継ぐ。訓練時の強制条件の外側への一般化は期待されていない——v2論文は、このフレームワークが南緯66°から北緯70°を超えて検証されておらず、南緯88°または北緯88°より先では実行できないと指摘することで、この点をより明確にしている。16×16の1度訓練タイルより大きな領域におけるパッチ重複の不連続。同梱のACE2S-X-SHIELDチェックポイントは、以前のACE2-ERA5系統よりも厳密にテストされておらず、気象予報向けではないという注記。そしてライセンス——Apache 2.0——は、Ai2の責任ある利用ガイドラインと、研究・教育目的という枠組みを伴っている。

一方のカードは、そのモデルがどんなスコアを出すかを教えてくれる。もう一方は、そのモデルにできないことを教えてくれる。どちらも何も隠していない。そして、二枚目をより弱いリリースだと取り違える読者は、これらの成果物が何のためにあるのかを読み違えている。

本当に比較できる部分：フォークの価値とは何か

両リリースを同じ尺度で測ることのできる唯一の軸がこれであり、それは逆方向へ向かっている。

• バックボーンの由来 — MathForm-8B は Qwen3-8B の完全なファインチューニングであるため、その系譜は Hugging Face のメタデータに記載されており、その祖先は広く展開されているオープンモデルです。HiRO-ACEv2 のコンポーネントは Ai2 独自のパイプライン内で訓練されており、訓練データは GFDL 提供の X-SHIELD に帰属され、その下に上流のオープンチェックポイントはありません。

• いくつのランタイムで読み込めるか — MathForm-8B は Transformers、vLLM、SGLang で動作し、コミュニティはすでに llama.cpp と Apple silicon 向けの GGUF および MLX 量子化を提供しています。HiRO-ACEv2 は Ai2 の fme Python パッケージを通じて動作し、設定は ai2cm/ace リポジトリを指しており、代替の方法はありません。

• エコシステムの動きがいかに速かったか — MathForm-8Bのリポジトリが公開されてから4日以内にコミュニティによるGGUFビルドが登場し、4ビット、6ビット、8ビットのMLX変換も2週間以内に続きました。一方、HiRO-ACEv2のリポジトリは、最後のコミットから2日経っても「いいね」が1件だけで、ダウンロードはゼロです。

• 重みを入手するのにかかるコスト — MathForm-8B は通常のモデルチェックポイントとしてダウンロードでき、コンシューマー向けハードウェアで動かせるまで量子化できます。HiRO-ACEv2 はリポジトリが 10.9 GB で、その大半は重みではなく外力と初期条件のデータであり、縮小することはありません。

パターンはこうだ。用途特化型の言語モデルはバックボーンからエコシステムを受け継ぐが、用途特化型の物理エミュレータは何も受け継がない。MathForm-8Bの場合、それを動かすための作業は、それが存在する前にほとんど済んでいた。HiRO-ACEv2の場合は、READMEから始まる。

ルーティング層が適する場所と、適さない場所

ここでの正直な答えは非対称であり、両方のモデルを等しく扱うように曖昧に述べるのではなく、はっきりと言う価値がある。MathForm-8B 自体は当社のカタログにはない——このファインチューニング済みチェックポイントは OpenBMB 自身の配布物に由来し、呼び出し先の Lean インストールと同じサーバー上で自前で動かす必要がある。その祖先も当社のカタログにはない。これは前提が逆方向に働きがちだからこそ言っておく価値がある。つまり、ファインチューニング元となった特定の Qwen3-8B チェックポイントは 2025 年のリリースであり、当社が提供する Qwen の id のいずれでもない。当社がルーティングしているのは、その周辺の現行 Qwen 世代——Qwen3.8 および Qwen3.5 の各ティア、そして131,072 トークンのコンテキストで入力 100 万トークンあたり $0.18、出力 100 万トークンあたり $0.70 という、8B スケールと同じファミリー系譜を共有する Qwen3-VL-8B-Instruct チェックポイントである。

それが、形式化パイプラインが実際に必要とする層だ。教科書を候補文に分割すること、論文から非形式的な定理を自動形式化器に送る前に抽出すること、Leanのエラーメッセージを診断に変えることは、いずれも通常の言語モデル呼び出しであり、ほかのすべてと同じキーを通して実行できる。HiRO-ACEv2はルーティング可能ではなく、現状の形では今後もそうならない。なぜなら、ルーティングすべきトークン計量済みリクエストが存在しないからだ — 10.9ギガバイトのチェックポイントとシェルスクリプトはエンドポイントではない。

200以上ものルーティング済みモデルをまたいで1つのキーがもたらすものとは、これらのいずれかを中心に組まれたパイプラインにおいて、周辺の作業がプロジェクトではなく1回の呼び出しで済むようになることです。プロバイダーの定価は一切の上乗せなしでそのまま通り、プロバイダー間のフェイルオーバーは自動で行われ、アンサンブルや形式化の実行を回すスクリプトは、自らの出力を要約するために2つ目のベンダー契約を必要としません。

双方で注意すべき点

Lean側で重要な数字とは、訓練レシピに利害関係のないグループによる88.06と72.37という数値の独立した再現であり、理想としては単一のPass@8に平均化されるのではなくベンチマークごとに分解されたものである——なぜなら、自動形式化の失敗は数学的領域ごとにクラスタリングし、平均値は実務家が必要とするパターンをまさに隠してしまうからだ。気候側で重要な数字とは、エミュレータの著者以外の誰かが同じハードウェア上で実行した数値的ストーム解像モデルとの比較であろう。なぜなら、300倍の推論という主張こそが、この技術が運用上採用されるかどうかを決めるものだからだ。

それまでは、どちらのモデルも、それぞれのカードが促すやり方で読むのが最善だ。MathForm-8B は強力な自動形式化器であり、その出力の背後にはコンパイラが控えている。そしてそれについて興味深い問いは、コンパイルされた文が、単に真であるだけでなく、正しいことを言っているのはどれくらいの頻度か、という点だ。HiRO-ACEv2 は、これまで降水のみだった出力に風と気圧を追加したばかりの研究用エミュレータであり、興味深い問いは、追加されたフィールドが、一緒に出力される降水と物理的に整合しているかどうかだ——たとえ存在したとしても、どのベンチマーク表も教えてくれなかっただろうことである。

このような比較は、失敗モードが表面化する場でもあります。このクラスのモデルの背後にある、記録されたAIインシデントやエージェント障害は、OrcaRouter AIインシデントアーカイブ に集められており、各エントリーには独自の情報源、重大度、信頼度グレード、異議ありフラグが付されています。