ZoomGain-9B 対 MathForm 8B：互いの仕事をこなせない2つの9Bチェックポイント

ZoomGain-9B と MathForm-8B の背後には、答えにくい問いが潜んでいる。両者はどちらも約90億パラメータのファインチューニング済みモデルで、同じ80日間のうちに公開された。どちらも論文が添えられた中国の研究室による Apache-2.0 に近い研究リリースであり、どちらも数千例の強化学習によってポストトレーニングされ、どちらもそのサイズではありえないように見えるベンチマークスコアを持っている。順位をつけたくなる。問題は、一方は画像を一度も見たことがなく、もう一方は Lean の証明を一度も見たことがないため、その順位付けには軸がないことだ。

{{1}}ZoomGain-9B{{/1}}はinclusionAIの2026年11月10日の視覚言語チェックポイントで、切り抜き画像の詳細から抽出した9,000件の質問に対してGRPOで学習されており、報告されている最高成績はHR-Bench 4Kで90.25です。{{2}}MathForm-8B{{/2}}はOpenBMBの2026年8月14日の自動形式化モデルで、約367,000件のLean 4例に対して教師あり微調整を行った後に強化学習で学習されており、報告されている最高成績は6つの自動形式化ベンチマークにわたる構文チェックpass@8平均88.06%です。どちらの数値も他方のモデルについて何も語りません。両者を結びつけるのはランキングよりも有用なものです。この2つのリリースは、小さなファインチューンがはるかに大きな汎用モデルを打ち負かせる方法について異例なほど似た主張をしており、その主張を正当化する方法は、どちらを何のために信頼すべきかを教えてくれるほど十分に異なっています。

名前付きの空白列

ZoomGainBenchにはテキスト専用モデルは含まれていません。これは写真に関する質問群——属性認識、計数、OCR——であるため、視覚エンコーダを持たないモデルは参加できず、MathForm-8Bも参加していません。逆に、MathFormの6つの評価ベンチマークはFormalMATH、ProverBench、CombiBench、および3つのFATE分割であり、いずれも自然言語の数学をLean 4に翻訳するタスクです。ZoomGain-9Bはそれらのどれでも実行されたことがなく、うまくいくと信じる理由もありません。なぜなら、そのトレーニングには形式言語が一切含まれていなかったからです。

これはベンチマークに関する些末な話ではない。これは意思決定の全体像そのものだ。あなたのタスクが画像を生成し、短い事実的な答えを消費するなら、MathForm-8Bはそれを試みることすらできないテキストモデルだ。あなたのタスクが数学的命題を消費し、機械検証可能なLean 4証明を生成するなら、ZoomGain-9Bはこれまで一度も求められたことのない視覚モデルだ。測定すべき重なりは存在しない。つまり、誠実な比較は構築、証拠、運用コストについてのものになる——そしてそれらは大きく異なることが分かる。

2つのRLレシピ。どちらも小規模で、両者の違いは何か

ZoomGainの訓練セットは、7,713枚の元画像に対する9,000件のレコードである。エポック数は1、バッチサイズは64、質問ごとに8回のロールアウト、選択した選択肢が参照回答と一致するかを確認する報酬を用いたGRPOである。データは注釈付けではなく生成された。複数のモデルが領域を特定し、クロップにキャプションを付けて全体シーンのキャプションと比較し、クロップが明らかにした詳細が全体画像に関する質問になる。人間の関与はスクリーニングのみだった。論文は、手作業による質問と回答の編集が行われなかったことを明言している。

MathFormのトレーニングセットはFormalVerseで、約367,000件の検証済みLean 4例です。まず教師ありファインチューニングを行い、次にLeanのコンパイルと意味的一貫性チェックからのフィードバックを用いた強化学習を行います。データ構築では、生成前のMathlib検索と生成後の反復的な改善を行い、その改善はコンパイラの診断によって導かれました。

• ベースモデル — ZoomGain-9B は Qwen3.5-9B（32 層、隠れ層 4,096、中間層 12,288、262,144 位置、線形アテンションとフルアテンションの 3:1 スケジュール）からポストトレーニングされています。MathForm-8B は Qwen3-8B（36 層、すべてフルアテンション、隠れ層 4,096、中間層 12,288、40,960 位置、ヘッド次元 128 で 32 個のクエリヘッド対 8 個の KV ヘッド、RoPE theta 1e6）からポストトレーニングされています。

• 共有ディメンション — 両方ともそれぞれのQwen親モデルから4,096の隠れ幅と12,288の中間幅を継承しており、これは両者間で最も際立った偶然の一致であり、ファインチューニングではなくファミリーの特性です。

• 語彙 — ZoomGain-9B では 248,320 トークン、MathForm-8B では 151,936 トークンです。MathForm の語彙は Qwen3 世代のもので、これが重要です。Lean 4 のコード、Unicode 数学記号、証明トークンはそれぞれ異なる形でトークン化されます。

• コンテキスト — ZoomGain-9B のカードには何も記載されておらず、その config では 262,144 と宣言されています。MathForm-8B の config では 40,960 と宣言されており、推奨されるサービングコマンドは 16,384 に上限設定され、max_new_tokens は 16,384 トークンです。自動形式化では、拘束条件となるのは入力ではなく出力長です。

• モダリティ — 一方は画像とテキストを入力としてテキストを出力し、もう一方はテキストを入力としてテキストを出力します。

• ライセンス — ZoomGain-9B: コードはApache 2.0、チェックポイントの条件は先送りされ、Hubメタデータにライセンスタグはありません。MathForm-8B: Apache 2.0で、リポジトリにLICENSEファイルがあります。

• 配布 — ZoomGain-9B には BF16 に加えて、F16、Q8_0、Q4_K_M の GGUF があります。MathForm-8B には、合計約 16.4 GB の 4 つのシャードに分かれた BF16 safetensors と、コミュニティによる GGUF および MLX ビルドがありますが、ベンダー提供の独自の量子化はありません。

MathForm-8Bの数値と、それらが見た目より確認しやすい理由

OpenBMBは、6つのベンチマーク全体で、構文チェックのpass@8が平均88.06%、一貫性チェックのpass@8が平均72.37%であると報告している。同じ表において、ReForm-8Bは81.76と66.21、Goedel-Formalizer-V2-32Bは78.28と63.74、StepFun-Formalizer-32Bは63.65と44.47に達している。FATEの3つの分割は、特化モデルが崩壊し、MathFormは崩壊しない領域である。FATE-Xは構文54.00、一貫性37.00となり、ReForm-8Bの45.00と21.00と対比される。

これらの数値を典型的なベンダー表より信頼できるものにしている要因は2つある。第一に、タスクが知覚タスクとは異なる意味で機械的であることだ。Lean 4の文はコンパイルできるかできないかのどちらかであり、整合性チェックは意味を元の命題と照合する。一部が機械検証可能なベンチマークは、楽観的に採点するのが難しい。第二に、論文はSFTのみのモデルの方が劣ると述べている。MathForm-8B-SFTは構文84.38、整合性66.53を記録しており、RL段階は完成したモデルを飾っているのではなく、測定可能な効果を上げていることになる。

また、モデル自身の枠組みに反するため、引用する価値のある比較もある。同じ6つのベンチマークで、汎用商用エンドポイントであるQwen3.7-Plusは構文で86.33、一貫性で83.38を記録する。MathForm-8Bは構文では1.7ポイント上回り、一貫性では11ポイント劣る。特化型ファインチューンは完全一致タスクでは勝ち、形式化が元の意味と同じであることを要求するタスクでは負ける。パイプラインがコンパイルできる文を必要とするなら、小型の特化モデルはお買い得だ。忠実な文を必要とするなら、検索を備えた汎用モデルの方が依然として優れているかもしれない。

ZoomGain-9Bの数値、同じ会計処理に基づくもの

著者らは、HR-Bench 4Kで90.25（ベースモデルは82.13）、V*Benchで93.19（ベースは86.91）、VisualProbeで56.31（ベースは44.66）、MMVPで70.00（ベースは60.00）、O3-Benchで68.12（ベースは56.52）と報告している。13のベンチマークにわたるホールドアウト平均は66.10（ベースは59.75）。ZoomGainBench——訓練データと同じパイプラインで構築されたベンチマーク——ではモデルは55.48を記録し、論文はその列を「Held-in」とラベル付けして、この区別を埋もれさせずに明示している。

MathFormのエビデンスとの構造的な違いは、ZoomGainのベンチマークが同じようには機械的に検証可能ではないという点にある。多肢選択式の回答は完全一致、カウントは整数に対する完全一致、OCRはANLSで採点される——しかし、設問自体が生成されたものであり、著者たち自身の確認は、回答がクロップされたビュー上で検証可能であるというものだ。検証済みの回答を伴う生成された設問は、依然として生成された設問にすぎない。

両リリースは、いずれも一部でモデルをアノテーターとして用いて制作された。ZoomGainの付録には役割が明記されている。Qwen3.5-397B-A17Bはシーンキャプション、グラウンディング、最終MCQ検証を、Qwen3-VL-235B-A22B-InstructとKimi-K2.6はクロップベースの検証とブラインド回答を、DeepSeek-V4-Proはディストラクターのクラスタリングを担当した。MathFormのFormalVerseは、Mathlibから取得し、その後コンパイラに不正な生成物を棄却させるパイプラインで構築された。一方のパイプラインは、説得しても同意させられない検証器に依存し、もう一方はモデルが他のモデルの作業を確認する仕組みに依存しており、人手によるスクリーニングのみが行われる。

運用チームが尋ねるであろう言葉で、それらを提供する

ZoomGain-9BはBF16で18.82 GBで、vLLM 0.19.1とtransformers 5.7.0（著者らの正確なバージョン）で動作するほか、GGUFファイルとプロジェクターを使用したQ​wen3.5マルチモーダル対応のllama.cppビルドでも動作します。線形注意を多用するトランクにより、長い系列長でもKVキャッシュは控えめに保たれます。これは、単一のリクエストが長い文書ではなく高解像度画像を含む場合に重要な特性です。

MathForm-8BはBF16で約16.4 GBで、vLLMでは最大モデル長16,384、またはSGLangでは同じコンテキストで提供され、temperature 0.6、top-p 0.95、16,384トークンの出力予算で動作します。その評価には稼働中のKimina Lean ServerとLean 4.21.0が必要で、ここが多くの人が過小評価する部分です。つまり、単にモデルをデプロイするのではなく、その隣にLeanツールチェーンをデプロイすることになります。コンパイルフィードバックは学習中の報酬シグナルであり、評価中の受け入れテストでもあるため、Leanを含まないパイプラインではこのモデルが機能しているかを測定できません。

どちらも現在OrcaRouterのカタログにはなく、本稿もそう主張しているわけではありません。できるのは、その周辺の処理をルーティングすることです。スキャンしたページを読み取り、その上の数学的整合性を検証するドキュメントパイプラインには2つの半分、つまり視覚呼び出しと推論呼び出しがあります。プロバイダーの定価で、追加のマークアップなしに200以上のモデルにまたがる1つのキー、それぞれの半分を、あなたの基準を満たすエンドポイントへ送るルーティングルール、そしてどちらかが停滞した場合の自動フェイルオーバー—これが両方の半分を支える層であり、2モデルのパイプラインが2つのベンダーと2つの契約を意味する必要がない理由です。

どれをダウンロードすればいいですか？

形式的な問題に取り組み、ツールチェーンがすでにLeanなら、MathForm-8Bを選んでください。根拠はより強く、ライセンスは明確で、出力は機械的に検証可能です。また、汎用モデルに対する一貫性の11ポイント差は、採用前に知っておくべき実際の制約です。特にFATEの分割ではこれを選んでください。専門特化ベースラインの一貫性が21%まで落ちる一方で、MathForm-8Bは37%を維持します。

画像内の細部が問題で、回答が短くて済むなら ZoomGain-9B を選んでください。9,000 サンプルでのホールドアウト性能の向上は信頼できる数字であり、ベンチマークはダウンロードできるので主張を自分で確認できます。ただし、出荷前に必ず読むべきなのはライセンスです。汎用の視覚アシスタントとして期待して選んではいけません。今回のリリースには、それを検証するものは何も含まれていません。

そして、どちらが優れた90億パラメータモデルなのかという判定を期待していたのなら、リリースノートはどんなランキングよりもよくその答えを示している。両モデルは異なる種類の正解データと照合されるように作られており、その正解データのうちコンパイルされるのは1つだけなのだ。