ZoomGain-9B vs. MathForm 8B: Zwei 9B-Checkpoints, die nicht die Arbeit des jeweils anderen erledigen können

Hinter ZoomGain-9B und MathForm-8B steckt eine Suggestivfrage: Beide sind Fine-Tunes mit rund neun Milliarden Parametern, die innerhalb desselben 80-Tage-Fensters veröffentlicht wurden, beide sind Apache-2.0-nahe Forschungsveröffentlichungen aus chinesischen Laboren mit angehängtem Paper, beide wurden mittels Reinforcement Learning anhand einiger Tausend Beispiele nachtrainiert, und beide weisen einen Benchmark-Wert auf, der für ihre Größe unmöglich erscheint. Die Versuchung besteht darin, sie zu ranken. Das Problem ist, dass eines von ihnen noch nie ein Bild gesehen hat und das andere noch nie einen Lean-Beweis, sodass das Ranking keine Achse hat.

ZoomGain-9B ist das Vision-Language-Checkpoint von inclusionAI vom 10. November 2026, trainiert mit GRPO auf 9.000 Fragen, die aus den Details zugeschnittener Bilder extrahiert wurden, und sein stärkstes berichtetes Ergebnis ist 90,25 auf HR-Bench 4K. MathForm-8B ist der Autoformalisierer von OpenBMB vom 14. August 2026, trainiert durch überwachtes Fine-Tuning mit anschließendem Reinforcement Learning an rund 367.000 Beispielen aus Lean 4, und sein stärkstes berichtetes Ergebnis ist ein Durchschnitt von 88,06 % beim Syntax-Check-pass@8 über sechs Autoformalisierungs-Benchmarks. Keine der beiden Zahlen sagt etwas über das jeweils andere Modell aus. Was sie verbindet, ist etwas Nützlicheres als ein Ranking: Die beiden Veröffentlichungen stellen ungewöhnlich ähnliche Behauptungen darüber auf, wie ein kleines Fine-Tune-Modell einen viel größeren Generalisten schlagen kann, und die Art und Weise, wie sie diese Behauptungen begründen, unterscheidet sich stark genug, um Ihnen zu sagen, welchem Sie wofür vertrauen sollten.

Die leeren Spalten, benannt

ZoomGainBench enthält kein reines Textmodell. Es ist eine Sammlung von Fragen zu Fotografien – Attributererkennung, Zählen und OCR –, daher kann ein Modell ohne Vision-Encoder nicht eingereicht werden, und MathForm-8B wurde auch nicht eingereicht. Umgekehrt sind die sechs Evaluations-Benchmarks von MathForm FormalMATH, ProverBench, CombiBench und drei FATE-Splits, allesamt Übersetzungsaufgaben von natürlichsprachlicher Mathematik nach Lean-4. ZoomGain-9B wurde noch nie auf einem davon ausgeführt, und es gibt keinen Grund anzunehmen, dass es gut abschneiden würde, da nichts in seinem Training formale Sprachen umfasste.

Das ist keine Spitzfindigkeit bei Benchmarks. Es ist die gesamte Gestalt der Entscheidung. Wenn Ihre Aufgabe ein Bild erzeugt und eine kurze faktische Antwort als Eingabe verbraucht, ist MathForm-8B ein Textmodell, das sich nicht daran versuchen kann. Wenn Ihre Aufgabe eine mathematische Aussage als Eingabe verbraucht und einen maschinell prüfbaren Lean 4-Beweis erzeugt, ist ZoomGain-9B ein Vision-Modell, dem diese Frage nie gestellt wurde. Es gibt keine Überschneidung, die sich messen ließe, was bedeutet, dass der ehrliche Vergleich Konstruktion, Evidenz und Betriebskosten betrifft – und diese unterscheiden sich erheblich.

Zwei RL-Rezepte, beide klein, und worin sie sich unterscheiden

ZoomGains Trainingsdatensatz umfasst 9.000 Einträge über 7.713 Quellbilder. Eine Epoche, Batchgröße 64, acht Rollouts pro Frage, GRPO mit einer Belohnung, die prüft, ob die ausgewählte Option mit der Referenzantwort übereinstimmt. Die Daten wurden generiert, nicht annotiert: Mehrere Modelle lokalisieren eine Region, Ausschnitte werden beschriftet und mit Beschreibungen der gesamten Szene verglichen, und Details, die der Ausschnitt offenlegt, werden zu Fragen über das Gesamtbild. Die menschliche Beteiligung beschränkte sich auf die Sichtung – das Paper stellt ausdrücklich klar, dass keine manuelle Bearbeitung von Fragen und Antworten stattfand.

Der Trainingsdatensatz von MathForm ist FormalVerse, etwa 367.000 verifizierte Lean-4-Beispiele. Zuerst überwachtes Feintuning, dann Reinforcement Learning mit Feedback aus der Lean-Kompilierung und einer Prüfung der semantischen Konsistenz. Bei der Datenkonstruktion wurden vor der Generierung Mathlib-Retrieval und danach eine iterative Verfeinerung eingesetzt, wobei Compiler-Diagnosen die Überarbeitungen steuerten.

• Basismodell — ZoomGain-9B wurde von Qwen3.5-9B nachtrainiert (32 Schichten, Hidden-Größe 4.096, Intermediate-Größe 12.288, 262.144 Positionen, ein 3:1-Zeitplan für lineare zu volle Attention). MathForm-8B wurde von Qwen3-8B nachtrainiert (36 Schichten, ausschließlich volle Attention, Hidden-Größe 4.096, Intermediate-Größe 12.288, 40.960 Positionen, 32 Query-Heads gegenüber 8 KV-Heads bei einer Head-Dimension von 128, Rope-Theta 1e6).

Gemeinsame Dimensionen — beide erben von ihren Qwen-Elternmodellen eine Hidden-Breite von 4.096 und eine Intermediate-Breite von 12.288; dies ist die auffälligste Übereinstimmung zwischen ihnen und eine Eigenschaft der Familie, nicht des Fine-Tunings.

• Vokabular – 248.320 Token für ZoomGain-9B gegenüber 151.936 für MathForm-8B. MathForms Vokabular stammt aus der Qwen3-Generation, und das ist wichtig: Lean-4-Code, Unicode-mathematische Symbole und Beweis-Token werden in jedem anders tokenisiert.

Die Model Card von ZoomGain-9B enthält keine Angabe, und ihre Konfiguration gibt 262.144 an; die Konfiguration von MathForm-8B gibt 40.960 an, und ihr empfohlener Serving-Befehl ist auf 16.384 begrenzt, mit einem max_new_tokens-Wert von 16.384 Tokens. Für die Autoformalisierung ist die Ausgabelänge die bindende Einschränkung, nicht die Eingabe.

• Modalität — Bild und Text als Eingabe, Text als Ausgabe bei dem einen; Text als Eingabe, Text als Ausgabe bei dem anderen.

• Lizenz — ZoomGain-9B: Code Apache 2.0, Checkpoint-Bedingungen zurückgestellt und kein Lizenz-Tag in den Hub-Metadaten. MathForm-8B: Apache 2.0 mit einer LICENSE-Datei im Repository.

• Distribution — ZoomGain-9B bietet BF16 sowie GGUF in F16, Q8_0 und Q4_K_M. MathForm-8B bietet BF16-Safetensors in vier Shards mit insgesamt etwa 16,4 GB sowie Community-GGUF- und MLX-Builds, jedoch keine eigene vom Hersteller bereitgestellte Quantisierung.

Die Zahlen von MathForm-8B und warum sie leichter zu prüfen sind, als sie aussehen

OpenBMB meldet einen durchschnittlichen Syntax-Check-pass@8 von 88,06 % und einen Konsistenz-Check-pass@8 von 72,37 % über seine sechs Benchmarks. In derselben Tabelle erreicht ReForm-8B 81,76 und 66,21, Goedel-Formalizer-V2-32B erreicht 78,28 und 63,74, und StepFun-Formalizer-32B erreicht 63,65 und 44,47. Die drei FATE-Splits sind der Punkt, an dem die spezialisierten Modelle zusammenbrechen und MathForm nicht: FATE-X liegt bei 54,00 Syntax und 37,00 Konsistenz gegenüber 45,00 und 21,00 von ReForm-8B.

Zwei Dinge machen diese Zahlen glaubwürdiger als eine typische Anbietertabelle. Erstens sind die Aufgaben in einer Weise mechanisch, wie es Wahrnehmungsaufgaben nicht sind – eine Lean-4-Aussage kompiliert entweder oder nicht, und die Konsistenzprüfung vergleicht die Bedeutung mit der Ausgangsproposition. Ein Benchmark, der teilweise maschinell verifizierbar ist, lässt sich schwerer optimistisch bewerten. Zweitens stellt das Paper fest, dass das SFT-only-Modell schlechter ist: MathForm-8B-SFT erzielt 84,38 bei der Syntax und 66,53 bei der Konsistenz, sodass die RL-Phase messbare Arbeit leistet und nicht nur ein fertiges Modell dekoriert.

Es gibt außerdem einen Vergleich, der es wert ist, zitiert zu werden, weil er gegen die eigene Darstellung des Modells spricht. Auf denselben sechs Benchmarks erzielt Qwen3.7-Plus – ein kommerzieller Endpunkt für allgemeine Zwecke – 86,33 bei der Syntax und 83,38 bei der Konsistenz. MathForm-8B schlägt es bei der Syntax um 1,7 Punkte und verliert bei der Konsistenz um 11 Punkte. Das spezialisierte Fine-Tune gewinnt die Aufgabe mit der exakten Übereinstimmung und verliert diejenige, bei der die Formalisierung dasselbe bedeuten muss wie die Quelle. Wenn Ihre Pipeline eine Aussage benötigt, die kompiliert, ist ein kleiner Spezialist ein gutes Geschäft. Wenn sie eine benötigt, die quellentreu ist, kann ein allgemeines Modell mit Retrieval weiterhin die Nase vorn haben.

Die Zahlen von ZoomGain-9B, mit derselben Abrechnung

Die Autoren berichten von 90,25 auf HR-Bench 4K gegenüber 82,13 für das Basismodell, 93,19 auf V*Bench gegenüber 86,91, 56,31 auf VisualProbe gegenüber 44,66, 70,00 auf MMVP gegenüber 60,00 und 68,12 auf O3-Bench gegenüber 56,52. Der Hold-out-Durchschnitt über dreizehn Benchmarks beträgt 66,10 gegenüber 59,75. Auf ZoomGainBench – dem Benchmark, der mit derselben Pipeline wie die Trainingsdaten erstellt wurde – erzielt das Modell 55,48, und das Paper bezeichnet diese Spalte als „Held-in“, statt die Unterscheidung zu verschleiern.

Der strukturelle Unterschied zu MathForms Belegen besteht darin, dass ZoomGains Benchmark nicht auf dieselbe Weise maschinell verifizierbar ist. Multiple-Choice-Antworten sind exakte Übereinstimmungen, Zählen ist eine exakte Übereinstimmung auf einer Ganzzahl, und OCR wird mit ANLS bewertet – aber die Fragen selbst sind generiert, und die Prüfung der Autor:innen selbst besteht darin, dass die Antworten in der zugeschnittenen Ansicht verifiziert werden können. Eine generierte Frage mit verifizierter Antwort ist immer noch eine generierte Frage.

Beide Releases wurden teilweise mit Modellen als Annotatoren erstellt. Der Anhang von ZoomGain nennt die Rollen: Qwen3.5-397B-A17B für Szenenbeschreibung, Grounding und die abschließende MCQ-Verifikation; Qwen3-VL-235B-A22B-Instruct und Kimi-K2.6 für die Verifikation auf Basis von Ausschnitten und blinde Beantwortung; DeepSeek-V4-Pro für die Distraktor-Clusterung. MathForms FormalVerse wurde von einer Pipeline erstellt, die aus Mathlib abruft und dann den Compiler schlechte Generierungen verwerfen lässt. Die eine Pipeline stützt sich auf einen Prüfer, den man nicht zu einer Zustimmung überreden kann; die andere stützt sich auf Modelle, die die Arbeit anderer Modelle prüfen, nur mit menschlicher Sichtung.

Sie zu bedienen – in den Begriffen, nach denen Ihr Ops-Team fragen wird

ZoomGain-9B ist 18,82 GB groß in BF16 und läuft unter vLLM 0.19.1 mit transformers 5.7.0 – den exakten Versionen der Autoren – oder unter einem llama.cpp-Build mit Multimodal-Unterstützung für Qwen3.5 unter Verwendung der GGUF-Dateien plus eines Projektors. Sein stark auf Linear-Attention setzender Trunk hält den KV-Cache bei langen Sequenzlängen moderat, was genau die Eigenschaft ist, auf die es ankommt, wenn eine einzelne Anfrage ein hochauflösendes Bild statt eines langen Dokuments enthält.

MathForm-8B umfasst in BF16 etwa 16,4 GB und wird von vLLM mit einer maximalen Modelllänge von 16.384 oder von SGLang mit demselben Kontext bereitgestellt, bei Temperatur 0,6 und top-p 0,95 mit einem Ausgabebudget von 16.384 Tokens. Für seine Evaluierung ist ein laufender Kimina Lean Server und Lean 4.21.0 erforderlich – das ist der Teil, den viele unterschätzen: Man deployt nicht einfach nur ein Modell, man deployt eine Lean-Toolchain daneben. Kompilierungsfeedback ist das Belohnungssignal während des Trainings und der Abnahmetest während der Evaluierung, daher kann eine Pipeline ohne Lean nicht messen, ob dieses Modell funktioniert.

Keines der beiden ist heute im OrcaRouter-Katalog, und dieser Beitrag behauptet nichts anderes. Was wir tun können, ist die umliegende Arbeit zu routen. Eine Dokument-Pipeline, die eine gescannte Seite liest und dann die Mathematik darauf prüft, hat zwei Hälften: den Vision-Aufruf und den Reasoning-Aufruf. Ein Schlüssel für über 200 Modelle zum Listenpreis des Anbieters ohne Aufschlag, eine Routing-Regel, die jede Hälfte an einen Endpunkt schickt, der Ihre Messlatte erfüllt, und automatisches Failover, falls eine der beiden stockt — das ist die Schicht unter beiden Hälften, und deshalb muss eine Pipeline mit zwei Modellen nicht zwei Anbieter und zwei Verträge bedeuten.

Welche soll ich herunterladen?

Wählen Sie MathForm-8B, wenn Ihr Problem formal ist und Ihre Toolchain bereits Lean verwendet. Die Evidenz ist stärker, die Lizenz eindeutig, die Ausgabe maschinell prüfbar, und das Konsistenzdefizit von 11 Punkten gegenüber einem allgemeinen Modell ist eine echte Einschränkung, die Sie kennen sollten, bevor Sie sich festlegen. Wählen Sie es insbesondere für die FATE-Splits, wo die spezialisierten Baselines auf 21 % Konsistenz fallen und es 37 % hält.

Wähle ZoomGain-9B, wenn dein Problem ein Detail in einem Bild ist und deine Antwort kurz ist. Seine Held-out-Zugewinne sind für 9.000 Stichproben glaubwürdig, sein Benchmark ist herunterladbar, sodass du die Behauptung selbst überprüfen kannst, und seine Lizenz ist das Einzige, was du vor dem Ausliefern lesen musst. Wähle es nicht in der Erwartung eines allgemeinen Vision-Assistenten; nichts in der Veröffentlichung testet das.

Und wenn Sie auf ein Urteil darüber gehofft haben, welches das bessere Modell mit neun Milliarden Parametern ist, beantworten die Versionshinweise das besser als jede Rangliste: Sie wurden dafür gebaut, an unterschiedlichen Arten von Ground Truth geprüft zu werden, und nur eine dieser Ground Truths lässt sich kompilieren.