HiRO-ACEv2 vs MathForm 8B: Zwei eng gefasste Modelle, zwei Arten von Ground Truth

Weder HiRO-ACEv2 noch MathForm-8B versucht ein allgemeines Modell zu sein, und beide wurden von Teams entwickelt, die entschieden, dass das interessante Problem enger gefasst war als ein Chatbot. HiRO-ACEv2 ist Ai2s Klimaemulator der zweiten Generation, am 12. Oktober 2026 als 10,9 GB großes Repository ohne Ankündigung auf Hugging Face veröffentlicht, zusammen mit einem auf den folgenden Tag datierten Preprint. MathForm-8B ist OpenBMBs Autoformalisierungsmodell, am 14. August 2026 auf Basis eines Qwen3-8B-Backbones erstellt, das Mathematik in natürlicher Sprache in Lean-4-Aussagen umwandelt. Das eine erzeugt eine 3-km-Rasteratmosphäre; das andere erzeugt eine formale Beweisverpflichtung. Der Grund, sie zu vergleichen, ist nicht die Leistungsfähigkeit – sie haben keine sich überschneidenden Einsatzbereiche –, sondern das, was beide behaupten und was sich im jeweiligen Fall als etwas ganz anderes erweist: dass eine Maschine feststellen kann, ob die Ausgabe richtig ist.

Was jedes Modell tatsächlich ausgibt

HiRO-ACEv2 betreibt eine zweistufige Pipeline. Ein autoregressiver Emulator erzeugt X-SHIELD, das globale, sturmauflösende Modell, vergröbert auf 100 km; ein separat trainiertes Diffusionsmodell skaliert diesen groben Zustand dann auf 3 km herunter und erzeugt dabei sechsstündlich gemittelte Niederschlagsraten an der Oberfläche, momentane 10-Meter-Winde nach Osten und Norden sowie Meeresspiegeldruck. Das Repository enthält den Downscaler als HiROv2.ckpt mit etwa 1,28 GiB und den Grob-Emulator als ACE2S-X-SHIELD.ckpt mit etwa 2,98 GiB sowie zehn Jahre NetCDF-Antriebsdaten, zwei Dateien mit Anfangsbedingungen und die YAML-Konfigurationen, die sie miteinander verknüpfen.

MathForm-8B gibt Text aus, aber von einer ganz besonderen Art: eine Lean-4-Theorem-Aussage. Die Modellkarte beschreibt es als ein Autoformalisierungsmodell, das auf OpenBMBs FormalVerse-Datensatz trainiert wurde, zunächst mit überwachtem Feintuning und dann mit Reinforcement Learning, dessen Belohnung aus Lean-Kompilierung und Feedback zur semantischen Konsistenz stammt. Es ist ein dichtes 8B-Modell, Apache 2.0, und es erbt seine Größe von seiner Basis – Qwen3-8B – statt von einer eigenen veröffentlichten Parameterzahl. Empfohlene Generierungseinstellungen sind Temperatur 0,6, Top-p 0,95 und 16.384 neue Token auf einem Transformers-, vLLM- oder SGLang-Server; die Evaluierung erfordert einen laufenden Kimina Lean Server und Lean 4.21.0.

Beide sind bewusst eng gefasst. Das ist die erste echte Gemeinsamkeit, und damit hören die Gemeinsamkeiten auch schon größtenteils auf.

Zwei Arten der Überprüfung und warum nur eine davon einen Streit beilegt

Die Lean-Seite hat einen entscheidenden Verifizierer. Eine Theoremaussage kompiliert entweder unter Lean 4 oder sie kompiliert nicht, und der Typ-Checker ist ein festes Kalkül – er hat keine guten und keine schlechten Tage und muss nicht kalibriert werden. Deshalb kann die Trainingsschleife von MathForm-8B überhaupt Kompilierung als Belohnungssignal verwenden. Die veröffentlichten Zahlen sind Pass@8-Raten unter zwei Regimen, Syntaxprüfung und Konsistenzprüfung, ausgewertet über sechs Benchmarks; die syntaxgeprüfte Zahl liegt bei 88,06 % und die konsistenzgeprüfte bei 72,37 %. Das sind die Zahlen der Autoren selbst, hier nicht reproduziert, und die Lücke von sechzehn Punkten zwischen ihnen ist das Informativste auf der Karte: Eine Aussage, die kompiliert, ist nicht dasselbe wie eine Aussage, die das aussagt, was das ursprüngliche Problem meinte.

Die Klimaseite hat keinen solchen Verifizierer. Die Modellkarte von HiRO-ACEv2 enthält keine Benchmark-Tabelle. Ihre einzige quantitative Aussage ist, dass der Downscaler die Referenz-Niederschlags-, 10-Meter-Wind- und Meeresspiegeldruckverteilungen bis zum 99,9999. Perzentil reproduziert und dass er der Referenz-Intensitätsverteilung tropischer Wirbelstürme weitgehend folgt. Die Arbeit ergänzt, dass die Inferenz mehr als 300-mal weniger kostet als ein konventionelles numerisches globales sturmauflösendes Modell.

Jede einzelne davon ist eine Verteilungsaussage gegenüber einer Referenz, kein Bestehens-/Nichtbestehens-Test gegenüber einem Kalkül. Diese Unterscheidung entscheidet darüber, wie lange jede Aussage unhinterfragt Bestand hat. Man kann die MathForm-8B-Zahl falsifizieren, indem man das Modell mit einem Lean-Server und einer GPU gegen die Benchmarks laufen lässt. Um die HiRO-ACEv2-Zahl zu falsifizieren, braucht man einen zehnjährigen Forcing-Datensatz, eine Referenzsimulation zum Vergleich und einen Analysten, der bereit ist, im extremen Tail zu arbeiten. Das erste ist eine Woche Arbeit für einen Doktoranden. Das zweite ist ein Paper.

Was die Anbieter Ihnen sagen werden und was nicht

Die beiden Modellkarten haben gegensätzliche Temperamente, und sie nebeneinander zu lesen, ist aufschlussreich darüber, wofür eine Karte gedacht ist.

Bei OpenBMBs Karte handelt es sich um ein Behauptungsblatt mit einem Abschnitt zu Einschränkungen. Es gibt den Trainingskorpus, die Belohnungsstruktur, die empfohlenen Sampling-Parameter, die exakte Lean-Version und eine Abbildung an, die Pass@8 über sechs Benchmarks hinweg berichtet – wobei die Zahlen bemerkenswerterweise in einem Bild und nicht im Text stehen, sodass jeder, der die Seite programmatisch ausliest, die Methode sorgfältig beschrieben vorfindet und die Ergebnisse überhaupt nicht. Was sie nicht liefert, ist ein Veröffentlichungsdatum; das einzige Datumssignal irgendwo in den Metadaten ist die arXiv-Kennung 2608.14221 und der Erstellungszeitstempel des Repositorys vom 14. August 2026.

Ai2s Modellkarte ist im Wesentlichen eine Liste von Einschränkungen. Neun Jahre Trainingsdaten, 2014 bis 2022, für beide Checkpoints. Ausgaben, die X-SHIELD statt Beobachtungen reproduzieren, sodass sie die Verzerrungen der Referenzsimulation tragen. Keine Erwartung von Generalisierung außerhalb der Trainings-Forcing-Bedingungen – ein Punkt, den das v2-Paper schärft, indem es anmerkt, dass das Framework jenseits von 66°S bis 70°N ungetestet ist und nicht über 88°S oder 88°N hinaus ausgeführt werden kann. Patch-Überlappungsdiskontinuitäten in Regionen, die größer als die 16×16-Ein-Grad-Trainingskachel sind. Ein Hinweis, dass der mitgelieferte ACE2S-X-SHIELD-Checkpoint weniger streng getestet ist als die frühere ACE2-ERA5-Linie und dass er nicht für die Wettervorhersage bestimmt ist. Und eine Lizenz – Apache 2.0 –, die Ai2s Responsible Use Guidelines und eine Ausrichtung auf Forschung und Bildung mit sich bringt.

Die eine Karte sagt dir, was das Modell erreicht. Die andere sagt dir, was es nicht kann. Keine von beiden verbirgt etwas, und wer die zweite für eine schwächere Veröffentlichung hält, hat missverstanden, wofür diese Artefakte da sind.

Der Teil, der wirklich vergleichbar ist: Was ein Fork wert ist

Hier ist die eine Achse, auf der die beiden Releases auf dieselbe Weise gemessen werden können, und sie verläuft in entgegengesetzte Richtungen.

• Woher das Backbone stammt — MathForm-8B ist ein vollständiges Fine-Tuning von Qwen3-8B, daher ist seine Abstammung in den Metadaten von Hugging Face dokumentiert und sein Vorfahre ist ein weit verbreitetes offenes Modell; die Komponenten von HiRO-ACEv2 werden innerhalb von Ai2s eigener Pipeline trainiert, wobei die Trainingsdaten X-SHIELD zugeschrieben werden, bereitgestellt von GFDL, und darunter kein vorgelagertes offenes Checkpoint liegt.

• Wie viele Runtimes können es laden — MathForm-8B läuft auf Transformers, vLLM oder SGLang, und die Community hat bereits GGUF- und MLX-Quantisierungen für llama.cpp und Apple Silicon erstellt; HiRO-ACEv2 läuft über Ai2s fme Python-Paket mit Konfigurationen, die auf das Repository ai2cm/ace verweisen, und es gibt keinen alternativen Weg.

• Wie schnell sich das Ökosystem bewegte — innerhalb von vier Tagen nach dem Erscheinen von MathForm-8Bs Repository waren Community-GGUF-Builds online, und 4-Bit-, 6-Bit- und 8-Bit-MLX-Konvertierungen folgten innerhalb von zwei Wochen; HiRO-ACEv2s Repository hat zwei Tage nach seinem letzten Commit ein einzelnes Like und keine Downloads.

• Was die Beschaffung der Gewichte Sie kostet — MathForm-8B lädt als normaler Modell-Checkpoint herunter und lässt sich auf Consumer-Hardware herunterquantisieren; HiRO-ACEv2 ist ein 10,9 GB großes Repository, das größtenteils aus Forcing- und Anfangsbedingungsdaten statt aus Gewichten besteht, und es schrumpft nicht.

Das Muster ist, dass ein anwendungsspezifisches Sprachmodell ein Ökosystem von seinem Backbone erbt, während ein anwendungsspezifischer physischer Emulator nichts erbt. Für MathForm-8B war die Arbeit, es zum Laufen zu bringen, größtenteils erledigt, bevor es existierte. Für HiRO-ACEv2 beginnt sie beim README.

Wo eine Routing-Schicht passt und wo nicht

Die ehrliche Antwort ist hier asymmetrisch, und es ist besser, sie klar auszusprechen, als auf beide Modelle gleichermaßen anzuspielen. MathForm-8B selbst ist nicht in unserem Katalog – der feinabgestimmte Checkpoint stammt aus der eigenen Distribution von OpenBMB und muss auf Ihrem eigenen Server neben der Lean-Installation, die es aufruft, laufen. Auch sein Vorfahre ist nicht in unserem Katalog, was erwähnenswert ist, weil die Annahme in die andere Richtung geht: Der spezifische Qwen3-8B-Checkpoint, von dem es feinabgestimmt wurde, ist eine Veröffentlichung aus 2025 und gehört nicht zu den Q​wen-IDs, die wir bedienen. Was wir hingegen routen, ist die aktuelle Q​wen-Generation um es herum – die Qwen3.8- und Qwen3.5-Stufen und der Qwen3-VL-8B-Instruct-Checkpoint, der die 8B-Größenklasse und dieselbe Familienlinie teilt, zu 0,18 $ pro Million Eingabe-Tokens und 0,70 $ pro Million Ausgabe-Tokens bei einem Kontext von 131.072 Token.

Das ist die Ebene, die eine Formalisierungspipeline tatsächlich braucht. Ein Lehrbuch in Kandidatenaussagen aufzuteilen, den informellen Satz aus einem Paper herauszuziehen, bevor es zum Autoformalizer geht, oder eine Lean-Fehlermeldung in eine Diagnose zu verwandeln, sind gewöhnliche Sprachmodell-Aufrufe, und sie können über denselben Schlüssel laufen wie alles andere. HiRO-ACEv2 ist nicht routbar und wird es in seiner aktuellen Form nie sein, denn es gibt keine token-abgerechnete Anfrage, die geroutet werden könnte – 10,9 Gigabyte an Checkpoints und ein Shell-Skript sind kein Endpunkt.

Was Ihnen ein einziger Schlüssel für über zweihundert geroutete Modelle ermöglicht, in einer Pipeline, die um eines dieser beiden herum aufgebaut ist, ist, dass die umgebende Arbeit zu einem Aufruf statt zu einem Projekt wird: Der Listenpreis des Anbieters wird ohne Aufschlag weitergegeben, der Failover zwischen Anbietern erfolgt automatisch, und ein Skript, das ein Ensemble oder einen Formalisierungslauf steuert, benötigt keinen zweiten Anbietervertrag, um seine eigene Ausgabe zusammenzufassen.

Worauf auf beiden Seiten zu achten ist

Eine Zahl, die auf der Lean-Seite zählt, wäre eine unabhängige Reproduktion der Werte 88,06 und 72,37 durch eine Gruppe, die kein Interesse am Trainingsrezept hat, idealerweise pro Benchmark disaggregiert statt zu einem einzigen Pass@8 gemittelt – denn Autoformalisierungsfehler clustern nach mathematischem Bereich, und ein Mittelwert verbirgt genau das Muster, das ein Praktiker braucht. Eine Zahl, die auf der Klimaseite zählt, wäre ein Vergleich mit einem numerischen sturmauflösenden Modell, das auf derselben Hardware von jemand anderem als den Autoren des Emulators ausgeführt wird, da die Behauptung der 300-fachen Inferenz diejenige ist, die entscheidet, ob diese Technik operational übernommen wird.

Bis dahin liest man beide Modelle am besten so, wie es ihre eigenen Karten nahelegen. MathForm-8B ist ein starker Autoformalisierer, hinter dessen Ausgabe ein Compiler steht, und die interessante Frage dabei ist, wie oft die kompilierte Aussage das Richtige sagt statt nur etwas Wahres. HiRO-ACEv2 ist ein Forschungsemulator, der gerade Wind und Druck zu dem hinzugefügt hat, was zuvor eine reine Niederschlagsausgabe war, und die interessante Frage ist, ob die hinzugefügten Felder physikalisch konsistent mit dem Niederschlag sind, den sie daneben ausgeben — etwas, das Ihnen keine Benchmark-Tabelle gesagt hätte, selbst wenn es eine gäbe.

Auch bei einem solchen Vergleich zeigen sich die Fehlermodi: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, einen Schweregrad, einen Konfidenzgrad und eine Strittig-Kennzeichnung mitführt.