HiRO-ACEv2 vs. Gemma 4 12B: Der Vergleich ergibt erst dann Sinn, wenn man aufhört, Parameter zu zählen

HiRO-ACEv2 und Gemma 4 12B sind beide Apache-2.0-Downloads mit einer Zahl im Namen und einem technischen Bericht dahinter, und damit endet die Ähnlichkeit auch schon fast. Gemma 4 12B ist G​oogles multimodales Sprachmodell mit 11,95 Milliarden Parametern — Text, Bilder und Audio hinein, Text heraus, ein Kontextfenster von 256K Token, veröffentlicht im Juni 2026 und weit über eine Million Mal heruntergeladen. HiRO-ACEv2 ist Ai2s Klimaemulator der zweiten Generation, am 12. Oktober 2026 in ein Hugging-Face-Repository hochgeladen, mit rund 10,9 GB an Checkpoints und Forcing-Daten, ohne Ankündigung und mit einem Paper, das am folgenden Tag erschien. Das eine ist ein Allzweckmodell, das man aufruft; das andere ist ein Physik-Framework, das man installiert und auf der eigenen Maschine laufen lässt.

Als direktes Qualitätsduell aufgezogen, ist dieses Aufeinandertreffen bedeutungslos, und so zu tun, als wäre es anders, wäre das naheliegende Scheitern einer Seite wie dieser. Als Frage formuliert, was Open Weights 2026 tatsächlich bringen, ist es wirklich lehrreich – denn die beiden Releases stehen an entgegengesetzten Enden des Offenheits-Spektrums, obwohl beide dieselbe Lizenzkennzeichnung tragen, und die Unterschiede zeigen sich schon in der ersten Stunde, in der man versucht, eines von beiden zu nutzen.

Wofür jedes einzelne gedacht ist, jeweils in einem Satz

Gemma 4 12B nimmt einen Prompt – Text, ein Bild, einen Audioclip oder eine Kombination daraus – entgegen und erzeugt Text. Es hat eine Architektur ohne Vision-Tower und ohne Encoder, die Bild-Patches und Audio-Wellenformen direkt durch lineare Schichten in den Embedding-Raum des Sprachmodells projiziert, 48 Schichten, ein Vokabular von 262K, ein gleitendes Fenster von 1024 Token in Kombination mit globaler Attention und etwa 11,95 Milliarden Parameter in bf16. Es ist ausdrücklich ein dichtes Modell, und die Veröffentlichung enthält eine vollständige Benchmark-Tabelle des Anbieters.

HiRO-ACEv2 nimmt einen Klimazustand mit 100 km Auflösung und erzeugt 3-km-Felder – Niederschlag, ostwärtige und nordwärtige Winde in 10 Metern Höhe sowie mittlerer Meeresspiegeldruck – mit sechsstündlicher Frequenz. Es ist ein zweistufiges System: ein autoregressiver Emulator von X-SHIELD, auf 100 km vergröbert, gefolgt von einem Diffusionsmodell, das das Ergebnis auf 3 km herunterskaliert. Es gibt NetCDF-artige gerasterte Felder aus, keinen Text, und es hat überhaupt keine Benchmark-Tabelle.

Das ist der ganze Vergleich in struktureller Hinsicht. Das eine bildet Sprache auf Sprache ab. Das andere bildet eine grobe Atmosphäre auf eine feine ab.

Die einzige Dimension, in der die beiden ehrlich vergleichbar sind

Parameter sind die falsche Achse, und die Kontextlänge ist bei einem von ihnen bedeutungslos. Die Dimension, die sich tatsächlich übertragen lässt, ist die, wie viel vom Release fertig ist.

• Frameworks, die es laden können — Gemma 4 12B läuft auf Transformers, vLLM, SGLang, llama.cpp, MLX und einem langen Schweif quantisierter Community-Builds; HiRO-ACEv2 läuft über Ai2s eigenes fme Python-Paket, wobei die Konfigurationen auf das ai2cm/ace-Repository und nichts anderes abzielen.

• Preis einer Antwort — Gemma 4 12B wird von den Anbietern, die es hosten, für etwa 0,10 $ pro Million Eingabe-Tokens und 0,30 $ pro Million Ausgabe-Tokens bereitgestellt; HiRO-ACEv2 hat keine Preisliste, weil es dabei nichts Pro-Anfrage gibt. Seine Kosten bestehen aus GPU-Stunden auf Ihrer eigenen Hardware, und die Behauptung des Papers ist, dass diese Stunden um mehr als das 300-Fache geringer ausfallen als bei einem herkömmlichen numerischen globalen sturmauflösenden Modell.

• Wer hat es reproduziert — Die Zahlen von Gemma 4 12B sind vom Anbieter gemeldet, seine Bereitstellung ist es jedoch nicht: Hunderttausende Downloads und eine große Menge unabhängiger Praktikerarbeit stehen hinter jeder Aussage darüber, wie es sich verhält; die Zahlen von HiRO-ACEv2 stammen von den Autoren selbst, sind zwei Tage alt, und das Repository hat zum Zeitpunkt dieses Schreibens null Downloads.

• Worauf sich das Lizenz-Tag bezieht — beide sind Apache 2.0. Die Gewährung von Gemma 4 12B ist die gewöhnliche Lizenz; die von HiRO-ACEv2 kommt mit Ai2s Responsible Use Guidelines, die Forschungs- und Bildungsabsicht nennen, und eigenen, darübergelegten Nutzungsbedingungen.

• Ausgabe, die mechanisch überprüft werden kann — eine Antwort von Gemma 4 12B wird überprüft, indem man sie liest oder mit einer Testsuite, die man schreibt; ein HiRO-ACEv2-Feld wird gegen eine Verteilung geprüft, weshalb es in dem Paper um das 99,9999. Perzentil geht und nicht um eine durchschnittliche Punktzahl.

Die Benchmark-Tabelle ist der auffälligste Unterschied

Google hat eine vollständige Tabelle für Gemma 4 12B Unified veröffentlicht. MMLU Pro bei 77,2 %, AIME 2026 ohne Tools bei 77,5 %, LiveCodeBench v6 bei 72,0 %, ein Codeforces-ELO von 1659, GPQA Diamond bei 78,8 %, MMMLU bei 83,4 %, MMMU Pro bei 69,1 %, MATH-Vision bei 79,7 % und einen MRCR-v2-Wert für acht Nadeln von 43,4 % bei 128k. Dabei handelt es sich um die eigenen Zahlen des Anbieters, die von Googles Konkurrenten nicht reproduziert wurden, und der übliche Vorbehalt gilt: Ein Benchmark auf einer Modellkarte ist eine Aussage über eine Konfiguration, nicht eine Messung des Modells, das Sie ausführen werden. Aber jede einzelne dieser Zeilen ist eine Zahl, die ein Dritter an einem Nachmittag zu widerlegen versuchen kann, und mehrere davon messen Fähigkeiten, die im normalen Gebrauch auftauchen.

Die Modellkarte von HiRO-ACEv2 enthält keine solche Tabelle. Sie macht eine einzige quantitative Aussage – dass der Downscaler die Verteilungen der Oberflächenniederschlagsrate, der 10-Meter-Winde und des Meeresspiegeldrucks bis zum 99,9999. Perzentil reproduziert – und listet dann Einschränkungen auf, die informativer sind als die meisten Benchmark-Tabellen. Neun Jahre Trainingsdaten, 2014 bis 2022. Ausgaben, die X-SHIELD statt Beobachtungen reproduzieren. Keine Anwendbarkeit außerhalb von 66° S bis 70° N und keine Möglichkeit, jenseits von 88° S oder 88° N zu laufen. Diskontinuitäten an Patch-Grenzen in Regionen, die größer sind als der 16-mal-16-Trainingspatch mit einer Auflösung von einem Grad. Ein Hinweis, dass der enthaltene ACE2S-X-SHIELD-Checkpoint weniger streng getestet wurde als die frühere ACE2-ERA5-Linie.

Keine der beiden Haltungen ist unehrlich. G​oogle verkauft ein Modell, also wirbt es damit, welche Punktzahl das Modell erzielt. Ai2 veröffentlicht ein Forschungsartefakt, also wirbt es damit, was das Artefakt nicht kann. Wer das Fehlen einer Benchmark-Tabelle als Beleg für ein schwaches Modell nimmt, hat den Gedankengang verkehrt herum — die richtige Lesart ist, dass die Bewertung, die dieses Framework benötigt, distributionell ist und keine öffentliche Rangliste sie durchführt.

Wo sie in einer echten Pipeline aufeinandertreffen

Es gibt einen Punkt, an dem diese beiden wirklich in dasselbe System gehören, und das ist keine Rivalität. Ein Klimaemulations-Workflow erzeugt jede Menge Text und Code rund um das Modell: Skripte, die Ensembles über Jahrzehnte simulierter Zeit steuern, Werkzeuge, die NetCDF-Formen validieren, bevor ein Lauf GPU-Stunden verbrennt, Aggregation von Verteilungsstatistiken über Hunderte von Rollouts und die alltägliche Arbeit, aus einem Paper eine Checkliste zu machen. Nichts davon ist Downscaling, und alles davon ist Sprachmodell-Arbeit – die Art, bei der es die vernünftige Standardeinstellung ist, ein Modell pro Anfrage aufzurufen statt eines zu hosten.

Das ist die Ebene, die OrcaRouter abdeckt. HiRO-ACEv2 ist nicht in unserem Katalog und könnte es auch nicht sein – für einen Diffusions-Downscaler gibt es keinen token-abgerechneten Endpunkt –, daher sollte nichts hier als Verfügbarkeitsaussage dafür verstanden werden. Gemma 4 12B ist ebenfalls keines der G​emma-Modelle, die wir derzeit anbieten; unser Katalog enthält die Checkpoints Gemma 4 26B-A4B und 31B, und der Inferenzpfad für 12B käme von dort, wo Sie es hosten. Was wir anbieten, ist die umgebende Ebene: ein API-Schlüssel für über zweihundert Modelle, der Listenpreis des Anbieters wird ohne Aufschlag weitergegeben, und automatisches Failover zwischen Anbietern, damit eine über Jahrzehnte laufende Pipeline, die auch ein Sprachmodell aufruft, nicht ins Stocken gerät, weil ein Upstream eine schlechte Stunde hatte.

Wie man sich in unter einer Minute entscheidet

Fragen Sie sich, welche Form Ihre Antwort annimmt. Wenn die Ausgabe Text, eine strukturierte Extraktion, eine Codeänderung oder eine Bildunterschrift ist, wollen Sie Gemma 4 12B – oder eines seiner größeren Geschwister – und speziell das 12B ist die richtige Wahl, wenn Sie multimodale Eingaben in einer Größe benötigen, die auf einen einzelnen Beschleuniger passt und noch Platz für einen langen Kontext bietet. Wenn die Ausgabe ein 3-km-Rasterfeld ist, das Niederschlag, Wind und Druck über Jahrzehnte simulierten Klimas beschreibt, wird kein Sprachmodell das erzeugen, und Gemma 4 ist für Ihr Problem irrelevant; Sie wollen HiRO-ACEv2, 10,9 GB Download, eine Python-Umgebung und eine GPU.

Die Falle bei diesem speziellen Vergleich ist die Parameteranzahl. Gemma 4 12B hat eine; HiRO-ACEv2 veröffentlicht keine, und die 10,9 GB Repository-Speicher sind größtenteils Antriebsdaten und Anfangsbedingungen statt Gewichte – die beiden Checkpoints zusammen sind etwa 4,3 GiB. Diese beiden Modelle Seite an Seite anhand ihrer Größe oder anhand einer einzelnen Zahl zu beurteilen, liefert eine selbstsichere Antwort auf eine Frage, die niemand gestellt hat.

Auch bei einem solchen Vergleich zeigen sich die Fehlermodi: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, einen Schweregrad, einen Konfidenzgrad und eine Strittig-Kennzeichnung mitführt.