HiRO-ACEv2 vs Gemma 4 12B: De vergelijking is pas zinvol als je stopt met het tellen van parameters.

HiRO-ACEv2 en Gemma 4 12B zijn beide Apache 2.0-downloads met een getal in de naam en een technisch rapport erachter, en dat is ongeveer waar de gelijkenis ophoudt. Gemma 4 12B is het multimodale taalmodel van Google met 11,95 miljard parameters — tekst, afbeeldingen en audio erin, tekst eruit, een contextvenster van 256K tokens, uitgebracht in juni 2026 en ruim meer dan een miljoen keer gedownload. HiRO-ACEv2 is de tweede-generatieklimaatemulator van Ai2, geüpload naar een Hugging Face-repository op 12 oktober 2026 met ongeveer 10,9 GB aan checkpoints en forcingdata, zonder aankondiging, en een paper die de volgende dag verscheen. De ene is een algemeen inzetbaar model dat je aanroept; de andere is een natuurkundig framework dat je op je eigen machine installeert en uitvoert.

Opgevat als een rechtstreekse kwaliteitsvergelijking is deze confrontatie betekenisloos, en doen alsof het anders is, zou de gemakkelijke fout van een pagina als deze zijn. Opgevat als een vraag naar wat open weights je in 2026 daadwerkelijk opleveren, is het oprecht leerzaam — want de twee releases bevinden zich aan tegenovergestelde uiteinden van het openheidsspectrum, ook al dragen beide hetzelfde licentielabel, en de verschillen worden al zichtbaar in het eerste uur dat je een van beide probeert te gebruiken.

Waar elk van hen voor dient, in één zin per stuk.

Gemma 4 12B neemt een prompt — tekst, een afbeelding, een audioclip of een combinatie daarvan — en produceert tekst. Het heeft een architectuur zonder vision tower en zonder encoder, die beeldpatches en audiogolfvormen rechtstreeks via lineaire lagen in de embeddingruimte van het taalmodel projecteert, 48 lagen, een vocabulaire van 262K, een schuifvenster van 1024 tokens gemengd met globale aandacht, en ongeveer 11,95 miljard parameters in bf16. Het is expliciet een dense model, en de release bevat een volledige benchmarktabel van de leverancier.

HiRO-ACEv2 neemt een klimaattoestand met een resolutie van 100 km en produceert velden van 3 km — neerslag, oostwaartse en noordwaartse wind op 10 meter, en gemiddelde luchtdruk op zeeniveau, met een zesuurlijkse frequentie. Het is een tweefasensysteem: een autoregressieve emulator van X-SHIELD, vergrofd naar 100 km, gevolgd door een diffusiemodel dat het resultaat downscalet naar 3 km. Het levert rastervelden in NetCDF-stijl op, geen tekst, en het heeft helemaal geen benchmarktabel.

Dat is de hele vergelijking in structurele termen. De een beeldt taal af op taal. De ander beeldt een grove atmosfeer af op een fijne.

De enige dimensie waarin de twee eerlijk vergelijkbaar zijn

Parameters zijn de verkeerde as, en contextlengte is zinloos voor een ervan. De dimensie die wél transfereert, is hoeveel van de release af is.

• Frameworks die het kunnen laden — Gemma 4 12B draait op Transformers, vLLM, SGLang, llama.cpp, MLX en een lange staart van gekwantiseerde community-builds; HiRO-ACEv2 draait via Ai2's eigen fme Python-pakket, met configuraties die zich op de ai2cm/ace-repository en niets anders richten.

• Prijs van één antwoord — Gemma 4 12B wordt door de providers die het aanbieden geleverd voor ongeveer $0,10 per miljoen invoertokens en $0,30 per miljoen uitvoertokens; HiRO-ACEv2 heeft geen tariefkaart, want er is niets per verzoek aan. De kosten zijn GPU-uren op je eigen hardware, en de bewering in het artikel is dat die uren neerkomen op meer dan 300 keer minder dan een conventioneel numeriek wereldwijd stormoplossend model.

• Wie heeft het gereproduceerd — De cijfers van Gemma 4 12B zijn door de leverancier opgegeven, maar de implementatie ervan niet: honderdduizenden downloads en een groot corpus aan onafhankelijk werk van praktijkmensen liggen ten grondslag aan elke bewering over hoe het zich gedraagt; de cijfers van HiRO-ACEv2 zijn die van de auteurs zelf, twee dagen oud, en de repository heeft op het moment van schrijven nul downloads.

• Waarop het licentielabel betrekking heeft — beide zijn Apache 2.0. De licentie van Gemma 4 12B is de gewone licentie; die van HiRO-ACEv2 gaat gepaard met Ai2's Responsible Use Guidelines, waarin onderzoek en onderwijs als intentie worden genoemd, en daarbovenop nog de eigen voorwaarden voor toegestaan gebruik.

• Output die mechanisch kan worden gecontroleerd — een antwoord van Gemma 4 12B wordt gecontroleerd door het te lezen, of door een testsuite die je schrijft; een HiRO-ACEv2-veld wordt getoetst aan een verdeling, en daarom gaat het artikel over het 99,9999e percentiel in plaats van over een gemiddelde score.

De benchmarktabel is het opvallendste verschil

Google publiceerde een volledige tabel voor Gemma 4 12B Unified. MMLU Pro op 77,2%, AIME 2026 zonder tools op 77,5%, LiveCodeBench v6 op 72,0%, een Codeforces-ELO van 1659, GPQA Diamond op 78,8%, MMMLU op 83,4%, MMMU Pro op 69,1%, MATH-Vision op 79,7%, en een MRCR v2-score met acht naalden van 43,4% bij 128k. Dit zijn de eigen cijfers van de leverancier, niet gereproduceerd door de concurrenten van Google, en de gebruikelijke kanttekening geldt: een modelcard-benchmark is een bewering over een configuratie, geen meting van het model dat je gaat draaien. Maar elk van die rijen is een getal dat een derde partij in een middag kan proberen te falsificeren, en verschillende ervan meten capaciteiten die in gewoon gebruik naar voren komen.

De modelkaart van HiRO-ACEv2 bevat geen dergelijke tabel. Hij doet één kwantitatieve uitspraak — dat de downscaler neerslagintensiteit aan het oppervlak, 10-meterwinden en drukverdelingen op zeeniveau reproduceert tot aan het 99,9999e percentiel — en somt vervolgens beperkingen op die informatiever zijn dan de meeste benchmarktabellen. Negen jaar aan trainingsdata, 2014 tot 2022. Uitvoer die X-SHIELD reproduceert in plaats van waarnemingen. Geen toepasbaarheid buiten 66°ZB tot 70°NB, en geen mogelijkheid om te draaien voorbij 88°ZB of 88°NB. Discontinuïteiten op patchgrenzen in gebieden die groter zijn dan de 16-bij-16-trainingspatch van één graad. Een opmerking dat het meegeleverde ACE2S-X-SHIELD-checkpoint minder grondig is getest dan de eerdere ACE2-ERA5-lijn.

Geen van beide houdingen is oneerlijk. Google verkoopt een model, dus adverteert het met wat het model scoort. Ai2 publiceert een onderzoeksartefact, dus adverteert het met wat het artefact niet kan. Een lezer die het ontbreken van een benchmarktabel opvat als bewijs dat een model zwak is, redeneert achterstevoren — de juiste lezing is dat de evaluatie die dit raamwerk nodig heeft, distributioneel is en dat geen enkel openbaar leaderboard die uitvoert.

Waar ze samenkomen in een echte pipeline

Er is één plek waar deze twee echt in hetzelfde systeem thuishoren, en dat heeft niets met rivaliteit te maken. Een workflow voor klimaatemulatie produceert een grote hoeveelheid tekst en code rond het model: scripts die ensembles aansturen over decennia van gesimuleerde tijd, hulpmiddelen die NetCDF-vormen valideren voordat een run GPU-uren opslokt, aggregatie van distributiestatistieken over honderden rollouts, en het gewone werk van het omzetten van een paper in een checklist. Niets daarvan is downscaling, en het is allemaal werk met taalmodellen — het soort waarbij een model per verzoek aanroepen, in plaats van er een te hosten, de verstandige standaard is.

Dat is de laag die OrcaRouter dekt. HiRO-ACEv2 staat niet in onze catalogus en zou dat ook niet kunnen — er is geen endpoint met tokenmeting voor een diffusie-downscaler — dus niets hier mag worden gelezen als een beschikbaarheidsclaim ervoor. Gemma 4 12B is evenmin een van de Gemma-modellen die we momenteel aanbieden; onze catalogus bevat de Gemma 4 26B-A4B- en 31B-checkpoints, en het 12B-inferentiepad zou komen van waar je het ook host. Wat wij bieden is de omringende laag: één API-sleutel voor meer dan tweehonderd modellen, de listprijs van de provider doorgegeven zonder extra markup, en automatische failover tussen providers zodat een pipeline van meerdere decennia die ook een taalmodel aanroept niet vastloopt omdat één upstream een slecht uur had.

Hoe je in minder dan een minuut beslist

Vraag je af welke vorm je antwoord aanneemt. Als de output tekst, een gestructureerde extractie, een codewijziging of een bijschrift is, dan wil je Gemma 4 12B — of een van de grotere modellen uit dezelfde familie — en specifiek de 12B is de juiste keuze wanneer je multimodale invoer nodig hebt op een formaat dat op één enkele accelerator past, met ruimte voor een lange context. Als de output een gerasterd veld van 3 km is dat neerslag, wind en luchtdruk beschrijft over decennia van gesimuleerd klimaat, dan gaat geen enkel taalmodel dat produceren en is Gemma 4 irrelevant voor je probleem; dan wil je HiRO-ACEv2, 10,9 GB aan download, een Python-omgeving en een GPU.

De valkuil in deze specifieke vergelijking is het parameteraantal. Gemma 4 12B heeft er een; HiRO-ACEv2 publiceert er geen, en de 10,9 GB aan repositoryopslag bestaat grotendeels uit forcingdata en initiële condities in plaats van gewichten — de twee checkpoints samen zijn ongeveer 4,3 GiB. Deze twee modellen naast elkaar beoordelen op grootte, of op welk afzonderlijk getal dan ook, levert een zelfverzekerd antwoord op een vraag die niemand heeft gesteld.

Vergelijkingen zoals deze zijn ook waar de faalmodi aan het licht komen: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive , waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsgraad en betwist-markering bevat.