HiRO-ACEv2 vs Gemma 4 12B: Jämförelsen är bara meningsfull när man slutar räkna parametrar

HiRO-ACEv2 och Gemma 4 12B är båda Apache 2.0-nedladdningar med en siffra i namnet och en teknisk rapport bakom sig, och det är ungefär där likheten slutar. Gemma 4 12B är Googles multimodala språkmodell med 11,95 miljarder parametrar – text, bilder och ljud in, text ut, ett kontextfönster på 256K token, släppt i juni 2026 och nedladdad långt över en miljon gånger. HiRO-ACEv2 är Ai2:s klimatemulator i andra generationen, uppladdad till ett Hugging Face-repositorium den 12 oktober 2026 med ungefär 10,9 GB checkpoints och forcing-data, utan något tillkännagivande, och en artikel som publicerades dagen därpå. Den ena är en generell modell som du anropar; den andra är ett fysikramverk som du installerar och kör på din egen dator.

Inramad som en direkt duell om kvalitet är den här matchningen meningslös, och att låtsas något annat vore det enkla misslyckandet för en sida som den här. Inramad som en fråga om vad öppna vikter faktiskt ger dig 2026 är den verkligen lärorik – eftersom de två lanseringarna ligger i varsin ände av öppenhetsspektrat trots att båda bär samma licensmärkning, och skillnaderna visar sig redan under den första timmen av att försöka använda någon av dem.

Vad var och en är till för, i en mening vardera

Gemma 4 12B tar en prompt – text, en bild, ett ljudklipp eller en kombination av dessa – och producerar text. Den har en arkitektur utan vision tower och utan encoder som projicerar bildpatcher och ljudvågformer direkt in i språkmodellens inbäddningsutrymme genom linjära lager, 48 lager, ett ordförråd på 262K, ett glidande fönster på 1024 token med global uppmärksamhet, och ungefär 11,95 miljarder parametrar i bf16. Den är uttryckligen en dense-modell, och utgåvan innehåller en fullständig leverantörstabell.

HiRO-ACEv2 tar ett klimattillstånd med 100 km upplösning och producerar 3 km-fält – nederbörd, 10-meters östliga och nordliga vindar samt medelhavsnivåtryck, med sex timmars frekvens. Det är ett tvåstegssystem: en autoregressiv emulator av X-SHIELD grovupplöst till 100 km, följt av en diffusionsmodell som nedskalar resultatet till 3 km. Den matar ut rutnätsfält i NetCDF-stil, inte text, och den har ingen jämförelsetabell alls.

Det är hela jämförelsen i strukturella termer. Den ena mappar språk till språk. Den andra mappar en grov atmosfär till en fin.

Den enda dimensionen där de två är ärligt jämförbara

Parametrar är den felaktiga axeln, och kontextlängd är meningslös för en av dem. Den dimension som faktiskt överförs är hur mycket av releasen som är färdigställd.

• Ramverk som kan ladda det — Gemma 4 12B körs på Transformers, vLLM, SGLang, llama.cpp, MLX och en lång svans av kvantiserade community-byggen; HiRO-ACEv2 körs via Ai2:s eget fme Python-paket, med konfigurationer som riktar sig mot ai2cm/ace-repositoriet och inget annat.

• Priset för ett svar — Gemma 4 12B tillhandahålls av de leverantörer som erbjuder den till ungefär 0,10 USD per miljon indatatokens och 0,30 USD per miljon utdatatokens; HiRO-ACEv2 har ingen prislista, eftersom det inte finns något per förfrågan när det gäller den. Dess kostnad är GPU-timmar på din egen hårdvara, och artikelns påstående är att dessa timmar uppgår till mer än 300 gånger mindre än en konventionell numerisk global stormupplösande modell.

• Vem har reproducerat det — Gemma 4 12B:s siffror rapporteras av leverantören, men dess användning gör det inte: hundratusentals nedladdningar och en omfattande mängd oberoende praktikerarbete ligger bakom varje påstående om hur den beter sig; HiRO-ACEv2:s siffror är författarnas egna, två dagar gamla, och repositoriet har noll nedladdningar när detta skrivs.

• Vad licenstaggen fästs vid — båda är Apache 2.0. Gemma 4 12B:s beviljande är den vanliga licensen; HiRO-ACEv2:s kommer med Ai2:s Responsible Use Guidelines som anger forsknings- och utbildningssyfte, plus dess egna tillämpliga användningsvillkor ovanpå.

• Utdata som kan kontrolleras maskinellt – ett svar från Gemma 4 12B kontrolleras genom att man läser det, eller med en testsvit som du själv skriver; ett HiRO-ACEv2-fält kontrolleras mot en fördelning, vilket är anledningen till att artikeln handlar om 99,9999:e percentilen i stället för om en medelpoäng.

Benchmark-tabellen är den mest iögonfallande skillnaden.

Google har publicerat en fullständig tabell för Gemma 4 12B Unified. MMLU Pro på 77,2 %, AIME 2026 utan verktyg på 77,5 %, LiveCodeBench v6 på 72,0 %, ett Codeforces-ELO på 1659, GPQA Diamond på 78,8 %, MMMLU på 83,4 %, MMMU Pro på 69,1 %, MATH-Vision på 79,7 % och en MRCR v2-siffra för åtta nålar på 43,4 % vid 128k. Detta är leverantörens egna siffror, inte reproducerade av Googles konkurrenter, och det sedvanliga förbehållet gäller: ett benchmark i ett modellkort är ett påstående om en konfiguration, inte en mätning av den modell du kommer att köra. Men var och en av dessa rader är en siffra som en tredje part kan försöka falsifiera på en eftermiddag, och flera av dem mäter förmågor som dyker upp i vanlig användning.

HiRO-ACEv2:s modellkort innehåller ingen sådan tabell. Det gör ett kvantitativt uttalande – att nedskalaren återger ytnederbördsintensitet, 10-metersvindar och havsnivåtryckfördelningar upp till 99,9999:e percentilen – och listar därefter begränsningar som är mer informativa än de flesta benchmarktabeller. Nio års träningsdata, 2014 till 2022. Utdata som återger X-SHIELD i stället för observationer. Ingen tillämplighet utanför 66°S till 70°N, och ingen förmåga att köra bortom 88°S eller 88°N. Patch-gränsdiskontinuiteter i regioner som är större än den 16×16 en-gradiga träningspatchen. En anmärkning om att den medföljande ACE2S-X-SHIELD-checkpointen är mindre rigoröst testad än den tidigare ACE2-ERA5-linjen.

Ingen av hållningarna är ohederlig. Google säljer en modell, så de gör reklam för vad modellen presterar. Ai2 publicerar en forskningsartefakt, så de gör reklam för vad artefakten inte kan göra. En läsare som ser avsaknaden av en benchmarktabell som bevis för en svag modell har resonemanget bakvänt — den korrekta tolkningen är att den utvärdering som detta ramverk behöver är distributionell och att ingen offentlig resultattavla kör den.

Där de möts i en verklig pipeline

Det finns en plats där dessa två verkligen hör hemma i samma system, och det handlar inte om en rivalitet. Ett arbetsflöde för klimatemulering producerar en stor mängd text och kod runt modellen: skript som driver ensembler över decennier av simulerad tid, verktyg som validerar NetCDF-former innan en körning bränner GPU-timmar, aggregering av fördelningsstatistik över hundratals rollouts, och det vanliga arbetet med att förvandla en artikel till en checklista. Inget av det är nedskalning, och allt är språkmodellsarbete – den sorten där att anropa en modell per begäran, i stället för att hosta en, är det förnuftiga standardvalet.

Det är lagret som OrcaRouter täcker. HiRO-ACEv2 finns inte i vår katalog och kan inte finnas där – det finns ingen tokenmätt slutpunkt för en diffusionsnedskalare – så inget här bör läsas som ett anspråk på att den är tillgänglig. Gemma 4 12B är inte heller en av de Gemma-modeller vi för närvarande tillhandahåller; vår katalog innehåller checkpoints för Gemma 4 26B-A4B och 31B, och 12B-inferensvägen skulle komma från var du än hostar den. Det vi erbjuder är det omkringliggande lagret: en API-nyckel för över tvåhundra modeller, leverantörens listpris vidarebefordrat utan påslag, och automatisk failover mellan leverantörer så att en pipeline som löper över flera decennier och även anropar en språkmodell inte stannar för att en uppströmsleverantör hade en dålig timme.

Hur man bestämmer sig på under en minut

Fråga vilken form ditt svar tar. Om utdata är text, en strukturerad extraktion, en kodändring eller en bildtext vill du ha Gemma 4 12B – eller ett av dess större syskon – och just 12B är rätt val när du behöver multimodala indata i en storlek som får plats på en enda accelerator med utrymme för en lång kontext. Om utdata är ett rutnätsfält på 3 km som beskriver nederbörd, vind och tryck över decennier av simulerat klimat kommer ingen språkmodell att producera det, och Gemma 4 är irrelevant för ditt problem; du vill ha HiRO-ACEv2, 10,9 GB nedladdning, en Python-miljö och en GPU.

Fällan i just den här jämförelsen är parameterantalet. Gemma 4 12B har ett; HiRO-ACEv2 publicerar inget, och de 10,9 GB lagringsutrymme i repot utgörs mest av drivdata och initialvillkor snarare än vikter – de två checkpoints tillsammans är omkring 4,3 GiB. Att bedöma dessa två modeller sida vid sida efter storlek, eller efter ett enda tal, ger ett självsäkert svar på en fråga som ingen har ställt.

Jämförelser som denna är också där felmoderna visar sig: de dokumenterade AI-incidenterna och agentfelen bakom modeller i denna klass samlas i the OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.