HiRO-ACEv2 vs MathForm 8B: Två smala modeller, två typer av grundsanning

Varken HiRO-ACEv2 eller MathForm-8B försöker vara en allmän modell, och båda byggdes av team som ansåg att det intressanta problemet var smalare än en chattbot. HiRO-ACEv2 är Ai2:s klimatemulator i andra generationen, publicerad på Hugging Face den 12 oktober 2026 som ett 10,9 GB stort repo utan tillkännagivande, tillsammans med en preprint daterad dagen därpå. MathForm-8B är OpenBMB:s autoformaliseringsmodell, skapad den 14 augusti 2026 på en Qwen3-8B-backbone, som omvandlar matematik i naturligt språk till Lean 4-påståenden. Den ena producerar en atmosfär i 3 km-rutnät; den andra producerar en formell bevisförpliktelse. Anledningen till att jämföra dem är inte förmåga – deras användningsområden överlappar inte – utan det de båda hävdar, som visar sig betyda något mycket annat i vartdera fallet: att en maskin kan avgöra om utdata är korrekt.

Vad varje modell faktiskt sänder ut

HiRO-ACEv2 kör en tvåstegspipeline. En autoregressiv emulator genererar X-SHIELD, den globala stormupplösande modellen, grovupplöst till 100 km; en separat tränad diffusionsmodell nedskalar sedan det grova tillståndet till 3 km, vilket ger medelvärden över sex timmar för ytnederbördshastighet, momentana 10-metersvindar i östlig och nordlig riktning samt lufttryck vid havsnivå. Repositoriet innehåller nedskalaren som HiROv2.ckpt på cirka 1,28 GiB och den grova emulatorn som ACE2S-X-SHIELD.ckpt på cirka 2,98 GiB, plus tio års NetCDF-drivdata, två initialvillkorsfiler och YAML-konfigurationerna som binder samman dem.

MathForm-8B genererar text, men en mycket speciell sorts: ett Lean 4-teoremsats. Kortet beskriver den som en autoformaliseringsmodell tränad på OpenBMB:s FormalVerse-dataset, först med övervakad finjustering och sedan med förstärkningsinlärning vars belöning kommer från Lean-kompilering och återkoppling om semantisk konsistens. Den är 8B dense, Apache 2.0, och ärver sin skala från sin bas – Qwen3-8B – snarare än från något eget publicerat parameterantal. Rekommenderade genereringsinställningar är temperatur 0,6, top-p 0,95 och 16 384 nya tokens, på en Transformers-, vLLM- eller SGLang-server; utvärdering kräver en körande Kimina Lean Server och Lean 4.21.0.

Båda är smala med avsikt. Det är den första verkliga likheten, och det är där likheterna i stort sett upphör.

Två slags kontroller, och varför bara en av dem avgör en tvist

Lean-sidan har en avgörande verifierare. Ett teorempåstående antingen kompilerar under Lean 4 eller inte, och typkontrollanten är en fast kalkyl — den har inte bra dagar och dåliga dagar, och den behöver inte kalibreras. Det är därför MathForm-8B:s träningsloop överhuvudtaget kan använda kompilering som en belöningssignal. De publicerade siffrorna är Pass@8-frekvenser under två regimer, syntaxkontroll och konsistenskontroll, utvärderade över sex benchmarkar; den syntaxkontrollerade siffran ligger på 88,06 % och den konsistenskontrollerade siffran på 72,37 %. Det är författarnas egna siffror, inte reproducerade här, och gapet på sexton procentenheter mellan dem är det mest informativa på kortet: ett påstående som kompilerar är inte samma sak som ett påstående som säger vad det ursprungliga problemet betydde.

Klimatsidan har ingen sådan verifierare. HiRO-ACEv2:s modellkort innehåller ingen benchmark-tabell. Dess enda kvantitativa påstående är att nedskalaren reproducerar referensfördelningarna för nederbörd, 10-metersvind och lufttryck vid havsnivån upp till 99,9999:e percentilen, och att den i stort följer referensfördelningen för tropisk cyklonintensitet. Artikeln tillägger att inferensen kostar mer än 300 gånger mindre än en konventionell numerisk global stormupplösande modell.

Vart och ett av dessa är ett distributionellt påstående mot en referens, inte ett godkänt/underkänt-test mot en kalkyl. Den distinktionen avgör hur länge varje påstående förblir oemotsagt. Du kan falsifiera MathForm-8B-siffran genom att köra modellen mot benchmarkarna med en Lean-server och en GPU. Att falsifiera HiRO-ACEv2-siffran kräver ett tioårigt forcing-dataset, en referenssimulering att jämföra med och en analytiker som är villig att arbeta i den extrema svansen. Det första är en veckas arbete för en doktorand. Det andra är en artikel.

Vad leverantörerna kommer att berätta och inte berätta för dig

De två modellkorten har motsatt läggning, och att läsa dem sida vid sida är lärorikt när det gäller vad ett kort är till för.

OpenBMB:s modellkort är ett anspråksdokument med ett avsnitt om begränsningar. Det anger träningskorpusen, belöningsstrukturen, rekommenderade samplingsparametrar, den exakta Lean-versionen och en figur som rapporterar Pass@8 över sex benchmarks – men anmärkningsvärt nog finns siffrorna i en bild snarare än i texten, så den som skrapar sidan programmatiskt kommer att finna metoden noggrant beskriven och resultaten inte alls. Vad det inte anger är ett utgivningsdatum; den enda datumsignalen någonstans i metadata är arXiv-identifieraren 2608.14221 och repositoriets skapandetidsstämpel den 14 augusti 2026.

Ai2:s kort är i huvudsak en lista över begränsningar. Nio års träningsdata, 2014 till 2022, för båda kontrollpunkterna. Utdata som reproducerar X-SHIELD snarare än observationer, så de bär referenssimuleringens biaser. Ingen förväntan på generalisering utanför träningsforcingförhållandena — en punkt som v2-artikeln skärper genom att notera att ramverket är otestat bortom 66°S till 70°N och inte kan köras förbi 88°S eller 88°N. Diskontinuiteter vid patch-överlappning i regioner större än den 16×16 en-gradiga träningsrutan. En anteckning om att den medföljande ACE2S-X-SHIELD-kontrollpunkten är mindre rigoröst testad än den tidigare ACE2-ERA5-linjen, och att den inte är avsedd för väderprognoser. Och en licens — Apache 2.0 — som bär Ai2:s Responsible Use Guidelines och en forsknings- och utbildningsinramning.

Ett kort berättar vad modellen presterar. Det andra berättar vad den inte kan göra. Ingen av dem döljer något, och en läsare som misstar det andra för en svagare lansering har missförstått vad dessa artefakter är till för.

Den delen som verkligen är jämförbar: vad en gaffel är värd

Här är den enda axel på vilken de två utgåvorna kan mätas på samma sätt, och den pekar i motsatta riktningar.

• Var basmodellen kommer ifrån — MathForm-8B är en fullständig finjustering av Qwen3-8B, så dess härstamning är dokumenterad i Hugging Face-metadata och dess förfader är en brett distribuerad öppen modell; HiRO-ACEv2:s komponenter tränas i Ai2:s egen pipeline, med träningsdata som tillskrivs X-SHIELD, som tillhandahålls av GFDL, och ingen underliggande öppen checkpoint uppströms.

• Hur många körtidsmiljöer kan ladda den — MathForm-8B körs på Transformers, vLLM eller SGLang, och communityn har redan tagit fram GGUF- och MLX-kvantiseringar för llama.cpp och Apple silicon; HiRO-ACEv2 körs via Ai2:s fme Python-paket med konfigurationer som pekar på ai2cm/ace-repositoriet, och det finns ingen alternativ väg.

• Hur snabbt ekosystemet rörde sig — inom fyra dagar efter att MathForm-8B:s repository dök upp var community-GGUF-byggen online, och 4-bitars-, 6-bitars- och 8-bitars-MLX-konverteringar följde inom två veckor; HiRO-ACEv2:s repository har en enda like och inga nedladdningar två dagar efter dess senaste commit.

• Vad vikterna kostar dig att få tag på — MathForm-8B laddas ner som en vanlig modellcheckpoint och kvantiseras ner till konsumenthårdvara; HiRO-ACEv2 är ett repository på 10,9 GB, varav större delen är forcing- och initialvillkorsdata snarare än vikter, och det krymper inte.

Mönstret är att en applikationsspecifik språkmodell ärver ett ekosystem från sin basmodell, medan en applikationsspecifik fysisk emulator inte ärver någonting. För MathForm-8B var arbetet med att få den att köra mestadels gjort innan den existerade. För HiRO-ACEv2 börjar det vid README.

Var ett routningslager passar in, och var det inte gör det

Det ärliga svaret här är asymmetriskt, och det är värt att säga rakt ut i stället för att antyda samma sak om båda modellerna. MathForm-8B själv finns inte i vår katalog — den finjusterade checkpointen kommer från OpenBMB:s egen distribution och måste köras på din egen server intill den Lean-installation som den anropar. Dess förfader finns inte heller i vår katalog, vilket är värt att säga eftersom antagandet går i motsatt riktning: den specifika Qwen3-8B-checkpointen som den finjusterades från är en utgåva från 2025 och är inte ett av de Qwen-id:n som vi tillhandahåller. Det vi faktiskt dirigerar är den nuvarande Qwen-generationen runt den — Qwen3.8- och Qwen3.5-nivåerna, samt Qwen3-VL-8B-Instruct-checkpointen som delar 8B-skalan och samma familjehärstamning till $0.18 per miljon indatatoken och $0.70 per miljon utdatatoken över en kontext på 131 072 token.

Det är det lagret en formaliseringspipeline faktiskt behöver. Att dela upp en lärobok i kandidatpåståenden, att extrahera den informella satsen ur en artikel innan den går till autoformaliseraren, eller att omvandla ett Lean-felmeddelande till en diagnos är vanliga språkmodellsanrop, och de kan köras genom samma nyckel som allt annat. HiRO-ACEv2 går inte att routa och kommer aldrig att göra det i sin nuvarande form, eftersom det inte finns någon tokenmätt begäran att routa – 10,9 gigabyte av checkpoints och ett skalskript är inte en endpoint.

Vad en enda nyckel för över tvåhundra routade modeller ger dig, i en pipeline byggd kring endera av dessa, är att arbetet runt omkring blir ett anrop i stället för ett projekt: leverantörens listpris förs vidare utan påslag, failover mellan leverantörer är automatisk, och ett skript som driver en ensemble eller en formaliseringskörning behöver inte ett andra leverantörsavtal för att sammanfatta sin egen utdata.

Vad man bör se upp med på båda sidor

Ett tal som spelar roll på Lean-sidan skulle vara en oberoende reproduktion av siffrorna 88,06 och 72,37 av en grupp som inte har något eget intresse i träningsreceptet, helst nedbrutet per benchmark i stället för medelvärdesbildat till ett enda Pass@8 – eftersom autoformaliseringsmisslyckanden klustrar efter matematisk domän, och ett medelvärde döljer precis det mönster en utövare behöver. Ett tal som spelar roll på klimatsidan skulle vara en jämförelse mot en numerisk stormupplösande modell körd på samma hårdvara av någon annan än emulatorns upphovsmän, eftersom påståendet om 300 gånger snabbare inferens är det som avgör om den här tekniken tas i operativ drift.

Fram till dess läses båda modellerna bäst så som deras egna kort inbjuder till. MathForm-8B är en stark autoformaliserare med en kompilator som står bakom dess utdata, och den intressanta frågan om den är hur ofta det kompilerade påståendet säger det rätta snarare än bara något som är sant. HiRO-ACEv2 är en forskningsemulator som just har lagt till vind och tryck till vad som tidigare var utdata enbart för nederbörd, och den intressanta frågan är om de tillagda fälten är fysikaliskt konsistenta med den nederbörd de levererar tillsammans med – något som ingen benchmarktabell skulle ha berättat för dig ens om en sådan fanns.

Jämförelser som denna är också där felmoderna visar sig: de dokumenterade AI-incidenterna och agentfelen bakom modeller i denna klass samlas i the OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.