HiRO-ACEv2 vs MathForm 8B: Twee smalle modellen, twee soorten grondwaarheid

Noch HiRO-ACEv2, noch MathForm-8B probeert een algemeen model te zijn, en beide zijn gebouwd door teams die besloten dat het interessante probleem nauwer was dan een chatbot. HiRO-ACEv2 is Ai2's klimaatemulator van de tweede generatie, op 12 oktober 2026 op Hugging Face geplaatst als een repository van 10,9 GB zonder aankondiging, samen met een preprint van de dag erna. MathForm-8B is het autoformaliseringsmodel van OpenBMB, gecreëerd op 14 augustus 2026 op een Qwen3-8B-backbone, dat wiskunde in natuurlijke taal omzet in Lean 4-uitspraken. De een produceert een atmosfeer op een raster van 3 km; de ander produceert een formele bewijsverplichting. De reden om ze te vergelijken is niet capaciteit — ze hebben geen overlappend gebruik — maar datgene wat ze beide beweren en wat in elk van beide gevallen iets heel anders blijkt te betekenen: dat een machine kan bepalen of de output juist is.

Wat elk model daadwerkelijk afgeeft

HiRO-ACEv2 draait een tweetrapspijplijn. Een autoregressieve emulator genereert X-SHIELD, het mondiale stormoplossende model, vergrofd naar 100 km. Een afzonderlijk getraind diffusiemodel schaalt die grove toestand vervolgens terug naar 3 km en produceert zesuurlijkse neerslagsnelheden aan het oppervlak, momentane oostwaartse en noordwaartse winden op 10 meter en luchtdruk op zeeniveau. De repository bevat de downscaler als HiROv2.ckpt van ongeveer 1,28 GiB en de grove emulator als ACE2S-X-SHIELD.ckpt van ongeveer 2,98 GiB, plus tien jaar aan NetCDF-forcingdata, twee bestanden met beginvoorwaarden en de YAML-configuraties die ze met elkaar verbinden.

MathForm-8B genereert tekst, maar een heel specifiek soort: een Lean 4-stelling. De kaart beschrijft het als een autoformaliseringsmodel dat is getraind op de FormalVerse-dataset van OpenBMB, eerst met supervised fine-tuning en daarna met reinforcement learning waarvan de beloning afkomstig is van Lean-compilatie en feedback over semantische consistentie. Het is 8B dense, Apache 2.0, en het ontleent zijn schaal aan zijn basis — Qwen3-8B — in plaats van aan een eigen gepubliceerd parameteraantal. Aanbevolen generatie-instellingen zijn temperatuur 0,6, top-p 0,95 en 16.384 nieuwe tokens, op een Transformers-, vLLM- of SGLang-server; evaluatie vereist een draaiende Kimina Lean Server en Lean 4.21.0.

Beide zijn bewust smal. Dat is de eerste echte overeenkomst, en daar houden de overeenkomsten grotendeels op.

Twee soorten controle, en waarom slechts één daarvan een discussie beslecht

De Lean-kant heeft een beslissende verificateur. Een stelling compileert wel of niet onder Lean 4, en de typechecker is een vaste calculus — hij kent geen goede en slechte dagen, en hoeft niet te worden gekalibreerd. Daarom kan de trainingsloop van MathForm-8B compilatie überhaupt als beloningssignaal gebruiken. De gepubliceerde cijfers zijn Pass@8-percentages onder twee regimes, syntaxcontrole en consistentiecontrole, geëvalueerd over zes benchmarks; het cijfer voor syntaxcontrole staat op 88,06% en het cijfer voor consistentiecontrole op 72,37%. Dat zijn de eigen cijfers van de auteurs, hier niet gereproduceerd, en het gat van zestien punten ertussen is het meest informatieve element op de kaart: een stelling die compileert is niet hetzelfde als een stelling die zegt wat het oorspronkelijke probleem bedoelde.

De klimaatkant heeft geen dergelijke verificateur. De modelkaart van HiRO-ACEv2 bevat geen benchmarktabel. De enige kwantitatieve bewering is dat de downscaler de referentieverdelingen van neerslag, wind op 10 meter en luchtdruk op zeeniveau reproduceert tot aan het 99,9999e percentiel, en dat deze in grote lijnen de referentieverdeling van de intensiteit van tropische cyclonen volgt. Het artikel voegt eraan toe dat inferentie meer dan 300 keer minder kost dan een conventioneel numeriek wereldwijd stormoplossend model.

Elk daarvan is een distributionele claim tegen een referentie, geen slaag-zaktest tegen een calculus. Dat onderscheid bepaalt hoe lang elke claim onweersproken standhoudt. Je kunt het getal van MathForm-8B falsificeren door het model met een Lean-server en een GPU tegen de benchmarks te laten draaien. Het falsificeren van het getal van HiRO-ACEv2 vereist een tien jaar lange forcingdataset, een referentiesimulatie om tegen te vergelijken, en een analist die bereid is in de extreme staart te werken. Het eerste is een week werk voor een masterstudent. Het tweede is een paper.

Wat de leveranciers u wel en niet zullen vertellen

De twee modelkaarten hebben tegengestelde temperamenten, en ze naast elkaar lezen is leerzaam over waar een kaart voor dient.

De kaart van OpenBMB is een claimdocument met een sectie over beperkingen. Hij geeft het trainingscorpus, de beloningsstructuur, de aanbevolen samplingparameters, de exacte Lean-versie en een figuur die Pass@8 rapporteert over zes benchmarks — hoewel de cijfers opvallend genoeg in een afbeelding staan in plaats van in de tekst, dus wie de pagina programmatisch scrapet, vindt de methode zorgvuldig beschreven en de resultaten helemaal niet. Wat er niet in staat, is een releasedatum; het enige datumssignaal ergens in de metadata is de arXiv-identifier 2608.14221 en het aanmaaktijdstempel van de repository van 14 augustus 2026.

Ai2's kaart is in wezen een lijst met beperkingen. Negen jaar trainingsdata, 2014 tot 2022, voor beide checkpoints. Outputs die X-SHIELD reproduceren in plaats van observaties, waardoor ze de vertekeningen van de referentiesimulatie met zich meedragen. Geen verwachting van generalisatie buiten de forcingcondities van de training — een punt dat de v2-paper aanscherpt door op te merken dat het raamwerk niet is getest buiten het bereik van 66°S tot 70°N en niet kan draaien voorbij 88°S of 88°N. Discontinuïteiten door patch-overlap in gebieden groter dan de 16-bij-16-tegel van één graad voor training. Een opmerking dat het meegeleverde ACE2S-X-SHIELD-checkpoint minder rigoureus is getest dan de eerdere ACE2-ERA5-lijn, en dat het niet is bedoeld voor weersvoorspelling. En een licentie — Apache 2.0 — die Ai2's Responsible Use Guidelines en een onderzoeks- en onderwijskader bevat.

De ene kaart vertelt je wat het model scoort. De andere vertelt je wat het niet kan. Geen van beide verbergt iets, en een lezer die de tweede aanziet voor een zwakkere release, heeft verkeerd begrepen waarvoor deze artefacten bedoeld zijn.

Het deel dat echt vergelijkbaar is: wat een fork waard is

Dit is de enige as waarop de twee releases op dezelfde manier kunnen worden gemeten, en die wijst in tegengestelde richtingen.

• Waar de backbone vandaan komt — MathForm-8B is een volledige fine-tune van Qwen3-8B, dus de afstamming is gedocumenteerd in de Hugging Face-metadata en de voorouder is een breed uitgerold open model; de componenten van HiRO-ACEv2 worden getraind binnen Ai2's eigen pijplijn, met trainingsgegevens toegeschreven aan X-SHIELD, geleverd door GFDL, en geen upstream open checkpoint eronder.

• Hoeveel runtimes kunnen het laden — MathForm-8B draait op Transformers, vLLM of SGLang, en de community heeft al GGUF- en MLX-quantisaties geproduceerd voor llama.cpp en Apple silicon; HiRO-ACEv2 draait via Ai2's fme Python-pakket met configs die naar de ai2cm/ace-repository verwijzen, en er is geen alternatief pad.

• Hoe snel het ecosysteem zich ontwikkelde — binnen vier dagen nadat de repository van MathForm-8B verscheen, stonden community-GGUF-builds online, en 4-bit-, 6-bit- en 8-bit-MLX-conversies volgden binnen twee weken; de repository van HiRO-ACEv2 heeft twee dagen na de laatste commit één like en geen downloads.

• Wat de gewichten je kosten om te verkrijgen — MathForm-8B downloadt als een normale model-checkpoint en quantiseert omlaag naar consumentenhardware; HiRO-ACEv2 is 10,9 GB aan repository, waarvan het meeste forcing- en beginvoorwaardendata in plaats van gewichten, en het krimpt niet.

Het patroon is dat een applicatiespecifiek taalmodel een ecosysteem erft van zijn backbone, en een applicatiespecifieke fysieke emulator erft niets. Voor MathForm-8B was het werk om het te laten draaien grotendeels gedaan voordat het bestond. Voor HiRO-ACEv2 begint het bij de README.

Waar een routeringslaag past, en waar niet.

Het eerlijke antwoord hier is asymmetrisch, en het is de moeite waard om het ronduit te zeggen in plaats van vaag naar beide modellen te verwijzen. MathForm-8B staat niet in onze catalogus — de fine-tuned checkpoint komt uit de eigen distributie van OpenBMB en moet op je eigen server draaien naast de Lean-installatie die hij aanroept. Zijn voorloper staat ook niet in onze catalogus, wat het vermelden waard is omdat de aanname de andere kant op werkt: de specifieke Qwen3-8B-checkpoint waarop hij is fine-tuned, is een release uit 2025 en is niet een van de Q​wen-id's die wij aanbieden. Wat wij wél routeren is de huidige Q​wen-generatie eromheen — de Qwen3.8- en Qwen3.5-tiers, en de Qwen3-VL-8B-Instruct-checkpoint die de 8B-schaal en dezelfde familieafstamming deelt voor $0,10 per miljoen inputtokens en $0,70 per miljoen output bij een context van 131.072 tokens.

Dat is de laag die een formaliseringspijplijn echt nodig heeft. Een leerboek opsplitsen in kandidaatbeweringen, het informele theorema uit een paper halen voordat het naar de autoformaliseerder gaat, of een Lean-foutmelding omzetten in een diagnose zijn gewone taalmodelaanroepen, en ze kunnen via dezelfde sleutel lopen als al het andere. HiRO-ACEv2 is niet routeerbaar en zal dat in zijn huidige vorm nooit worden, want er is geen token-gemeten verzoek om te routeren — 10,9 gigabyte aan checkpoints en een shellscript is geen endpoint.

Wat één sleutel voor meer dan tweehonderd gerouteerde modellen je oplevert, in een pipeline die rond een van beide is gebouwd, is dat het omringende werk een aanroep wordt in plaats van een project: de lijstprijs van de provider wordt doorgegeven zonder dat er een opslag wordt toegevoegd, failover tussen providers is automatisch, en een script dat een ensemble of een formalisatierun aanstuurt, heeft geen tweede leverancierscontract nodig om zijn eigen output samen te vatten.

Waar je aan beide kanten op moet letten

Een getal dat aan de Lean-kant ertoe doet, zou een onafhankelijke reproductie van de cijfers 88,06 en 72,37 zijn door een groep zonder belang bij het trainingsrecept, idealiter uitgesplitst per benchmark in plaats van gemiddeld tot één enkele Pass@8 — want autoformalization-fouten clusteren per wiskundig domein, en een gemiddelde verbergt precies het patroon dat een praktijkbeoefenaar nodig heeft. Een getal dat aan de klimaatkant ertoe doet, zou een vergelijking zijn met een numeriek stormoplossend model dat op dezelfde hardware is gedraaid door iemand anders dan de auteurs van de emulator, aangezien de claim van 300 keer inferentie degene is die bepaalt of deze techniek operationeel wordt overgenomen.

Tot die tijd kun je beide modellen het beste lezen zoals hun eigen modelkaarten je uitnodigen. MathForm-8B is een sterke autoformaliseerder met een compiler die achter de output staat, en de interessante vraag erbij is hoe vaak de gecompileerde uitspraak het juiste zegt in plaats van alleen maar waar te zijn. HiRO-ACEv2 is een onderzoeksemulator die net wind en druk heeft toegevoegd aan wat voorheen een output met alleen neerslag was, en de interessante vraag is of de toegevoegde velden fysisch consistent zijn met de neerslag die ze ernaast meeleveren — iets wat geen enkele benchmarktabel je zou hebben verteld, zelfs als die had bestaan.

Vergelijkingen zoals deze zijn ook waar de faalmodi aan het licht komen: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive , waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsgraad en betwist-markering bevat.