HiRO-ACEv2 vs MathForm 8B: due modelli ristretti, due tipi di verità di riferimento

Né HiRO-ACEv2 né MathForm-8B sta cercando di essere un modello generale, ed entrambi sono stati creati da team che hanno deciso che il problema interessante era più ristretto di quello di un chatbot. HiRO-ACEv2 è l'emulatore climatico di seconda generazione di Ai2, pubblicato su Hugging Face il 12 ottobre 2026 come repository da 10,9 GB senza alcun annuncio, insieme a un preprint datato il giorno successivo. MathForm-8B è il modello di autoformalizzazione di OpenBMB, creato il 14 agosto 2026 su una base Qwen3-8B, che trasforma matematica in linguaggio naturale in enunciati Lean 4. Uno produce un'atmosfera a griglia di 3 km; l'altro produce un obbligo di dimostrazione formale. Il motivo per confrontarli non è la capacità — non hanno usi sovrapponibili — ma la cosa che entrambi affermano, che finisce per significare qualcosa di molto diverso in ciascun caso: che una macchina può stabilire se l'output è corretto.

Cosa emette effettivamente ciascun modello

HiRO-ACEv2 esegue una pipeline a due stadi. Un emulatore autoregressivo genera X-SHIELD, il modello globale con risoluzione delle tempeste, ridotto a una risoluzione di 100 km; un modello di diffusione addestrato separatamente esegue poi il downscaling di quello stato grossolano a 3 km, producendo tassi di precipitazione superficiale mediati su sei ore, venti istantanei a 10 metri verso est e verso nord, e pressione al livello del mare. Il repository contiene il downscaler come HiROv2.ckpt, di circa 1,28 GiB, e l'emulatore grossolano come ACE2S-X-SHIELD.ckpt, di circa 2,98 GiB, oltre a dieci anni di dati di forcing NetCDF, due file di condizioni iniziali e le configurazioni YAML che li collegano tra loro.

MathForm-8B emette testo, ma di un tipo molto particolare: un enunciato di teorema in Lean 4. La scheda lo descrive come un modello di autoformalizzazione addestrato sul dataset FormalVerse di OpenBMB, prima con fine-tuning supervisionato e poi con apprendimento per rinforzo il cui reward deriva dalla compilazione Lean e dal feedback di coerenza semantica. È 8B dense, Apache 2.0, e eredita la sua scala dalla sua base — Qwen3-8B — piuttosto che da qualsiasi conteggio di parametri pubblicato proprio. Le impostazioni di generazione consigliate sono temperatura 0,6, top-p 0,95 e 16.384 nuovi token, su un server Transformers, vLLM o SGLang; la valutazione richiede un Kimina Lean Server in esecuzione e Lean 4.21.0.

Entrambi sono ristretti per scelta progettuale. Questa è la prima vera somiglianza, ed è più o meno qui che le somiglianze finiscono.

Due tipi di verifica, e perché solo uno di essi dirime una discussione

Il lato Lean ha un verificatore decisivo. Un enunciato di teorema o viene compilato sotto Lean 4 oppure no, e il type checker è un calcolo fisso — non ha giornate buone e giornate storte, e non ha bisogno di essere calibrato. Ecco perché il ciclo di addestramento di MathForm-8B può usare la compilazione come segnale di ricompensa. Le cifre pubblicate sono tassi Pass@8 sotto due regimi, il controllo sintattico e il controllo di coerenza, valutati su sei benchmark; la cifra con controllo sintattico si attesta all'88,06% e quella con controllo di coerenza al 72,37%. Questi sono i numeri degli stessi autori, non riprodotti qui, e il divario di sedici punti tra loro è la cosa più informativa della scheda: un enunciato che compila non è la stessa cosa di un enunciato che dice ciò che intendeva il problema originale.

Il lato climatico non ha un simile verificatore. La model card di HiRO-ACEv2 non contiene alcuna tabella di benchmark. La sua unica affermazione quantitativa è che il downscaler riproduce le distribuzioni di riferimento di precipitazione, vento a 10 metri e pressione al livello del mare fino al 99,9999° percentile, e che segue in larga misura la distribuzione di riferimento dell'intensità dei cicloni tropicali. L'articolo aggiunge che l'inferenza costa più di 300 volte meno rispetto a un modello numerico globale convenzionale che risolve le tempeste.

Ognuno di questi è un'affermazione distribuzionale rispetto a un riferimento, non un test superato/bocciato rispetto a un calcolo. Questa distinzione decide quanto a lungo ciascuna affermazione sopravvive senza essere contestata. Puoi falsificare il numero di MathForm-8B eseguendo il modello sui benchmark con un server Lean e una GPU. Falsificare il numero di HiRO-ACEv2 richiede un dataset di forcing di dieci anni, una simulazione di riferimento con cui confrontarsi e un analista disposto a lavorare nella coda estrema. Il primo è una settimana di lavoro per uno studente di dottorato. Il secondo è un articolo.

Cosa i fornitori ti diranno e cosa non ti diranno

Le due model card hanno temperamenti opposti, e leggerle una accanto all'altra è istruttivo su a cosa serve una card.

La card di OpenBMB è una scheda di dichiarazioni con una sezione dedicata ai limiti. Fornisce il corpus di addestramento, la struttura dei reward, i parametri di campionamento consigliati, la versione esatta di Lean e una figura che riporta il Pass@8 su sei benchmark — anche se, cosa degna di nota, i numeri si trovano in un'immagine anziché nel testo, per cui chiunque faccia scraping della pagina in modo programmatico troverà il metodo descritto con cura e i risultati per niente. Ciò che non fornisce è una data di rilascio; l'unico segnale di data presente nei metadati è l'identificatore arXiv 2608.14221 e il timestamp di creazione del repository, il 14 agosto 2026.

La scheda di Ai2 è essenzialmente un elenco di vincoli. Nove anni di dati di addestramento, dal 2014 al 2022, per entrambi i checkpoint. Output che riproducono X-SHIELD anziché le osservazioni, quindi portano con sé i bias della simulazione di riferimento. Nessuna aspettativa di generalizzazione al di fuori delle condizioni forzanti di addestramento — un punto che il paper v2 mette a fuoco osservando che il framework non è testato al di fuori dell'intervallo da 66°S a 70°N e non può essere eseguito oltre 88°S o 88°N. Discontinuità di sovrapposizione delle patch in regioni più grandi della tile di addestramento 16 per 16 a un grado. Una nota che il checkpoint ACE2S-X-SHIELD incluso è testato in modo meno rigoroso rispetto alla precedente linea ACE2-ERA5, e che non è destinato alle previsioni meteorologiche. E una licenza — Apache 2.0 — che include le Linee guida per l'uso responsabile di Ai2 e un'impostazione di ricerca e didattica.

Una scheda ti dice quali punteggi ottiene il modello. L'altra ti dice ciò che non è in grado di fare. Nessuna delle due nasconde nulla, e un lettore che scambia la seconda per una versione più debole ha frainteso a cosa servono questi artefatti.

La parte che è davvero comparabile: quanto vale un fork

Ecco l'unico asse sul quale le due release possono essere misurate allo stesso modo, e va in direzioni opposte.

• Da dove proviene il backbone — MathForm-8B è un fine-tuning completo di Qwen3-8B, quindi la sua discendenza è documentata nei metadati di Hugging Face e il suo antenato è un modello aperto ampiamente distribuito; i componenti di HiRO-ACEv2 sono addestrati all'interno della pipeline interna di Ai2, con dati di addestramento attribuiti a X-SHIELD, forniti da GFDL, e nessun checkpoint aperto a monte sottostante.

• Quanti runtime possono caricarlo — MathForm-8B gira su Transformers, vLLM o SGLang, e la community ha già prodotto quantizzazioni GGUF e MLX per llama.cpp e Apple silicon; HiRO-ACEv2 gira tramite il pacchetto Python fme di Ai2 con configurazioni che puntano al repository ai2cm/ace, e non esiste un percorso alternativo.

• Quanto rapidamente si è mosso l'ecosistema — entro quattro giorni dalla comparsa del repository di MathForm-8B, le build GGUF della community erano già online, e le conversioni MLX a 4, 6 e 8 bit sono arrivate entro due settimane; il repository di HiRO-ACEv2 ha un solo like e nessun download due giorni dopo il suo ultimo commit.

• Quanto ti costano i pesi da ottenere — MathForm-8B si scarica come un normale checkpoint di modello e si quantizza per girare su hardware di consumo; HiRO-ACEv2 è un repository da 10,9 GB, gran parte del quale costituito da dati di forcing e condizioni iniziali più che da pesi, e non si riduce.

Il pattern è che un modello linguistico specifico per un'applicazione eredita un ecosistema dal suo backbone, mentre un emulatore fisico specifico per un'applicazione non eredita nulla. Per MathForm-8B, il lavoro per farlo funzionare era in gran parte già stato fatto prima che esistesse. Per HiRO-ACEv2, si parte dal README.

Dove un livello di routing ha senso, e dove no

La risposta onesta qui è asimmetrica, e vale la pena affermarla chiaramente anziché accennare a entrambi i modelli allo stesso modo. MathForm-8B stesso non è nel nostro catalogo — il checkpoint fine-tuned proviene dalla distribuzione di OpenBMB e deve essere eseguito sul tuo server accanto all'installazione di Lean che richiama. Anche il suo antenato non è nel nostro catalogo, cosa che vale la pena dire perché il presupposto va nel senso opposto: lo specifico checkpoint Qwen3-8B da cui è stato fine-tuned è un rilascio del 2025 e non è uno degli ID Q​wen che serviamo. Ciò che instradiamo è l'attuale generazione Q​wen attorno a esso — i livelli Qwen3.8 e Qwen3.5, e il checkpoint Qwen3-VL-8B-Instruct che condivide la scala 8B e la stessa discendenza familiare a $0,18 per milione di token di input e $0,70 per milione di output su un contesto di 131.072 token.

Questo è il livello di cui una pipeline di formalizzazione ha davvero bisogno. Suddividere un manuale in enunciati candidati, estrarre il teorema informale da un articolo prima che passi all'autoformalizzatore, oppure trasformare un messaggio di errore di Lean in una diagnosi sono normali chiamate a un modello linguistico, e possono passare attraverso la stessa chiave di tutto il resto. HiRO-ACEv2 non è instradabile e non lo sarà mai nella sua forma attuale, perché non c'è alcuna richiesta misurata in token da instradare — 10,9 gigabyte di checkpoint e uno script di shell non sono un endpoint.

Che cosa ti garantisce una sola chiave su oltre duecento modelli instradati, in una pipeline costruita attorno a uno di questi, è che il lavoro circostante diventa una chiamata invece di un progetto: il prezzo di listino del provider passa senza alcun ricarico aggiunto, il failover tra provider è automatico, e uno script che guida un ensemble o un'esecuzione di formalizzazione non ha bisogno di un secondo contratto con un fornitore per riassumere il proprio output.

Cosa tenere d'occhio da entrambe le parti

Un numero che conta sul fronte Lean sarebbe una riproduzione indipendente dei valori 88,06 e 72,37 da parte di un gruppo che non ha interessi nella ricetta di addestramento, idealmente disaggregato per benchmark anziché mediato in un unico Pass@8 — perché i fallimenti di autoformalizzazione si raggruppano per dominio matematico, e una media nasconde proprio il pattern di cui un professionista ha bisogno. Un numero che conta sul fronte climatico sarebbe un confronto con un modello numerico che risolve i temporali, eseguito sullo stesso hardware da qualcuno diverso dagli autori dell'emulatore, dato che è l'affermazione di un'inferenza 300 volte più veloce a decidere se questa tecnica verrà adottata in ambito operativo.

Fino ad allora, entrambi i modelli vanno letti nel modo in cui le loro stesse card invitano a fare. MathForm-8B è un forte autoformalizzatore con un compilatore che sta dietro al suo output, e la domanda interessante che lo riguarda è quanto spesso l'affermazione compilata dica la cosa giusta anziché soltanto una cosa vera. HiRO-ACEv2 è un emulatore di ricerca che ha appena aggiunto vento e pressione a quello che prima era un output solo di precipitazioni, e la domanda interessante è se i campi aggiunti siano fisicamente coerenti con le precipitazioni che vengono fornite insieme — qualcosa che nessuna tabella di benchmark ti avrebbe detto anche se fosse esistita.

Confronti come questo sono anche il punto in cui emergono le modalità di fallimento: gli incidenti AI documentati e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'Archivio degli Incidenti AI di OrcaRouter, dove ogni voce riporta le proprie fonti, il livello di gravità, il grado di affidabilità e l'indicatore di contestazione.