Una scheda di titolo generata che recita 'AREX-2 vs MathForm-8B - Due modi per essere verificati', con due pannelli. Il pannello di sinistra, intitolato MathForm-8B, elenca: 8B dense, rilasciato ad ago 2026; scrive enunciati di teoremi in Lean 4; verificato dal compilatore Lean; Pass@8 88,06% verificato sintatticamente. Il pannello di destra, intitolato AREX-2, elenca: repo creato il 29 set 2026; nessun file, nessuna scheda; nulla da scaricare o eseguire; non esistono cifre da verificare. Un piè di pagina recita 'Uno è valutato da un compilatore. L'altro non ha ancora nulla da valutare.' Il logo OrcaRouter è sovrapposto nell'angolo in basso a destra.
Guides & Insights

AREX-2 vs MathForm-8B: un verificatore di dimostrazioni e un ciclo di ricerca sono tipi diversi di verifica

Autore

Gideon Frost

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

MathForm-8B e AREX-2 sono i due modelli più rigorosamente verificabili di questa serie, e si verificano in modi opposti. MathForm-8B è l'autoformalizzatore da 8 miliardi di parametri di OpenBMB, rilasciato in agosto 2026: dagli un problema di matematica scritto in inglese semplice e produce un enunciato Lean 4 formalmente corretto di quel problema, che il compilatore di un assistente di prova verifica poi. AREX-2 è un repository Hugging Face che BAAI ha creato il 29 settembre 2026 alle 17:56 UTC, contenente un .gitattributes e nessun peso, nessuna model card, nessun tag di licenza e nessun annuncio — un nome riservato per una probabile seconda generazione degli agenti di ricerca approfondita AREX di BAAI, la cui prima generazione si verifica da sola ricontrollando la propria risposta rispetto ai vincoli che le sono stati dati.

Quindi la domanda interessante qui non è quale modello sia migliore. È che cosa significhi che un modello sia verificabile, perché uno di questi due è verificato da un compilatore a cui non importa ciò che chiunque crede, e l'altro è verificato, se il precedente della famiglia regge, da un ciclo che lo stesso modello sta eseguendo. Questa distinzione sopravvive anche se uno dei due lati del confronto non è ancora stato rilasciato, ed è il motivo per cui questi due appartengono alla stessa conversazione.

Il lato che esiste, e la ragione per cui è verificabile

MathForm-8B ha una descrizione del lavoro ristretta, e vale la pena enunciarla con precisione perché la ristrettezza è il punto. Non risolve problemi matematici e non pretende di farlo. È stato messo a punto su FormalVerse, un corpus di circa 367.000 esempi Lean 4 verificati, e la sua ricompensa di addestramento proveniva dal compilatore Lean anziché da un modello di preferenza umana. Data una dichiarazione informale, emette gli import, i tipi e l'intestazione del teorema — lasciando aperto l'obbligo di dimostrazione — cosicché un compilatore possa confermare che la formalizzazione dice ciò che diceva il problema informale.

Le sue cifre pubblicate, tutte dichiarate dal fornitore OpenBMB e nessuna riprodotta in modo indipendente, sono una media Pass@8 dell'88,06% con un controllo sintattico e del 72,37% con un controllo di coerenza più rigoroso su sei benchmark, che scendono al 63% e al 37% sui sottoinsiemi più difficili FATE-H e FATE-X. Leggile per quello che sono: un modello misurato rispetto a un sistema formale, in cui una risposta sbagliata è un errore di compilazione, non un disaccordo sulla qualità. È una proprietà rara. La maggior parte delle affermazioni sui benchmark in questo blog si basa su un valutatore di cui ci si deve fidare; questa si basa su un'aritmetica che esegue una macchina.

Il lato che non esiste ancora, e perché la sua verifica è diversa

Gli unici fatti confermabili di AREX-2 sono l'organizzazione, il nome e il timestamp. Non è stato caricato nulla e BAAI non ha detto nulla. La famiglia dietro al nome però esiste, ed è stata rilasciata il 23 luglio 2026 come AREX-Base — un mixture-of-experts da 122 miliardi di parametri con 10 miliardi di parametri attivi su una base Qwen3.5-122B-A10B — insieme ad AREX-Turbo, un dense 4B. Entrambi Apache 2.0, entrambi agenti anziché modelli di chat.

Il design di AREX è un framework di ricerca a due cicli, e il ciclo esterno è una fase di verifica. Un ciclo interno raccoglie prove dalla ricerca e dalla navigazione, le integra e produce una risposta candidata con associato un valore di confidenza. Il ciclo esterno controlla quindi quella candidata rispetto ai vincoli originali e decide: accettarla, affinarla oppure scartare la traiettoria e ricominciare. Tra un'iterazione e l'altra il modello mantiene un blocco di contesto con risultati verificati, candidate aperte, vincoli irrisolti e il piano successivo, ed è ciò che gli consente di seguire una lunga linea di indagine senza perdere il filo. BAAI riporta 82.5 su BrowseComp, 85.4 su GAIA e 89.9 su DeepSearch QA per Base, e 70.7 / 81.6 / 78.5 per Turbo — numeri dello stesso fornitore, non riprodotti.

Questa è una forma reale e utile di autoverifica. È anche categoricamente più debole di un compilatore. Quando il ciclo esterno di AREX decide che una risposta soddisfa i suoi vincoli, il giudizio proviene da un modello linguistico che legge i vincoli. Quando Lean accetta una formalizzazione di MathForm-8B, il giudizio proviene da un type checker che implementa un calcolo fisso. Nessuno dei due è esente da errori — una formalizzazione può essere Lean valido che cattura il teorema sbagliato — ma solo uno dei due può essere sbagliato senza che nessuno se ne accorga, e la differenza non è una questione di grado.

• Disponibilità — MathForm-8B è scaricabile da OpenBMB con una scheda pubblicata. AREX-2 è un repository che non contiene file.

• Parametri — 8B denso per MathForm-8B. Sconosciuto per AREX-2; la famiglia comprende un mixture-of-experts da 122B e un modello denso da 4B.

• Ciò che produce — Enunciati di teoremi in Lean 4 per MathForm-8B, con la dimostrazione lasciata aperta di proposito. Sconosciuto per AREX-2; la prima generazione ha prodotto una risposta documentata con un valore di confidenza.

• Come viene verificato — il compilatore Lean, per MathForm-8B. Un ciclo di verifica all'interno dello stesso modello, sulla base delle evidenze di AREX-Base.

• Licenza — termini propri di OpenBMB per MathForm-8B; nulla è stato ancora dichiarato per AREX-2. La prima generazione di AREX era Apache 2.0.

• Dati principali — 88,06% con controllo sintattico e 72,37% con controllo di coerenza Pass@8 per MathForm-8B, secondo quanto riportato dal fornitore. Per AREX-2 non ne esistono.

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

Due job che uno stack può contenere contemporaneamente

Questi modelli non si sovrappongono nella funzione, e vale la pena dirlo prima che qualcuno legga un "versus" come una scelta. MathForm-8B è un front-end per un assistente di dimostrazione. Il suo output è un enunciato di teorema su cui poi lavora un matematico o un dimostratore automatico. Il suo posto naturale è all'interno di una pipeline di verifica per la matematica, i metodi formali o il lavoro di specifica, dove il valore sta nel fatto che uno strumento a valle possa consumare l'output senza fidarsi del modello.

AREX-2, se continua la sua famiglia, è un back-end per domande che non hanno un compilatore. "Quale di questi tre documenti è incoerente con gli altri due" non ha un sistema formale con cui verificarlo, e l'unica difesa disponibile è raccogliere più prove e riesaminare il proprio ragionamento — che è ciò che fa il ciclo esterno di AREX. Un team che ha bisogno di entrambi li eseguirebbe in luoghi diversi: formalizzazione per la parte del problema che può essere resa formale, e un agente di ricerca e verifica per la parte che non può esserlo.

Questa distinzione è anche la risposta onesta su quale di questi puoi intervenire questa settimana. MathForm-8B è rilasciato, documentato e utilizzabile ora. AREX-2 è solo un nome.

Come si presenta la storia del routing quando la verifica è il soggetto

Dato che i due vengono usati in modo così diverso, anche la questione dell'infrastruttura si divide.

Per MathForm-8B il carico di lavoro è una raffica di generazioni brevi e deterministiche il cui output finisce direttamente in un compilatore. Ciò che conta è che il modello sia raggiungibile e che una chiamata fallita venga ritentata, perché una pipeline di formalizzazione che perde una richiesta è identica a una pipeline di formalizzazione che ha fallito — e solo una delle due è un fatto relativo al modello. Il failover automatico tra provider è la funzionalità specifica che tiene separate queste due cose. Oggi OrcaRouter non offre né MathForm-8B né AREX-2, quindi i pesi OpenBMB provengono dalla distribuzione di OpenBMB stessa e qualsiasi endpoint ospitato è di qualcun altro; quello che offriamo è il routing davanti, con il prezzo di listino del provider passato così com'è e nulla aggiunto per token.

Per un agente come AREX-Base la forma è più difficile e l'argomento a favore del routing è più forte. Una traiettoria di ricerca approfondita effettua decine di chiamate al modello per query, ognuna delle quali rilegge un contesto che cresce man mano che le prove si accumulano, e le modalità di errore si moltiplicano: un provider che va in timeout al diciannovesimo passo su venticinque non degrada la risposta, ne produce una sbagliata ma sicura di sé. Questo è l'argomento a favore di mettere il loop dietro un'unica API per oltre 200 modelli con una regola di failover che decide a runtime, così un singolo provider difettoso diventa un nuovo tentativo anziché una citazione errata.

L'unica cosa da tenere d'occhio, e l'unica cosa da non dare per scontata

Tre fatti risponderebbero alla maggior parte delle domande aperte su AREX-2, e tutti e tre sono visibili dall'esterno: se i file compaiono in quel repository, quale numero di parametri dichiara la scheda e se porta il tag Apache 2.0 come i suoi due predecessori. Finché non lo faranno, l'unica affermazione difendibile su AREX-2 è che BAAI ha riservato il nome il 29 settembre 2026 e non ha annunciato nulla.

La cosa da non dare per scontata è che una seconda generazione erediti la forma della prima. Un “2” è un nome di prodotto, non un’architettura. Potrebbe essere più grande della 122B Base, oppure una piccola distillazione dello stesso framework — e dato che la famiglia ha già rilasciato insieme sia un livello di qualità sia un livello di costo di servizio, entrambe le letture sono plausibili. Ciò che non è plausibile, in questo momento, è pubblicarne una specifica.