Beam 1.0 vs MathForm 8B: Un compilatore intercetta gli errori di un modello

Chiedi a MathForm 8B di formalizzare un teorema e la risposta è un enunciato Lean 4 che compila oppure uno che non compila. Chiedi a Beam 1.0 di correggere un bug e la risposta è un diff che viene eseguito o uno che non viene eseguito, e la distanza tra queste due cose è l'intera differenza tra questi modelli. MathForm 8B è il modello di autoformalizzazione da 8,19 miliardi di parametri di OpenBMB, basato su Qwen3-8B di Alibaba e addestrato su FormalVerse, un corpus di circa 367.000 esempi verificati di Lean 4, tramite fine-tuning supervisionato seguito da apprendimento per rinforzo sulla compilazione Lean e sul feedback di coerenza semantica; è stato pubblicato il 14 agosto 2026 con licenza Apache 2.0. Beam 1.0 è il modello sparse mixture-of-experts di Reflection da 501,3 miliardi di parametri, con 23,4 miliardi attivi per token, annunciato il 5 ottobre 2026 e rilasciato come pesi scaricabili il 16 ottobre 2026, anch'esso con licenza Apache 2.0. Il rapporto di dimensioni è di 61 a uno ed è il numero meno interessante della pagina.

Il punto interessante è che MathForm 8B produce un output che una macchina può valutare senza doversi fidare di nessuno, mentre Beam 1.0 no. Tutto ciò che segue deriva da questo.

Cosa viene chiesto a ciascun modello di produrre

MathForm 8B ha un unico contratto di output. Prende un enunciato matematico scritto in prosa comune e restituisce un enunciato Lean 4 — un'intestazione, un teorema con nome, le ipotesi e l'obiettivo. La pipeline di addestramento è costruita attorno a quella forma: recupero delle conoscenze da Mathlib per ancorare l'enunciato a definizioni esistenti, compilazione e verifica semantica per respingere i candidati non validi, raffinamento iterativo per correggerli, e infine ricostruzione delle traiettorie per trasformare gli esempi sopravvissuti in dati di addestramento. L'articolo riporta il modello a una media dell'88,06% di Pass@8 sotto controllo sintattico e del 72,37% sotto controllo di coerenza su sei benchmark. Quelli sono i numeri di OpenBMB, non riprodotti da nessun altro, e sbilanciati verso i set più facili della valutazione — ma sono numeri su un compito che ha una risposta corretta.

Beam 1.0 non ha un contratto del genere. È un modello generale: la sua scheda descrive il template di chat, il formato wire in stile Harmony con canali di analisi e finali, sei livelli di impegno di ragionamento che corrispondono a budget di token di 8, 32, 64, 128, 256 e 512, e una convenzione di chiamata degli strumenti in cui le funzioni sono dichiarate come TypeScript flat e invocate in corpi XML. La sua valutazione copre il coding agentico (SWE-bench Verified 81,6% su BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), il ragionamento (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), l'uso degli strumenti (MCP Atlas 80,8) e la capacità generale (LongBench v2 67,5, IFBench 79,6). Ogni cifra è di Reflection. Se il codice che scrive sia *corretto* lo si stabilisce eseguendolo, rivedendolo o rilasciandolo e scoprendo cosa succede.

Quindi: i guasti di un modello si annunciano da soli. Quelli dell'altro sono comuni guasti software che arrivano più tardi, in fase di revisione o in produzione, e sembrano identici a ogni altro bug che tu abbia mai avuto.

I benchmark non si sovrappongono, e questa è la conclusione.

Allinea i due insiemi di valutazione e non c’è quasi nulla da sottrarre.

• Su cosa viene valutato Beam 1.0 — risoluzione di problemi su scala repository, attività da terminale, programmazione competitiva, domande scientifiche di livello post-laurea, orchestrazione di strumenti, richiamo su contesto lungo e capacità di seguire istruzioni.

• Su cosa viene valutato MathForm 8B — l'accuratezza di formalizzazione Pass@8 con un verificatore di sintassi e con un verificatore di coerenza semantica, su sei benchmark matematici, rispetto alle baseline specializzate da 7B a 32B dell'articolo.

• La sovrapposizione — praticamente zero. Non esiste alcuna riga in cui entrambi i modelli siano stati misurati dalla stessa parte sullo stesso compito, e non ce ne sarà, perché uno è misurato sulla capacità generale e l'altro su una singola trasformazione verificabile.

• L'unica dimensione condivisa che esista concettualmente — il ragionamento — viene misurata su popolazioni diverse. Il 90,6 di Beam 1.0 su GPQA Diamond è un punteggio scientifico a scelta multipla. Il tasso di coerenza del 72,37% di MathForm 8B è una verifica di formalizzazione. Nessuno dei due predice l'altro.

Ecco perché un confronto di dimensioni qui sarebbe fuorviante, non semplicemente poco lusinghiero. Beam 1.0 è sessantuno volte il modello, e non può svolgere affatto il compito di MathForm 8B senza essere addestrato a farlo — il contratto di output è abbastanza ristretto che la capacità generale non ne è un sostituto. Un generalista da 501B a cui venga chiesto di produrre un teorema Lean denominato con un'intestazione corretta produrrà qualcosa dall'aspetto plausibile e spesso errato, il che, per un assistente di dimostrazione, è la peggiore modalità di errore possibile.

Cosa devi avere per eseguire uno dei due

MathForm 8B eredita la licenza di Qwen3-8B, che l'Hub registra come Apache 2.0, e questo è il caso pratico che lo giustifica: 8,19 miliardi di parametri densi, un modello solo in inglese, una riduzione del budget di generazione all'output Lean anziché al ragionamento generale, e un download invece di un cluster. La sua base, Qwen3-8B, è ciò che un lettore ospiterebbe altrimenti da sé — un 8B generale con una finestra di contesto nativa di 32K estendibile a 131K e copertura di 119 lingue. MathForm 8B sacrifica quasi tutto questo per una sola competenza.

Beam 1.0 ha bisogno di un posto dove vivere. La model card indica 52 layer, 256 esperti con otto instradati per token, un vocabolario di 152.000 token, un knowledge cutoff al 30 giugno 2026 e una finestra di contesto di 1.000.000 di token. Viene rilasciato in tre versioni di pesi — BF16 a 501,3B, FP8 a 501,3B, NVFP4 a 255B — più un drafter DFlash2 da 2B per il speculative decoding. Sulla card non c'è alcuna raccomandazione di serving e non esiste alcun prezzo API pubblicato da nessuna parte nelle proprietà di Reflection; la pagina di Artificial Analysis dedicata al modello elenca i campi relativi al prezzo come non disponibili e osserva che non esiste alcuna API disponibile pubblicamente. La build a quattro bit è ciò che rende questo un acquisto plausibile anziché ipotetico, e resta comunque una questione da GPU.

OrcaRouter non instrada nessuno dei due modelli, e questa pagina non lascia intendere il contrario. Ciò che instradiamo è il tier servito al di fuori del quale si collocano quei due: oltre 200 modelli dietro un'unica chiave compatibile con OpenAI al prezzo di listino del provider con 0% di markup, così un taglio di prezzo del fornitore arriva sulla tua fattura il giorno stesso in cui viene annunciato. Per un team il cui vero bisogno è un modello che risponda oggi anziché un checkpoint che si compili domani, quella è la riga che questo confronto non può offrire.

La differenza di verificabilità, in parole semplici

Ecco l'asimmetria esposta come fatto operativo anziché come benchmark.

L'output di MathForm 8B entra in una pipeline che ha un gate. Il compilatore Lean accetta o rifiuta l'enunciato. Il controllo di coerenza semantica passa o fallisce. Un output scadente può essere scartato automaticamente, e il modello può essere lasciato in un ciclo di agente che riprova finché qualcosa non viene verificato — che è esattamente ciò per cui lo stadio RL lo ha addestrato. Il costo di una risposta sbagliata è un campione rifiutato, non un difetto rilasciato. Questa è una proprietà genuinamente rara nel campo attuale degli open-weights, ed è il motivo per cui un modello specializzato da 8B può essere più utile di uno generalista cento volte più grande all'interno di una pipeline modellata sulla matematica formale.

Gli output di Beam 1.0 non hanno un simile controllo. La tabella di valutazione può dirti con quale frequenza ha risolto un problema GitHub su SWE-bench, ma non può dirti se la patch che scrive per il tuo repository è corretta, perché è una questione che riguarda i tuoi test. La model card è insolitamente specifica riguardo al wire format e insolitamente silenziosa sulla questione dell'accuratezza, e questa è una descrizione corretta di dove si trovi il settore: gli strumenti attorno ai modelli di coding agentico sono bravi a eseguire codice e scarsi a certificarlo.

Se il tuo dominio ha un verificatore — un sistema di tipi, un assistente di dimostrazione, uno schema, un simulatore — uno specialista mirato a quel verificatore è spesso il download a maggiore leva. Se non ce l'ha, stai comprando capacità e pagando tu stesso la valutazione, e il modello generale più grande è quello che te ne dà di più.

Scegliere tra loro

Scegli MathForm 8B se il lavoro è formalizzazione e nient'altro — trasformare un corpus di prosa matematica in Lean 4 che un assistente di dimostrazione accetterà, a una scala in cui un essere umano non può verificarne ciascuno. L'impronta di 8,19 miliardi di parametri, le condizioni Apache 2.0 e la forma di output ristretta sono tutti vantaggi in quel contesto. Non sceglierlo per qualsiasi altra cosa: non conversa, non scrive prosa che valga la pena pubblicare, non gestisce 119 lingue come fa il suo modello base, e non ha alcuna capacità documentata al di fuori dell'unica trasformazione per cui è stato addestrato.

Scegli Beam 1.0 se il lavoro è di tipo agentico generale — risolvere problemi in repository di grandi dimensioni, pilotare strumenti, eseguire piani lunghi a più passaggi — e se disponi dell'hardware o di un partner di servizio per un MoE da 501B. Il contesto da 1M token, la tabella di valutazione pubblicata e il checkpoint a quattro bit sono tutti pensati per quel carico di lavoro. Prevedi un budget per i token di ragionamento: il template non ha un interruttore di disattivazione, il valore predefinito servito è il livello di impegno massimo, e la rimozione del ragionamento dei turni precedenti è documentata come causa di degrado dell'output.

Scegli entrambi se stai costruendo la pipeline di cui questo articolo parla davvero. Il pattern che ha senso è un modello generale per fare il lavoro ambiguo e uno specialista verificabile per fare la parte con un gate — e i due ruoli falliscono in modi diversi, che è l'unica ragione per cui vale la pena averli entrambi.

Dove questo confronto apparirà diverso tra tre mesi

Mancano due righe ed entrambe sono databili. La prima è una valutazione indipendente dei pesi di Beam 1.0, diventata possibile il 16 ottobre 2026 e non ancora avvenuta; ogni cifra che questa pagina attribuisce a Reflection è ancora a fonte unica. La seconda è il prezzo di Beam. Un modello con una tabella di valutazione da 501 miliardi di parametri e nessuna tariffa a consumo è un modello per cui la maggior parte dei team non può preventivare una spesa, e finché Reflection o un partner di serving non ne pubblica una, il confronto onesto dei costi tra questi due è un download contro un noleggio che non è stato quotato.

Il divario di MathForm 8B è diverso e non si colmerà aspettando. Le sue cifre riportate dell'88,06% di controllo sintattico e del 72,37% di coerenza sono numeri di un fornitore su un compito con un verificatore, e la verifica è il prodotto: chiunque abbia il modello e un'installazione di Lean può misurarla da sé, il che è più di quanto si possa dire per la maggior parte dei numeri in questa pagina. Questo è ciò che ti offre un contratto ristretto.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.