AlphaProof Code vs MathForm-8B: due fasi della stessa pipeline Lean, non due rivali

Leggi attentamente il paper AlphaProof Code e salta all’occhio un numero che l’annuncio non mette in evidenza: delle quattro settimane che i cinque ricercatori di DeepMind hanno impiegato per verificare Signal, la parte che non poteva essere automatizzata era quella iniziale. Esperti umani hanno lavorato con una combinazione di modelli per tradurre gli obiettivi di sicurezza di Signal in specifiche formali Lean, e un esperto ha revisionato ognuna di esse prima che iniziasse qualsiasi lavoro di dimostrazione. Quello è il collo di bottiglia. MathForm-8B, il modello di autoformalizzazione da 8 miliardi di parametri di OpenBMB rilasciato su Hugging Face il 14 agosto 2026, è un tentativo diretto di automatizzare esattamente quel passaggio: prendere un’affermazione matematica in linguaggio naturale ed emettere un’enunciato di teorema in Lean 4 pronto perché qualcun altro lo dimostri. Mettili uno accanto all’altro e non stai confrontando due prodotti. Stai guardando due fasi consecutive di un’unica pipeline, separate dalla differenza tra matematica e sicurezza dei protocolli.

La pipeline, nell'ordine in cui avviene il lavoro

La verifica formale del software reale ha tre compiti. Primo, decidere ciò che deve essere vero e scriverlo in un linguaggio formale. Secondo, dimostrare che l'implementazione lo soddisfa. Terzo, controllare le dimostrazioni meccanicamente, perché una dimostrazione errata è peggio di nessuna dimostrazione.

MathForm-8B svolge il primo compito, per una ristretta classe di input: affermazioni matematiche in stile manuale. Dagli "per ogni numero reale x, x² non è negativo" e restituisce gli import, i tipi e un'intestazione di teorema in Lean 4. Ciò che non restituisce è una dimostrazione, e i suoi autori sono espliciti sul fatto che la ricerca della dimostrazione è un problema di qualcun altro. I numeri riportati, tutti dichiarati dal fornitore e non riprodotti, sono 88,06% di Pass@8 medio con un controllo sintattico e 72,37% con il controllo di coerenza più rigoroso su sei benchmark — il divario tra queste due cifre è la misura onesta di quanto spesso un'affermazione sintatticamente valida significhi qualcosa di diverso da ciò che è stato richiesto.

AlphaProof Code svolge il secondo e il terzo compito, oltre a una fase di specifica che MathForm-8B non era in grado di affrontare. Gli obiettivi di sicurezza di Signal non sono affermazioni matematiche nel senso in cui è stato addestrato MathForm; sono affermazioni su un protocollo — che i messaggi restino protetti prima e dopo che un dispositivo viene temporaneamente compromesso, che l'iniziatore e il risponditore siano chi dichiarano di essere. Convertirli in Lean richiedeva competenze sul protocollo che nessun autoformalizzatore da 8B possiede. Una volta prodotta la specifica, il lavoro di dimostrazione è stato affidato interamente agli agenti, e la verifica è stata affidata al kernel di Lean insieme a un agente guardiano che usa comparatore su una copia riservata della specifica.

Quanto ti costa davvero utilizzare ciascuno di essi

• Pesi — MathForm-8B: scaricabili, Apache 2.0, quattro shard safetensors in BF16, fine-tuned da Qwen3-8B. AlphaProof Code: nessuno. La release è uno sviluppo Lean, una semantica AArch64 e un binding libsignal su github.com/google-deepmind/code-verification.

• Esecuzione — MathForm-8B: Transformers, vLLM o SGLang, tutti che espongono un endpoint compatibile con OpenAI, su hardware di tua proprietà. AlphaProof Code: nessun endpoint, nessuna API, nessuna lista d'attesa, nessun prezzo; è un framework di ricerca che, secondo DeepMind, necessita di "ricerca continua" prima di poter scalare.

• Input — MathForm-8B: un enunciato matematico in linguaggio naturale. AlphaProof Code: una specifica formale più il binario che vuoi dimostrare rispetto a essa.

• Output — MathForm-8B: un enunciato di teorema in Lean 4, non dimostrato. AlphaProof Code: una dimostrazione verificata dalla macchina, o una confutazione quando il codice è errato.

• Revisione umana — MathForm-8B: esamini l'enunciato emesso e, con una coerenza del 72,37%, ne avrai molti da esaminare. AlphaProof Code: gli esperti esaminano ogni specifica prima che inizi il lavoro di dimostrazione, poi gli agenti segnalano circa l'1% della base di codice per un secondo esame.

• Limiti noti — MathForm-8B: solo enunciati matematici, nessuna generazione di dimostrazioni, e il repository del codice collegato nel suo README era ancora un segnaposto al momento del rilascio. AlphaProof Code: nessuna garanzia post-quantistica per il ripristino SPQR, nessuna privacy del payload, una sola sessione per promozione e un limite di falsificazione MAC che diventa vacuo vicino a 25.000 messaggi in una singola sessione.

Il divario che MathForm-8B dovrebbe colmare

È allettante dire che un autoformalizzatore avrebbe potuto scrivere le specifiche di Signal e risparmiare ai ricercatori le settimane di lavoro iniziale. La descrizione fornita dal paper dice il contrario, e la ragione è specifica. La specifica di un protocollo non è una riformulazione di un'affermazione; è una scelta relativa al modello di avversario. Il lavoro su Signal contiene un percorso simbolico in Dolev–Yao con un attaccante quantistico che viola Diffie–Hellman dopo l'handshake, e un percorso computazionale con avversari classici e un limite concreto. Questi due percorsi enunciano teoremi diversi sullo stesso codice, e scegliere tra loro è una decisione ingegneristica con conseguenze sulla sicurezza. Nessun modello addestrato a trasformare "dimostrare che x² ≥ 0" in Lean prenderà quella decisione.

Ciò che un autoformalizzatore potrebbe plausibilmente fare è la parte meccanica di quel lavoro: dato un obiettivo di sicurezza in prosa e una libreria di definizioni Lean esistenti, produrre una prima bozza dell'enunciato nell'idioma proprio del progetto, perché un esperto la corregga. Si tratta di un risparmio reale e molto più piccolo di quanto suggerisca il titolo. Il paper riporta un catalogo di deviazioni dalla specifica con oltre 200 voci computazionali e circa 35 simboliche — quindici delle quali lacune o bug nell'analisi del Double Ratchet — che è quanto ha trovato la fase di revisione umana. Un modello che redige enunciati andrebbe misurato rispetto a quel catalogo, non rispetto a un punteggio Pass@8 su benchmark matematici.

Dove i due numeri non sono affatto comparabili

L'88,06% di MathForm-8B e i 6,5 milioni di righe di AlphaProof Code misurano cose diverse e non dovrebbero mai essere inseriti nella stessa colonna. Il primo è un tasso di successo su una suite di benchmark costruita dagli autori; l'altro è una quantità di dimostrazioni prodotte per un singolo obiettivo. Il fornitore ammette apertamente che l'88,06% si basa su un controllo sintattico, che è un criterio debole — un'affermazione può compilare e comunque formalizzare l'asserzione sbagliata, ed è per questo che il valore di coerenza è inferiore di 16 punti.

La figura di AlphaProof Code con un sapore comparabile è il lavoro di validazione: due bug di Signal già corretti, un bug di stato debole e un bug del piccolo sottogruppo, sono stati reintrodotti in una copia isolata e, in entrambi i casi, il sistema ha prodotto una dimostrazione verificata dalla macchina che la versione difettosa non soddisfa il teorema di sicurezza. Questo è un test negativo, e un test negativo è ciò che manca del tutto a un benchmark per autoformalizzatori. MathForm-8B non riporta alcun risultato della forma "dato un enunciato deliberatamente errato, il modello lo ha detto".

Come li useresti effettivamente insieme

Concretamente, e questa è l'unica parte del confronto con un percorso a breve termine: usa un autoformalizzatore per redigere, un forte modello generalista per criticare la bozza e un agente di dimostrazione per tentare la prova. Ogni fase ha una modalità di errore diversa, e instradare tutte e tre attraverso un'unica chiave è la comodità pratica. Su OrcaRouter, più di 200 modelli si trovano dietro un'unica API al prezzo di listino del provider con 0% di ricarico, quindi un ciclo di stesura delle specifiche che invia lo stesso enunciato a due modelli e confronta i loro Lean è una chiamata al DSL di routing anziché tre contratti e tre SDK. Il failover automatico copre il caso in cui il modello scelto sta avendo una giornata no.

Quello che nessuno di questi elementi fornisce è la garanzia. MathForm-8B ti dà un enunciato, i modelli ti danno una critica, e qualcosa deve ancora dimostrarlo. Al momento l'unico sistema pubblicato che chiude quel ciclo su codice realmente in produzione è AlphaProof Code, e non è in vendita.

Il motivo per leggere entrambi gli articoli invece di scegliere un vincitore

MathForm-8B è un artefatto utile con un compito ristretto e un tetto di accuratezza reale e misurato. AlphaProof Code è una dimostrazione di flusso di lavoro il cui risultato più trasferibile non è il volume delle dimostrazioni ma la suddivisione: il lavoro di specifica richiede esseri umani e un forte modello generale, il lavoro di dimostrazione richiede team di agenti e un kernel, e il confine tra loro è dove risiede tutta la difficoltà. Chiunque costruisca una pipeline di verifica dovrebbe prendere sul serio questa suddivisione e trattare l'autoformalizzazione come il pezzo che riduce il costo della prima fase — non il pezzo che la sostituisce.

Il riepilogo onesto per un team che deve decidere cosa scaricare questo mese: MathForm-8B, sì, se lavori con Lean e vuoi un aiuto per la stesura. AlphaProof Code: leggi il repository degli artefatti e il catalogo delle deviazioni dalle specifiche, perché il catalogo ti dice di più su ciò che la verifica formale del codice di produzione ancora non riesce a raggiungere di quanto possa fare qualsiasi annuncio.