Kolibri vs MathForm-8B: una di queste affermazioni di accuratezza può essere verificata da un compilatore

Kolibri e MathForm-8B condividono una licenza e quasi nient'altro. Entrambi sono Apache 2.0, entrambi sono a pesi aperti, entrambi sono stati rilasciati negli ultimi tre mesi — Kolibri di Aleph Alpha il 3 ottobre 2026, MathForm-8B di OpenBMB il 14 agosto 2026 — ed entrambi dedicano gran parte delle loro schede modello alla matematica. Qui finisce la somiglianza. Kolibri è un modello mixture-of-experts tedesco e inglese da 78,1 miliardi di parametri che attiva 3,46 miliardi di parametri per token ed è pensato per inserirsi in un flusso documentale regolamentato. MathForm-8B è un modello denso da 8 miliardi di parametri messo a punto a partire da Qwen3-8B con un solo compito: prendere un problema matematico scritto in inglese comune e produrne un enunciato Lean 4 formalmente corretto. La differenza che conta per chiunque valuti l'uno o l'altro non è il numero di parametri. È che l'affermazione di accuratezza di MathForm-8B è eseguibile. Puoi verificare il suo output con un compilatore. Quella di Kolibri non può essere verificata da nient'altro che da un'altra esecuzione di benchmark.

Quell'asimmetria è l'intero articolo, e si generalizza ben oltre questi due modelli. Una tabella di benchmark di un fornitore è un'affermazione. Un assistente di dimostrazione che accetta una formalizzazione è un risultato. Quando l'intero spazio di output di un modello è qualcosa che una macchina può verificare, lo strato di marketing scompare — o il compilatore Lean accetta l'enunciato o non lo accetta, e nessuna quantità di impostazione da post di lancio può cambiarlo.

MathForm-8B produce effettivamente

L'autoformalizzazione è un compito ristretto, poco appariscente e davvero difficile, e la model card è rinfrescante nella sua specificità riguardo al setup.

• Input e output — in ingresso una dichiarazione matematica in linguaggio naturale, in uscita una formalizzazione in Lean 4, completa di intestazione del teorema.

Modello base — Qwen/Qwen3-8B, ottimizzato con fine-tuning; Apache 2.0 con il resto della release di OpenBMB.

• Addestramento — fine-tuning supervisionato seguito da apprendimento per rinforzo sul dataset FormalVerse, con la compilazione Lean e il feedback di coerenza semantica che guidano il segnale di rinforzo.

• Pipeline dei dati — Recupero delle conoscenze di Mathlib, compilazione e verifica semantica, raffinamento iterativo, quindi ricostruzione della traiettoria. Il diagramma della pipeline sulla scheda del modello è la cosa più informativa del rilascio.

• Valutazione — Tassi di successo Pass@8 sotto due controlli separati, Syntax Check e Consistency Check, su sei benchmark, riportati come media macro a pesi uguali in una figura sulla scheda anziché come una tabella che possiamo citare riga per riga.

• Toolchain — un Kimina Lean Server in esecuzione per i controlli di compilazione, Lean 4.21.0 per gli esperimenti e una sequenza massima di 16.384 token con temperatura 0.6 e top-p 0.95.

• Serving — vLLM o SGLang con un contesto di 16.384 token, esposti tramite un'interfaccia chat compatibile con OpenAI. Quest'ultimo dettaglio conta più di quanto sembri, perché significa che il modello si inserisce in una pipeline esistente come un normale endpoint.

Nota i due controlli separati. Il controllo di sintassi riguarda se l'enunciato Lean viene analizzato sintatticamente e supera il controllo dei tipi. Il controllo di coerenza riguarda se l'enunciato formale significa la stessa cosa del problema in linguaggio naturale — una proprietà molto più difficile, perché un enunciato Lean sintatticamente valido che formalizza il teorema sbagliato è peggio di un errore di compilazione. OpenBMB li riporta entrambi, ed è esattamente il modo giusto di procedere ed è il motivo per cui questo compito ha una storia di verifica che il ragionamento generico non ha.

Che cosa fa Kolibri con la matematica, e perché è un tipo diverso di numero

Kolibri è bravo in matematica nel senso dei benchmark. Sull'harness di post-training di Aleph Alpha stesso, con sforzo di ragionamento elevato, ottiene 96,9 su AIME 2025 in inglese e 87,5 in tedesco, 96,0 e 90,0 su AIME 2026, e una media inglese di 96,5 nella sua suite di matematica contro 88,8 in tedesco. Per contesto, nella stessa tabella, il 96,9 di Kolibri su AIME 2025 in inglese si colloca sopra Nemotron 3 Super 120B-A12B a 91,7 e Qwen3.6 35B-A3B a 84,6, e appena sotto Qwen3.8 27B a 97,9.

Ognuno di quei dati è dichiarato dal fornitore, su un harness del fornitore, senza alcuna riproduzione indipendente, e non esiste una pagina di Artificial Analysis per Kolibri con cui fare un riscontro incrociato. Non è una critica ai numeri; è un'affermazione su che tipo di oggetto siano. Un punteggio AIME è una percentuale di risposte finali corrette in un esame a scelta multipla. Ti dice che il modello riesce ad arrivare a un numero intero. Non ti dice nulla sul fatto che il ragionamento che l'ha prodotto fosse valido, e non resta alcun artefatto che una terza parte possa ispezionare.

Messo accanto all'output di MathForm-8B, quel divario è stridente. Una risposta di Kolibri a un problema AIME è un numero. Un output di MathForm-8B è un enunciato di teorema in Lean 4 che o compila contro Mathlib o non compila. Se stai costruendo un sistema in cui un'affermazione matematica deve essere difendibile — una pipeline di verifica formale, un flusso di lavoro con assistente di dimostrazione, una traccia di audit — il secondo artefatto vale considerevolmente più del primo, e nessuna riga di benchmark lo esprime.

Dove i due si incontrerebbero effettivamente

Inquadrata come una sfida, questo confronto è poco interessante: uno specialista da 8B batte un generalista da 78B nella formalizzazione della matematica e perde in tutto il resto, inclusa la prosa amministrativa tedesca, il ragionamento su documenti con contesto lungo e il tool-calling lungo una traiettoria di un agente di cento passi. Ma i due non sono sostituti, e la domanda utile è che aspetto ha una pipeline costruita da entrambi.

La composizione naturale è quella di routing. Un generalista con un forte ragionamento e capacità di chiamata di strumenti gestisce l'ingestione, la disambiguazione e il recupero; uno specialista viene invocato per il due per cento dei casi che richiedono un artefatto formale. Farlo a mano significa due fornitori, due contratti, due SDK, due set di credenziali e un livello di dispatch che qualcuno deve mantenere. È il caso in cui un singolo endpoint si ripaga da solo: una chiave compatibile con OpenAI, una regola di routing che invia le richieste di forma matematica all'endpoint del formalizzatore e tutto il resto al generalista, e il failover quando uno dei due è lento. È il compito del DSL di routing — comporre diversi modelli in un'unica chiamata invece di cablare una scelta in fase di sviluppo — e dove è utile un pannello di modelli che rispondono insieme, ci pensa la fusione di modelli. Né Kolibri né MathForm-8B è su OrcaRouter oggi; abbiamo sondato il catalogo per entrambi con ogni grafia di fornitore e modello e nessuno dei due c'è. L'argomento della composizione riguarda la forma del problema, non questi due endpoint specifici.

Quello che sta a catalogo è la metà generalista di quel pattern a un prezzo misurabile. Qwen3.8-27B è listato a 0,33 $ per milione di token in input e 2,40 $ in output, con una finestra di 262.144 token, e Qwen3.8-Max a 2,00 $ e 6,00 $ con una finestra da 1M token. Per un team che valuta se valga la pena aggiungere del tutto uno step di formalizzazione a una pipeline documentale, l'esperimento economico consiste nell'instradare lì il lavoro generalista, misurare il volume di richieste che necessitano davvero di un artefatto Lean, e solo allora decidere se valga la pena predisporre un endpoint specialistico da 16.384 token. Il prezzo di listino del provider viene passato così com'è, senza aggiungere nulla per token, quindi i numeri cambiano il giorno stesso in cui un fornitore li cambia.

La licenza è l'unica riga in cui sono identici

Entrambi sono Apache 2.0 e, in una categoria in cui le licenze di ricerca su misura e le clausole di uso accettabile sono comuni, questo è un vero punto di parità che vale la pena menzionare — significa che nessuno dei due modelli richiede una revisione legale prima di poter essere usato commercialmente, modificato o ridistribuito.

Gli obblighi divergono altrove. Kolibri comporta un'occupazione di pesi di ~78 GB e un requisito hardware minimo di due schede A100 80 GB, due H100 SXM5, una H200, una B200 o una B300, più il pacchetto aleph-alpha-inference del fornitore e il plugin vLLM. MathForm-8B in bfloat16 pesa circa 16 GB e viene servito su un singolo acceleratore moderno con un contesto di 16.384 token; le sue dipendenze sono una toolchain Lean e, per la pipeline di valutazione, un Kimina Lean Server in esecuzione. Uno di questi deployment entra in una workstation. L'altro no.

I dati sul contesto vanno nella direzione opposta, e con un ampio margine. La finestra nativa di Kolibri è di 262.144 token, convalidata fino a 1.048.576, ed è ciò che ne fa un modello per documenti: un fascicolo normativo tedesco completo o un manuale di manutenzione aerospaziale entrano in una sola chiamata. MathForm-8B è limitato a 16.384 token per scelta progettuale, perché una richiesta di formalizzazione è un singolo enunciato di problema e non c'è motivo che sia più lungo. Nessuno dei due numeri è una carenza. Descrivono semplicemente compiti diversi.

Scegliere, e la domanda di verifica sottostante

• Scegli MathForm-8B se il tuo output deve essere verificabile. Se un sistema a valle utilizza Lean 4, o se l'intero scopo è che un assistente di dimostrazione convalidi il risultato, nessun generalista può sostituirlo, e sono i numeri Pass@8 sotto Syntax Check e Consistency Check quelli da interrogare, piuttosto che qualsiasi riga AIME.

• Scegli Kolibri se ti serve un unico modello che legge documenti in tedesco e inglese con contesto lungo, ragiona su di essi, chiama strumenti, si astiene quando il contesto non supporta una risposta e può essere distribuito all'interno del tuo perimetro con una licenza che puoi enunciare in una riga. La matematica è una capacità che ha, non un prodotto che è.

• Considerali entrambi se stai costruendo una pipeline di formalizzazione. Non come alternative, ma come due endpoint dietro un'unica regola di instradamento, con lo specialista chiamato in causa per la ristretta porzione di richieste che ne ha bisogno.

E se stai valutando l'uno o l'altro sulla base del valore di un benchmark, applica prima una verifica: chiediti quale artefatto lascia dietro di sé quel numero. Per MathForm-8B c'è un file Lean e un compilatore che o lo accetta o no, e puoi eseguire entrambi tu stesso questo pomeriggio. Per Kolibri c'è una percentuale in una tabella di lancio, dichiarata dal fornitore, non riprodotta, senza una pagina indice indipendente con cui confrontarla — e l'unico modo per falsificarla è scaricare 78 GB di pesi, affittare l'hardware e rieseguire l'harness. Quell'asimmetria vale più del punteggio stesso quando devi decidere cosa mettere in produzione.