Nanbeige4.3-33B vs Gemma 4 31B: cosa significa davvero un divario di 33 punti nella tabella del fornitore

Nella tabella di benchmark propria di Nanbeige4.3-33B, Gemma 4 31B ottiene 0.0 su Terminal-Bench 4.0. È la riga da cui iniziare, perché ti dice come leggere ogni altro numero in questo confronto. Gemma 4 31B è il rilascio open-weight da 30,7 miliardi di parametri di Google DeepMind, scaricabile con licenza Apache 2.0 dal 2 aprile 2026, e i materiali di Google stessa gli attribuiscono 86.4 su τ²-bench tool use e 80.0 su LiveCodeBench v6. Un modello così non fallisce in tutti i compiti da terminale esistenti. Uno zero è quello che ottieni quando un benchmark non riesce a distinguere "non poteva" da "non gli è mai stato fornito un ciclo di tool funzionante".

Nanbeige4.3-33B, per contro, ha due giorni. Il suo repository è stato creato il 24 ottobre 2026 alle 02:49 UTC, la sua model card è l'unico annuncio fatto da Nanbeige, e la tabella di 20 righe su quella card è l'unica fonte per ogni numero attualmente in circolazione al riguardo. Gemma 4 31B compare in quella tabella come una di tre colonne di confronto. Nessun laboratorio indipendente ha messo a confronto questi due modelli, e nessuno dei due fornitori ha eseguito benchmark sull'altro al di fuori di questa unica tabella. Quindi la versione onesta di questo confronto non è un tabellone dei punteggi. È un'argomentazione su quali righe superano lo scrutinio e quali stanno misurando l'harness.

Cosa è realmente ciascun modello

Le due versioni sono distanti sei mesi e mezzo, e le ipotesi progettuali lo dimostrano.

• Parametri — Nanbeige4.3-33B è un modello denso da 33,1B (33.118.977.024 in BF16), con ogni parametro attivo su ogni token. Gemma 4 31B è un modello denso da 30,7B. Nessuno dei due è un mixture of experts, quindi il throughput scala con il numero completo dei pesi su entrambi i fronti.

• Contesto — Nanbeige4.3-33B offre 524.288 token nativamente. Gemma 4 31B ne offre 262.144. Entrambi sono insolitamente grandi per la classe di parametri; quello di Nanbeige è il doppio.

• Modalità — Nanbeige4.3-33B è testo in ingresso, testo in uscita, inglese e cinese. Gemma 4 31B accetta immagini oltre al testo, è stato preaddestrato su oltre 140 lingue e include la chiamata di funzione nativa e una modalità di pensiero configurabile.

• Licenza — entrambe sono Apache 2.0. Questo è il raro confronto in cui la questione della licenza è già risolta prima di iniziare.

• Pesi su disco — Nanbeige4.3-33B è circa 66GB in BF16 e all'incirca 20GB a 4-bit. Gemma 4 31B è nella stessa fascia. Nessuno dei due è un modello per laptop; entrambi sono modelli per singola workstation o singolo nodo.

L'unica cosa che non è sullo stesso piano è la distribuzione. Gemma 4 31B dispone di un'API gestita, di un endpoint che Artificial Analysis attualmente elenca a costo zero, e di una copertura indipendente. Nanbeige4.3-33B ha i pesi, una model card e — per usare le parole della card stessa — nessun provider di inferenza che lo metta in produzione. Questa asimmetria non è un giudizio sulla qualità, ma cambia quanto costa «provare».

La colonna del fornitore e la scheda di Google stesso non concordano

Due righe nella tabella di Nanbeige possono essere confrontate con i dati pubblicati da Google, e solo una di esse corrisponde.

• AIME 2026 — Nanbeige attribuisce a Gemma 4 31B un punteggio di 89.2. Google riporta 89.2. Corrispondenza esatta.

• GPQA Diamond — Nanbeige attribuisce a Gemma 4 31B 91,3, ed è l'unica riga in cui Gemma supera il 89,5 proprio di Nanbeige. Il dato pubblicato da Google per il modello è 84,3. Si tratta di una discrepanza di sette punti, e nessuna delle due schede spiega la configurazione alla base.

Quella seconda riga merita attenzione perché è l'unico punto in cui la tabella del fornitore regala una vittoria all'avversario. Se il numero proviene da una nuova esecuzione con il massimo sforzo di ragionamento, è un risultato legittimo e Gemma è davvero in vantaggio sulle domande scientifiche di livello universitario. Se invece proviene da una valutazione configurata diversamente, la tabella sta confrontando due Gemma diverse. In ogni caso, la frase "Gemma vince GPQA", ripetuta in ogni resoconto secondario di questa settimana, si basa su un dato che Google non pubblica.

Il resto della colonna Gemma è più difficile da verificare perché Google riporta benchmark diversi. La tabella di Nanbeige colloca Gemma a 18,6 su Tau3-Bench; la scheda di Google la colloca a 86,4 su τ²-bench. Si tratta di versioni diverse della famiglia di benchmark, quindi non sono in contraddizione — ma non costituiscono nemmeno un confronto, e il divario di 68 punti tra di esse è una stima ragionevole di quanto la scelta dell'harness e della versione possa spostare il punteggio di un singolo modello.

Leggere correttamente gli zeri

Tre righe nella colonna Gemma sono quasi a zero: 0,0 su Terminal-Bench 4.0, 2,7 su DeepSWE e 3,3 su SWE-Atlas-QnA. Sono le righe che circolano sui social media, e sono i numeri meno informativi della tabella.

Un risultato quasi nullo in un benchmark agentico ha almeno tre possibili cause: il modello non riesce a completare l'attività, il modello non riesce a pilotare gli strumenti forniti dall'harness, oppure l'harness è stato tarato per un template di chat e un formato di chiamata degli strumenti diversi. La scheda di Nanbeige specifica esplicitamente che i suoi risultati hanno usato Terminus 2 per Terminal-Bench 2.1 e mini-swe-agent v2.4.6 per Terminal-Bench 4.0, DeepSWE e SWE-Atlas-QnA. Non dice se a Gemma 4 31B sia stato fornito lo stesso scaffold con il proprio formato di chiamata degli strumenti, oppure se sia stata inserita in quello orientato all'XML di Nanbeige. Queste possibilità producono numeri molto diversi, e solo una di esse riguarda il modello.

Questo non è un motivo per scartare il risultato di Nanbeige. Nanbeige4.3-33B è stato costruito attorno al coding agentico — la sua scheda raccomanda un formato XML per le chiamate agli strumenti, preserve_thinking=true per l'uso multi-turno degli strumenti e una temperatura di 1.0 per le attività agentiche — quindi non sorprende che si comporti bene all'interno di un harness costruito per esso. È un motivo per considerare la colonna Gemma come un limite inferiore anziché un verdetto.

I benchmark sull'asimmetria non prezzano: immagini

Gemma 4 31B accetta immagini. Nanbeige4.3-33B no. Quella singola frase decide più distribuzioni reali di qualsiasi riga della tabella.

Se il tuo agente legge screenshot, fatture, grafici, moduli scansionati o stati dell'interfaccia utente, Nanbeige4.3-33B non è un candidato, qualunque sia il punteggio di benchmark. Ti servirebbe un modello di estrazione separato davanti a esso, con la propria latenza, il proprio costo e le proprie modalità di errore, e la qualità della pipeline sarebbe quindi quella del modello di estrazione anziché quella del 33B. Gemma svolge quel passaggio in modo nativo, e i valori pubblicati da Google di 76,9 su MMMU-Pro e 85,6 su MATH-Vision suggeriscono che lo faccia in modo competente anziché cerimoniale.

Viceversa, se il lavoro è solo testo — codice, log, documenti lunghi, tracce di strumenti su più turni — la capacità di gestire le immagini è un peso morto che paghi a ogni passaggio in avanti. È il caso per cui Nanbeige è costruito, e rappresenta una quota rilevante del lavoro agentico.

512K contro 256K, e a cosa serve una finestra

La finestra da 524.288 token di Nanbeige è il doppio di quella da 262.144 di Gemma, ed entrambi i numeri sono abbastanza grandi che la differenza conta solo in specifiche forme di lavoro.

Una finestra da 256K contiene all'incirca il codice sorgente di un repository di medie dimensioni, ovvero diverse centinaia di pagine di testo. Una finestra da 512K ne contiene il doppio. Per un singolo documento lungo più una risposta lunga, entrambe sono sufficienti; per un agente che accumula output di strumenti nel corso di centinaia di turni, la finestra più grande ti garantisce più turni prima del riassunto o dell'eliminazione. La scheda di Nanbeige consiglia fino a 262.144 nuovi token per ragionamento e chat, il che suggerisce che il budget pratico per il ragionamento sia più vicino a 256K che ai 512K completi. Il limite massimo di output di Gemma è comunemente configurato a 131.072.

Nessuno dei due produttori pubblica qui un benchmark di richiamo su contesto lungo, quindi non c’è modo onesto di dire quale 512K o 256K venga sfruttato meglio. La dimensione del contesto è una dichiarazione di capacità, non di qualità, ed entrambe le schede si limitano a questo.

Quanto costa chiamare ciascuno

Gemma 4 31B è l'unico dei due che oggi puoi usare come servizio. Su OrcaRouter costa $0,13 per milione di token di input e $0,38 per milione di output, con input in cache a $0,02 — un pass-through del prezzo di listino del fornitore senza alcun ricarico aggiunto, motivo per cui anche una variazione di prezzo del fornitore arriva nel nostro catalogo lo stesso giorno in cui viene annunciata. Artificial Analysis attualmente indica l'endpoint di Google a $0,00 input e $0,00 output, il che quasi certamente riflette un livello promozionale o gratuito più che un prezzo duraturo; trattalo come canale di prova, non come voce di budget.

Nanbeige4.3-33B non ha un prezzo per token da citare. I pesi sono gratuiti con licenza Apache 2.0 e la scheda indica che nessun provider di inferenza distribuisce il modello. Eseguirlo significa quattro GPU con tensor-parallel size 4 secondo le stesse ricette vLLM e SGLang della scheda, tenute attive indipendentemente dall'arrivo o meno di richieste. Il costo marginale di un token è quindi la tua elettricità e il tuo tasso di utilizzo, non un listino prezzi. Chi confronta «$0.13 input» con «free» sta confrontando una bolletta con una spesa in conto capitale.

Questo è anche l'argomento pratico per mantenere un router nel flusso anche quando il nuovo modello è self-hosted. La decisione che la maggior parte dei team deve effettivamente affrontare non è "sostituire Gemma" ma "inviare il 5% del traffico alla nuova soluzione e vedere cosa succede". Mantenere il sistema attuale raggiungibile tramite un'unica chiave, con failover automatico se l'endpoint dell'esperimento smette di funzionare, trasforma quella scelta in una modifica di routing anziché in una migrazione.

Quando Gemma 4 31B è semplicemente la risposta giusta

Quattro condizioni lo risolvono senza una tabella di benchmark.

• Il carico di lavoro include immagini, PDF o screenshot. Gemma, senza discussione.

• Serve più che l'inglese e il cinese. Gemma è stata preaddestrata su oltre 140 lingue; Nanbeige ne elenca due.

• Non vuoi possedere GPU. Gemma oggi dispone di un endpoint gestito; Nanbeige ha i pesi e una ricetta di distribuzione.

• Serve una seconda opinione sulla qualità. Gemma ha un Artificial Analysis Intelligence Index di 15, che è modesto ma indipendente. Nanbeige non ha alcuna voce in proposito, quindi ogni numero che lo riguarda è il fornitore che si dà i voti da solo.

Capovolgi la prospettiva e il caso Nanbeige è altrettanto chiaro: lavoro agentico solo testuale, una lunga traccia degli strumenti, un team con GPU e la disponibilità a usare il formato XML per gli strumenti che raccomanda. Su quel tipo di lavoro, la tabella di Nanbeige stessa rivendica un vantaggio di 33,7 punti su Terminal-Bench 2.1 — 80,9 contro 47,2 — e un vantaggio di 62,8 punti su DeepSWE. Quei margini sono abbastanza ampi da contenere probabilmente un segnale reale anche dopo aver scontato il vantaggio dell'harness. Non sono abbastanza ampi da puntarci un percorso di produzione senza provarlo di persona.

Una gara di pasticceria pomeridiana batte questo tavolo

Se stai davvero scegliendo tra loro, il test è economico e non richiede di credere a nessuno dei due fornitori. Prendi venti attività reali dai tuoi log degli agenti. Esegui ciascun modello con il proprio formato consigliato di chiamata agli strumenti e le proprie impostazioni di ragionamento — XML per Nanbeige, chiamata a funzione nativa per Gemma — e valuta il completamento delle attività, non la somiglianza con i benchmark. Registra i token consumati per attività completata, perché un dense 33B e un dense 30.7B differiranno in verbosità anche a prezzi identici per token.

Ciò che scoprirai in un pomeriggio è se il margine agentico di Nanbeige sopravvive al suo stesso vantaggio di harness. Finché qualcuno non lo pubblica, il riassunto difendibile è più ristretto dei titoli: Gemma 4 31B è il modello più distribuibile e l'unico con un punteggio indipendente; Nanbeige4.3-33B è quello più ambizioso, con una finestra nativa da 512K e una serie di numeri agentici autodichiarati che sono impressionanti, non verificati e vecchi di due giorni.