Nanbeige4.3-33B vs Gemma 4 26B-A4B: un insegnante senza endpoint contro un cavallo da lavoro a sei centesimi

Confrontare Nanbeige4.3-33B con Gemma 4 26B-A4B su un benchmark è la mossa sbagliata come primo passo, e il motivo non è che i numeri siano vicini o distanti. È che solo uno di questi due modelli ha un prezzo. Gemma 4 26B-A4B è un modello ospitato su OrcaRouter a $0,06 per milione di token in input e $0,33 per milione di token in output, con una finestra di 262.144 token e un tempo mediano al primo token (p50) di 826 millisecondi. Nanbeige4.3-33B non ha endpoint, né tariffario, né fornitore di inferenza indicati nel suo repository: il suo costo è quattro GPU e la tua bolletta elettrica.

La vera domanda, quindi, non è quale modello ottenga un punteggio più alto. È se il divario di capacità tra un teacher denso da 33 miliardi di parametri e un mixture-of-experts da 26 miliardi che attiva 3,8 miliardi di parametri per token valga la pena di passare da una voce di costo a consumo a una voce in conto capitale. È una domanda a cui si può rispondere con l'aritmetica, e l'aritmetica è meno lusinghiera per il modello più grande di quanto suggerisca la tabella dei benchmark.

Il punteggio dell'indice non ha un numero di partner

Nanbeige4.3-33B si colloca al 20° posto nell'Artificial Analysis Intelligence Index v5.0.1. Gemma 4 26B-A4B non ha alcun punteggio v5: la sua pagina Artificial Analysis indica il composito come N/A, dichiara "Sconosciuto su 4 unità per Intelligence" e segnala che non esiste un'API pubblicamente disponibile con cui eseguire l'harness attuale. Qualunque punteggio abbia ottenuto su un indice precedente appartiene a una rubrica che non esiste più.

Quei due dati non possono essere sottratti l'uno dall'altro. L'indice v5 è un insieme di valutazione diverso e ribasato rispetto ai suoi predecessori, e un modello che ha ottenuto un buon punteggio con la vecchia metodologia non finirebbe necessariamente neanche lontanamente nello stesso punto con quella nuova. Chiunque vi mostri un confronto «20 contro qualunque cosa Gemma abbia ottenuto l'anno scorso» sta confrontando due esami diversi. L'affermazione onesta è che Gemma 4 26B-A4B non è misurato sul composito attuale e Nanbeige4.3-33B è misurato a 20, e finché entrambi non compaiono su v5 non c'è alcun delta di indice da citare.

Ciò che esiste su un harness condiviso è Terminal-Bench. Artificial Analysis ha eseguito Gemma 4 26B-A4B al 39,0% su Terminal-Bench 2.1. Ha eseguito Nanbeige4.3-33B al 29,8% su Terminal-Bench 4.0 — un benchmark diverso e più difficile, quindi anche in questo caso non si tratta di un delta. La scheda di Nanbeige stessa dichiara 80,9 su Terminal-Bench 2.1 per Nanbeige4.3-33B contro 73,0 per Qwen3.8-27B, ma quella riga è dichiarata dal fornitore con un harness Terminus 2 e non è stata riprodotta in modo indipendente. Leggilo come "Nanbeige ritiene di essere forte qui", non come un numero.

Che cosa ciascun modello è effettivamente progettato per fare

L'architettura ti dice più di quanto facciano i benchmark, perché i due design sono ottimizzati per vincoli opposti.

• Struttura — Nanbeige4.3-33B ha 33,1B di parametri, tutti densi, attivati su ogni token. Gemma 4 26B-A4B è 25,2B in totale con circa 3,8B attivi per token, un rapporto di 6,6:1.

• Memoria per i pesi — 66,3 GB in bfloat16 per Nanbeige4.3-33B su quattordici shard. Gemma 4 26B-A4B entra in circa 18 GB a 4 bit, ovvero una singola scheda consumer.

• Contesto — 524.288 token nativi per Nanbeige4.3-33B, senza scaling applicato, contro i 262.144 di Gemma 4 26B-A4B. Entrambi sono serviti a 262K su OrcaRouter per il modello Gemma.

• Modalità — testo in input, testo in output, inglese e cinese, per Nanbeige4.3-33B. Gemma 4 26B-A4B accetta in input testo, immagini e video e restituisce testo, il che chiude il confronto per qualsiasi pipeline che legga screenshot.

• Licenza — Apache 2.0 su entrambi, quindi la posizione legale è identica e la decisione è puramente tecnica ed economica.

Ragionamento — entrambi vengono forniti con il pensiero attivo per impostazione predefinita ed entrambi espongono un modo per ridurlo. Nanbeige4.3-33B consiglia un limite massimo di 262.144 token per il ragionamento e di 65.536 per il lavoro agentico; Gemma 4 26B-A4B limita l'output molto più in basso nella pratica, circa 33K token sulla maggior parte dei percorsi.

Quell'ultima coppia è il nodo cruciale. Il modello Nanbeige è progettato per durare a lungo — lunghe sessioni da terminale, lunghe traiettorie di agenti, lunghe catene di ragionamento — e ognuno di quei token ti costa tempo di GPU alle tariffe dei modelli dense. Il modello Gemma è progettato per essere economico per token, ed è per questo che Google può offrirlo con 3,8B attivi e che costa sei centesimi avviare una conversazione.

Un esempio concreto, perché questa è una decisione di costo

Prendi un'attività che legge 20.000 token di input e produce 3.000 token di output, ed eseguila mille volte al giorno.

Su Gemma 4 26B-A4B nel listino OrcaRouter, ogni chiamata costa 20.000 × $0,06 per milione per l'input — $0,0012 — più 3.000 × $0,33 per milione per l'output — $0,00099. Sono $0,00219 per chiamata, ovvero $2,19 per mille chiamate, o circa $66 al mese a quel volume.

Su Nanbeige4.3-33B non c'è un prezzo per chiamata da calcolare, perché non c'è alcuna chiamata. Serve hardware. In bfloat16 i soli pesi occupano 66,3 GB, che non stanno su una singola scheda da 80 GB insieme a una KV cache utile quando il contesto cresce: ogni token nella cache costa circa 208 KiB, quindi una conversazione da 32K token aggiunge all'incirca 6,5 GiB per sequenza. Il parallelismo tensoriale a quattro vie è la configurazione ipotizzata dalla scheda tecnica di Nanbeige stessa, ed è il minimo per un deployment serio, prima ancora di contare il secondo nodo necessario per la ridondanza.

Mettili a confronto diretto e la conclusione onesta è che i due modelli non sono sostituti a basso volume. Sotto qualche milione di token al giorno, Gemma 4 26B-A4B costa un ordine di grandezza in meno, e il divario agentico dovrebbe essere enorme per colmarlo. Al di sopra di quel volume, il costo fisso dell'auto-hosting si ammortizza e il confronto diventa reale — ed è proprio allora che la forza del 33B sulle attività a lungo orizzonte inizia a contare.

Dove il modello denso dimostra il suo valore

La tesi a favore di Nanbeige4.3-33B non è «è migliore». È «fa una cosa specifica che il modello a basso costo svolge male», e i numeri indipendenti indicano quale cosa.

Terminal-Bench 4.0 al 29,8% è, secondo la classifica di Artificial Analysis, il 56º miglior risultato tra tutte le configurazioni su quel benchmark. Non è un numero da titolo. È però circa cinque volte quello che Qwen3.8-27B riesce a ottenere con la sua impostazione di ragionamento più alta sullo stesso harness, ed è un benchmark costruito attorno a lavoro da terminale a lungo orizzonte — il tipo di compito in cui un modello che si arrende presto ottiene zero, indipendentemente da quanto bene ragioni.

La stessa forma emerge nei dati di calibrazione. Nanbeige4.3-33B ottiene un'accuratezza dell'11,7% su AA-Omniscience ma un 81,8% di non-allucinazione, settimo sull'intero sito. In un ciclo agentico, un modello che dice "non lo so" invece di inventare un percorso vale più di uno che è cinque punti migliore sulle curiosità e fabbrica quando finisce la strada. Le cifre di calibrazione equivalenti di Gemma 4 26B-A4B non sono pubblicate sul composito attuale, quindi questa è un'affermazione su Nanbeige, non un confronto.

La parte che decide per la maggior parte dei team

Entrambi i modelli sono raggiungibili con un'unica chiave se vuoi mettere alla prova l'argomentazione invece di leggerla. Gemma 4 26B-A4B è nel catalogo OrcaRouter al prezzo indicato sopra, con una finestra di 262K e routing con zero-data-retention disponibile sullo stesso endpoint. Nanbeige4.3-33B non è nel catalogo — non lo ospitiamo, e nulla di quanto scritto qui va inteso come un'affermazione che lo facciamo.

In pratica, questa asimmetria significa che il lato economico di questo confronto è un esperimento da cinque minuti e il lato costoso è una procedura di approvvigionamento. Se il tuo carico di lavoro è multimodale, o il tuo volume è inferiore a qualche milione di token al giorno, o ti serve una risposta questa settimana, Gemma 4 26B-A4B vince solo sulla disponibilità e la questione del benchmark non si pone nemmeno.

Se il tuo carico di lavoro è l'automazione terminale a lungo orizzonte, sai già che un modello con 4B attivi perderà il filo da qualche parte nella seconda ora, e il 29,8% è il numero che ti interessa. Poi la domanda diventa se puoi permetterti quattro GPU, e nessun benchmark può rispondere al posto tuo.