Nanbeige4.3-33B ha ottenuto il suo primo dato esterno: 20, allo stesso livello di Qwen3.8-27B, e due volte più loquace.

Per due settimane l'unica prova che Nanbeige4.3-33B fosse bravo in qualcosa è arrivata da una tabella di venti righe che il laboratorio ha scritto su se stesso. Il 5 novembre le cose sono cambiate: Artificial Analysis ha inserito Nanbeige4.3-33B nel suo Intelligence Index v5.0.1 con 20, lo stesso punteggio che assegna a Qwen3.8-27B alla sua impostazione di ragionamento più alta — 20 sul composito, 20.1 per il modello Qwen nell'esecuzione v5.0 sottostante. Un decimo di punto è inferiore al rumore tra due valutazioni dello stesso checkpoint, quindi i due sono in parità assoluta sull'unico composito pubblico che misura entrambi.

Quello è il numero che il rilascio aspettava, ed è la cosa meno interessante della misurazione. Il composito nasconde un modello le cui due metà puntano in direzioni opposte: una metà agentica che è molto avanti rispetto al modello Qwen che doveva battere, e una metà conoscitiva che è misurabilmente indietro rispetto a esso. Nasconde anche il fatto che Nanbeige4.3-33B ha speso 160 milioni di token in output per arrivare a quel 20 — più del doppio di quanto consuma il modello mediano nella sua classe di confronto, e abbastanza da collocarlo all'ultimo posto su otto nella misura di verbosità di Artificial Analysis.

Quindi la lettura onesta di questo rilascio non è più "non verificata". È "verificata, e più strana di quanto suggerisse la tabella del fornitore". Ecco cosa dice effettivamente l'esecuzione indipendente, dove concorda con i numeri di Nanbeige stesso, e l'unico punto in cui la misurazione esterna è risultata superiore rispetto a quanto dichiarato dal laboratorio stesso.

Cosa significa 20 e cosa non significa

Artificial Analysis colloca Nanbeige4.3-33B al primo posto su nove nella propria classe di confronto, rispetto a una mediana di classe di 10. Tale classe è costituita dai nove modelli open-weight di dimensioni simili con cui viene confrontato, e il sito dichiara separatamente di includere 144 modelli nella più ampia coorte comparabile. Vale la pena tenere presenti entrambi i gruppi contemporaneamente: rispetto ai modelli open-weight all'incirca della sua dimensione è quanto di più forte sia stato misurato, mentre rispetto all'intero panorama — inclusi i modelli chiusi di frontiera e il meglio di Qwen, DeepSeek e Anthropic — un punteggio di 20 è un risultato solido da metà classifica.

Quel divario tra #1-of-9 e un punteggio di metà classifica vale la pena di essere mantenuto, perché è esattamente il divario che si perde quando un rilascio viene riassunto come "batte Qwen". Un modello open-weights da 33B che si piazza a metà classifica in una graduatoria composita dominata da modelli diverse volte più grandi è un risultato genuino. Non è un risultato di frontiera, e nulla nel vocabolario di questo rilascio dovrebbe lasciar intendere il contrario.

Ciò che l'indice non include è il prezzo. Non c'è un prezzo, perché non esiste un endpoint ospitato: Artificial Analysis registra «Nessuna API disponibile pubblicamente», la mappatura dei provider di inferenza di Hugging Face per il repository è vuota, e ogni tracker che riporta il modello indica il costo come non disponibile. Il tuo costo è l'hardware.

Le due metà del modello non concordano

Artificial Analysis non pubblica un unico numero, e i sottopunteggi sono il punto in cui questo modello diventa leggibile. Leggeteli come due colonne.

• Terminal-Bench 4.0 (harness di Artificial Analysis) — Nanbeige4.3-33B 29,8%, classificato 56º tra tutte le configurazioni della classifica. Qwen3.8-27B a xhigh ottiene il 5,6% sullo stesso harness.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, all'81º posto. Qwen3.8-27B in xhigh ottiene 14,9%, quindi il benchmark sulla qualità del codice va nella direzione opposta.

• AA-Omniscience v1.1 — Nanbeige4.3-33B totalizza −4,4 con un'accuratezza dell'11,7%. Qwen3.8-27B a xhigh totalizza −6,4 con un'accuratezza del 17,3%. Qwen sa di più; Nanbeige ottiene un risultato netto migliore perché rifiuta di rispondere più spesso.

• Non allucinazione AA-Omniscience — Nanbeige4.3-33B 81,8%, classificato 7º sull'intero sito. Qwen3.8-27B a xhigh ottiene 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, classificato 82º. AA-Briefcase v1.1 — 1.162, classificato 90º. Terminal-Bench-Science 0.1 — 0,9%, classificato 89º.

• HLE-Diamond — 6,9%, classificato 117º. CritPt v2 sottoinsieme difficile — 15,5%, classificato 85º. GDP.pdf — 11,2%, classificato 135º.

Lo schema in quelle righe è coerente. Dove il compito è "usare un terminale a lungo e non fermarsi presto", questo modello ottiene circa cinque volte il punteggio del modello Qwen. Dove il compito è "conoscere un fatto", è indietro — e dove il compito è "conoscere un fatto o dire di non saperlo", è davanti a quasi tutto nella classifica, con l'81,8% di non allucinazione.

Quella combinazione non è un caso dovuto al tuning. È l'aspetto che ha un modello costruito per generare traiettorie di agenti quando gli si punta contro un benchmark di conoscenza. Un modello insegnante che inventa fatti è un insegnante che avvelena i dati di addestramento dello studente, quindi la calibrazione conta più del richiamo nella pipeline che Nanbeige dice di stare costruendo. Che questo compromesso sia stato deliberato o emergente, è la cosa più difendibile del rilascio.

Il problema della verbosità è un problema di costi sotto mentite spoglie

Artificial Analysis riporta che Nanbeige4.3-33B ha generato 160 milioni di token di output durante la valutazione sull'Intelligence Index. Il modello mediano nella sua classe di confronto ne ha generati 77,7 milioni. Nella classifica di verbosità del sito si trova all'ultimo posto, #8 su 8 in quella classe, a circa 2,06 volte la mediana. Il volume di input è stato di 15,4 miliardi di token, il che porta il rapporto output-input a 1,034%.

Ne conseguono due cose. La prima è che il 20 è stato costoso da acquistare. Se paghi per token in qualsiasi contesto, un modello che emette il doppio dei token per lo stesso punteggio composito costa circa il doppio per unità di capacità misurata, e l'indice non normalizza questo aspetto. La seconda è che la verbosità è un problema di latenza prima che di denaro: un modello denso da 33B sulle tue GPU che produce il doppio dei token impiega il doppio del tempo a completare un'attività.

Le impostazioni consigliate da Nanbeige stessa spiegano in parte il fenomeno, ma non lo giustificano del tutto. La scheda richiede un tetto di 262.144 token per il ragionamento e la chat, 65.536 per il lavoro agentico, con il pensiero attivo per impostazione predefinita. Qualsiasi modello a cui venga detto che può pensare per un quarto di milione di token ne userà alcuni. Ma la mediana della classe è un confronto equo — anche gli altri modelli dietro lo stesso indice sono modelli di ragionamento — e il multiplo di 2,06× sopravvive a questo controllo.

Per una distribuzione self-hosted, la soluzione pratica è un budget, non un cambio di modello: limita i max new token per attività e misura il tuo tasso di successo a 8K, 16K e 32K prima di dare per scontato che le impostazioni predefinite della scheda siano quelle giuste per il tuo carico di lavoro. La maggior parte delle attività agentiche non migliora oltre un certo punto, e questo modello non ti dirà dove si trova quel punto.

L'unica riga in cui il test esterno ha superato il dato del fornitore

La scheda del modello di Nanbeige dichiara Terminal-Bench 4.0 a 23,8 per Nanbeige4.3-33B contro 6,3 per Qwen3.8-27B. Artificial Analysis ha misurato 29,8. Il numero indipendente è di sei punti più alto rispetto a quello che il laboratorio ha pubblicato su di sé.

È abbastanza insolito da meritare di essere detto chiaramente, perché il tipico modo di fallire in questo settore va nella direzione opposta — i laboratori riportano il miglior numero prodotto dal proprio scaffold, e le riesecuzioni esterne risultano più basse. Il fatto che un fornitore sottostimi il proprio punteggio agentico suggerisce o un harness diverso dalla sua parte, o un’affermazione deliberatamente conservativa, o una tabella costruita prima del checkpoint finale. Nessuna di queste cose è negativa; tutte significano che la tabella del fornitore non è un tetto e non dovrebbe essere letta come tale.

Non ne consegue che ogni riga di fornitore sia affidabile. Le affermazioni più rilevanti nella tabella di Nanbeige — DeepSWE a 65,5 contro il 42,5 di Qwen, SWE-Atlas-QnA a 50,8 contro 41,9 — non hanno ancora una controparte indipendente, e entrambi sono benchmark sensibili allo scaffold, dove la scelta dell'harness sposta i punteggi più della qualità del modello. Ciò che il risultato di Terminal-Bench stabilisce è più circoscritto e più utile: la direzione agentica dell'affermazione è reale. La magnitudine su qualsiasi singola riga resta non verificata.

Dove questo lascia un team che vuole provarlo

Nulla è cambiato per quanto riguarda l'accesso. Non c'è alcun endpoint da chiamare, nessun listino prezzi e nessuna presenza tra i provider — i pesi sono su Hugging Face con licenza Apache 2.0 e il percorso di serving è vLLM, SGLang o Transformers su hardware di tua proprietà. Il checkpoint bfloat16 è di 66,3 GB distribuito su quattordici shard e, con una finestra di contesto di 512K, la sola KV cache arriva a circa 104 GiB, ed è per questo che la configurazione operativa è il tensor parallelism a quattro vie anziché un'unica scheda di grandi dimensioni.

Quello che è cambiato è che ora puoi saltare la parte costosa della due diligence. Prima di questa settimana, valutare Nanbeige4.3-33B significava predisporre quattro GPU per scoprire se le asserzioni agentiche reggevano il confronto con un harness neutrale. Il 29.8 su Terminal-Bench 4.0 risponde alla prima domanda — la direzione è giusta — e il dato sulla verbosità risponde a una domanda che nessuno si stava ponendo, cioè quanto ti costerà il modello in token per ogni attività completata.

Se vuoi un termine di paragone che puoi effettivamente chiamare oggi, Qwen3.8-27B è il controllo naturale: stesso punteggio composito, prezzo pubblicato e una finestra da 262K. Gira su OrcaRouter a $0,33 per milione di token in input e $2,40 per milione di token in output, sulla stessa chiave del resto del catalogo, con i prezzi di listino dei provider applicati senza ricarico. Eseguire il tuo set di attività su un modello ospitato e su uno self-hosted dietro un'unica regola di routing è il modo più economico per scoprire se un checkpoint dense da 33B sul tuo hardware batte un 27B che noleggi a token — ed è una domanda a cui l'Intelligence Index non può rispondere per te, perché non sa quali siano le tue attività né quanto costino le tue GPU.

Le cose ancora davvero sconosciute sono limitate. Se Nanbeige4.3-3B, il target di distillazione che questo modello ha il compito di insegnare, erediti una qualche parte della calibrazione. Se la verbosità sopravviva allo studente, dato che un modello piccolo che emette 2× token è un errore molto meno costoso. E se il risultato sulla non-allucinazione regga al di fuori dell'harness Omniscience, perché 81,8% è un numero notevole e i numeri notevoli meritano un secondo sguardo prima che qualcuno ci costruisca una pipeline sopra.