Nanbeige4.3-33B vs Qwen3.8 27B: Verifica dell'affermazione 18 su 20

Nanbeige4.3-33B supera Qwen3.8-27B su 18 benchmark su 20. È questa l'affermazione che circola su internet questa settimana, ed è tecnicamente ciò che dice la model card. È anche una frase con un denominatore, e il denominatore è la parte interessante. Di quelle 20 righe, 19 sono valutate a punti e una è una cifra in dollari; quattro delle 18 vittorie sono per meno di un punto; e almeno tre dei numeri di Qwen sembrano copiati dai risultati pubblicati da Qwen stessa anziché essere stati rieseguiti da Nanbeige. Niente di tutto ciò rende falsa l'affermazione. La rende più ristretta di quanto sembri.

{{1}}Il confronto è insolito perché Nanbeige ha scelto Qwen3.8-27B come suo sparring partner.{{/1}} {{2}}Qwen3.8-27B è stato rilasciato a metà agosto 2026, è un modello dense da 27,78 miliardi di parametri, Apache 2.0, multimodale in input e — a differenza di Nanbeige4.3-33B — ha un Artificial Analysis Intelligence Index indipendente di 34.{{/2}} {{3}}Quindi questo è l'unico confronto del lotto in cui l'avversario ha un punteggio verificato e il soggetto no.{{/3}} {{4}}Questa asimmetria è il miglior strumento che abbiamo per verificare la tabella.{{/4}}

Chi ha scritto l'affermazione e cosa contiene il denominatore

La tabella è di Nanbeige. È stata pubblicata sulla model card di Hugging Face di Nanbeige4.3-33B, in un repository creato il 24 ottobre 2026. Non c'è alcun post di blog di accompagnamento, nessun evento di lancio e nessuna riproduzione di terze parti. Ogni numero nella colonna Qwen, e ogni numero nella colonna Nanbeige, è stato prodotto o selezionato dal laboratorio che ha effettuato il confronto.

Le 20 righe coprono tre gruppi: coding agentico (Terminal-Bench 2.1 e 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cowork agentico (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) e ragionamento (GPQA Diamond, AIME 2026, AA-LCR). L'harness è divulgato con maggiore attenzione rispetto alla maggior parte delle schede dei fornitori: Terminus 2 per Terminal-Bench 2.1, mini-swe-agent v2.4.6 per Terminal-Bench 4.0, DeepSWE e SWE-Atlas-QnA, Claude Code per NL2Repo e JobBench, e GPT-6 Sol come giudice per SWE-Atlas-QnA. Questa divulgazione va a merito di Nanbeige. È anche il motivo per cui il confronto è più difficile da interpretare rispetto a un semplice conteggio delle vittorie.

Le due righe che Nanbeige perde

• SWE-Bench Pro — Qwen3.8-27B 61,7 contro Nanbeige4.3-33B 60,3. Un vantaggio di 1,4 punti per Qwen.

• GDPval — Qwen3.8-27B 86,4 contro Nanbeige4.3-33B 84,8. Un vantaggio di 1,6 punti per Qwen.

Queste sono le due righe che il titolo "18 su 20" liquida silenziosamente arrotondando, e indicano una direzione coerente. Entrambe sono benchmark di lavoro professionale ed economicamente rilevante: SWE-Bench Pro è la variante più difficile di ingegneria del software, e GDPval misura la qualità dei risultati su compiti occupazionali reali. Qwen vince entrambe con margini piccoli in termini assoluti ma stabili su due diverse famiglie di compiti. Se stai scegliendo tra questi modelli per lavoro professionale anziché per una classifica, queste sono due delle righe a cui dovresti dare maggior peso, e sono le due in cui il soggetto perde.

La scheda di Nanbeige non spiega le sconfitte. Non è tenuta a farlo: un fornitore ha tutto il diritto di pubblicare una tabella in cui vince. Ma il lettore dovrebbe notare che le sconfitte si concentrano esattamente là dove il benchmark è più vicino a «un professionista accetterebbe questo output?», e le vittorie là dove il benchmark è più vicino a «l'agente ha completato il ciclo?».

Vittorie che sono errori di arrotondamento

Quattro delle 18 vittorie si decidono per meno di un punto.

• Tau3-Bench — 48.8 vs 48.5. Tre decimi di punto.

• GPQA Diamond — 89,5 contro 89,2. Tre decimi.

• AIME 2026 — 95.2 vs 94.5. Sette decimi.

• EnterpriseOps-Gym — 41.0 vs 40.2. Otto decimi.

Altri due sono entro circa due punti: Toolathlon-Verified a 70,4 contro 68,5, e AA-LCR a 84,0 contro 82,0. Su benchmark di questa dimensione e varianza, un margine inferiore al punto non è prova di superiorità. È prova che due modelli sono nella stessa fascia. Una riformulazione equa del titolo sarebbe «Nanbeige è chiaramente in testa su 12 su 20, è in parità su 6 ed è in svantaggio su 2» — che resta comunque un risultato solido, e più utile.

Le grandi vittorie sono dove si trova il vero argomento. DeepSWE a 65,5 contro 42,5 è un divario di 23 punti. Terminal-Bench 4.0 a 23,8 contro 6,3 è 17,5. Automation Bench a 54,2 contro 38,3 è 15,9. DeepPlanning a 63,3 contro 49,2 è 14,1. YC-bench, un’attività denominata in dollari, riporta $1.025.437 contro $641.290. Non si tratta di arrotondamenti. Dicono che Nanbeige è migliore nell’esecuzione su lungo orizzonte e a più passaggi — il tipo di lavoro in cui un modello deve mantenere vivo un piano attraverso dozzine di chiamate agli strumenti. È una storia coerente, ed è coerente con il contesto nativo di 512K del modello e con le sue impostazioni consigliate orientate agli agenti.

Le colonne potrebbero non riferirsi allo stesso esperimento

Ecco l'osservazione che complica l'intera tabella. Tre valori di Qwen corrispondono esattamente ai numeri pubblicati da Qwen: Terminal-Bench 2.1 a 73,0, SWE-Bench Pro a 61,7 e GPQA Diamond a 89,2. Qwen li pubblica tutti e tre. Le righe che Qwen non pubblica — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — sono esattamente le righe in cui i margini di Nanbeige sono più ampi.

Quel pattern è coerente con due metodi diversi all’interno di un’unica tabella: numeri copiati per i benchmark che l’avversario aveva già pubblicato, esecuzioni ex novo per quelli che non aveva pubblicato. È un’inferenza, non un fatto divulgato — la card di Nanbeige afferma che tutti i modelli sono stati valutati con il massimo sforzo di ragionamento e con gli stessi parametri di inferenza e lo stesso harness, il che deporrebbe contro la copia. Ma la corrispondenza esatta su tre valori indipendenti è una coincidenza che vale la pena segnalare, e se la colonna Qwen è un misto, allora “18 su 20” confronta le esecuzioni di Nanbeige con quelle di Qwen su alcune righe e le esecuzioni di Nanbeige con quelle di Nanbeige su altre.

C'è un secondo problema, più sottile. Il modello di Nanbeige viene eseguito nell'harness raccomandato dalla sua scheda: chiamate agli strumenti XML, preserve_thinking=true, temperatura 1.0 per il lavoro agentico. La scheda non indica se a Qwen3.8-27B siano state date le sue impostazioni raccomandate oppure se sia stato inserito in quelle di Nanbeige. Se è vero il secondo caso, parte del divario di 23 punti su DeepSWE è una differenza di configurazione anziché una differenza di capacità. È lo stesso avvertimento che vale per ogni confronto tra fornitori, e non è un motivo per scartare il risultato — è un motivo per richiedere una nuova esecuzione neutrale prima di considerarlo una questione risolta.

Il punteggio indipendente che solo un modello ha

Artificial Analysis assegna a Qwen3.8-27B un punteggio di 34 sul suo Intelligence Index, misurato nella configurazione di ragionamento xhigh, con 45,2 token di output al secondo. La latenza varia in base al provider: la nostra pagina riporta un tempo p50 al primo token di 2,95 secondi, rispetto ai 3,8 secondi misurati da Artificial Analysis sull'endpoint campionato. Tale indice è un composito di dieci valutazioni, tra cui Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA e AutomationBench-AA — diverse delle stesse famiglie di benchmark che Nanbeige riporta autonomamente.

Nanbeige4.3-33B non ha una voce in Artificial Analysis. Non è uno scandalo; il modello ha due giorni. Ma significa che i due lati di questo confronto non sono epistemicamente equivalenti. Il 34 di Qwen è un numero misurato da qualcun altro. L'80,9 di Nanbeige su Terminal-Bench 2.1 è un numero misurato da Nanbeige. Se entrambi sono accurati, Nanbeige si collocherebbe probabilmente ben sopra 34 sullo stesso composito — il suo Terminal-Bench 4.0 di 23,8 e SciCode di 52,6 sono righe solide. Il punto è che è "probabilmente" a fare il lavoro, e continuerà a farlo finché un valutatore indipendente non eseguirà il modello.

Questa è anche la ragione pratica per considerare l'affermazione "18 su 20" come un argomento iniziale. L'affermazione è falsificabile in modo specifico e poco costoso: sottoporre Nanbeige4.3-33B a un valutatore indipendente e confrontare il punteggio composito. Finché ciò non accade, l'affermazione onesta più forte è che Nanbeige rivendica un vantaggio sul lavoro agentico a lungo orizzonte ed è leggermente in svantaggio sulla qualità degli output professionali, e che solo uno di questi due modelli è stato verificato da qualcuno diverso dal suo produttore.

Costo per attività, non per token

Qwen3.8-27B è l'unico di questi due che puoi chiamare oggi. Su OrcaRouter costa $0,33 per milione di token in input e $2,40 per milione in output — al di sotto dei $0,50 e $3,00 che Artificial Analysis elenca per l'endpoint first-party di Alibaba. Questo è servito sulla nostra infrastruttura anziché rivenduto al listino del provider, ed è per questo che si colloca sotto il prezzo first-party; per i modelli che gestiamo in pass-through, la regola del ricarico dello 0% significa che quello che paghi è il prezzo di listino del provider. In ogni caso, i prezzi per token variano a sufficienza in base alla rotta, così che l'endpoint first-party non è automaticamente quello economico. Il modello accetta anche immagini e video insieme al testo ed è dotato di una finestra di 262.144 token.

Il prezzo per token, però, è l’unità di misura sbagliata per questo confronto. I recensori segnalano che Qwen3.8-27B consuma una quantità insolitamente elevata di token — circa tre volte i token di Qwen3.6-27B su attività comparabili — e Artificial Analysis stima circa $1,01 per attività dell’Intelligence Index con l’impostazione xhigh. Un modello che vince sul prezzo per token e perde sui token per attività può comunque rivelarsi la scelta più costosa. Nanbeige4.3-33B non ha alcun prezzo per token: i pesi sono gratuiti, nessun provider di inferenza lo distribuisce, ed eseguirlo significa mantenere attivo un deployment tensor-parallel su quattro GPU, indipendentemente dal fatto che arrivi traffico o meno.

È qui che un livello di routing si guadagna il suo posto. Qwen3.8-27B è raggiungibile con la nostra chiave oggi; Nanbeige non lo è, e non fingeremo che lo sia. Quello che puoi fare è mantenere Qwen come percorso di produzione e instradare una porzione di traffico reale verso un endpoint Nanbeige ospitato su infrastruttura propria per misurare il completamento delle attività e i token consumati, invece di fidarti di una tabella. Il failover automatico è importante qui: un endpoint sperimentale che muore a metà esecuzione dovrebbe degradare verso la soluzione in uso, non portare giù l'agente con sé. La decisione, quindi, si basa sul tuo costo per attività completata, che è l'unico numero che combina onestamente il comportamento sui token di entrambi i modelli.

Che cosa falsificherebbe questo?

Tre risultati risolverebbero la questione, e nessuno di essi richiede un nuovo modello.

• Una voce di Artificial Analysis per Nanbeige4.3-33B. Se si colloca vicino o sopra 34, la direzione della tabella del fornitore è confermata e l'entità diventa discutibile. Se si colloca ben al di sotto, l'affermazione 18 su 20 necessita di una spiegazione molto migliore della scelta dell'harness.

• Una riesecuzione neutrale di DeepSWE e Terminal-Bench 4.0 con entrambi i modelli nelle rispettive configurazioni consigliate. È l'esperimento specifico che la tabella attuale non esegue, e prende di mira le righe che contengono la maggior parte del margine di Nanbeige.

• Un dato pubblicato di token per attività completata per entrambi. I prezzi per token non possono mettere a confronto un modello denso da 33B che ospiti tu con un 27B avido di token che noleggi. Il costo per lavoro completato, invece, sì.

Il verdetto che difenderemmo

Nanbeige4.3-33B è probabilmente il modello agente a lungo orizzonte più forte dei due. I margini su DeepSWE, Terminal-Bench 4.0, Automation Bench e DeepPlanning sono troppo ampi e troppo coerenti in direzione per essere interamente un artefatto dell'harness, e il contesto nativo da 512K si inserisce in questo quadro. Qwen3.8-27B è probabilmente il modello più forte per la qualità dei deliverable professionali, dove vince entrambe le righe che la misurano, ed è indiscutibilmente il più utilizzabile: punteggio indipendente, API ospitata, input multimodale e un prezzo che puoi inserire in un foglio di calcolo oggi.

"18 su 20" è un risultato reale travestito da uno più grande. La versione accurata è che un modello vecchio di due giorni, proveniente da un laboratorio che nessuno ha valutato in modo indipendente, sostiene di avere un chiaro vantaggio nell'esecuzione agentica, una parità nel ragionamento generale e un lieve deficit nell'output professionale — contro un avversario disponibile da dieci settimane e misurato da qualcuno diverso dal suo creatore. È un'affermazione davvero interessante. Non è ancora un motivo per cambiare.