Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: un insegnante contro un esecutore

NVIDIA Nemotron 3.5 Lightning 30B A3B genera 294,9 token di output al secondo. Nanbeige4.3-33B non ha alcuna velocità pubblicata, perché nessuno lo serve. Questi due fatti ti dicono più su questo confronto di qualsiasi riga di benchmark: un modello è un prodotto progettato per il throughput, con un tariffario e una storia di deployment su singola GPU, e l'altro è un checkpoint denso da 33 miliardi di parametri approdato su Hugging Face il 24 ottobre 2026 con una model card e nessun provider di inferenza. Sono entrambi della "classe 30B". Non sono lo stesso tipo di oggetto.

Il confronto vale la pena perché entrambi vengono proposti allo stesso acquirente — qualcuno che costruisce un agente di lunga durata che deve eseguire molti piccoli passi senza il costo di un modello di frontiera. La risposta di NVIDIA è ridurre il calcolo per token. La risposta di Nanbeige è rendere un modello più grande e più denso abbastanza bravo nel lavoro agentico da averne bisogno di uno solo. Sono scommesse opposte, e le prove a sostegno di ciascuna sono di natura molto diversa.

3,6 miliardi di parametri attivi sono tutto l'argomento

Nemotron 3.5 Lightning 30B A3B è un modello ibrido mixture-of-experts: 31,6 miliardi di parametri totali, 3,6 miliardi attivi per token, distribuiti su 52 livelli — 23 Mamba-2, 23 MoE e 6 attention. Instrada verso 128 esperti e ne attiva 6 più un esperto condiviso. È per questa architettura che riesce a sostenere circa 295 token al secondo su un endpoint gestito, mentre un modello denso della classe 30B si colloca tipicamente nell'intervallo 40–80.

Nanbeige4.3-33B è denso. Tutti i 33,1 miliardi di parametri si attivano su ogni token. Non c'è routing, né sparsità degli esperti, né layer Mamba. È una scelta deliberata con una conseguenza chiara: ogni token costa circa nove volte il calcolo attivo di Lightning, e il modello richiede circa 66GB di pesi in BF16 — o circa 20GB a 4 bit — residenti prima di generare qualsiasi cosa.

Nessuno dei due design è migliore in astratto. I modelli densi tendono a essere più semplici da mettere a punto e più prevedibili in termini di qualità; i modelli sparsi tendono a essere più economici e più veloci da servire a parità di dimensione nominale. La questione è quale proprietà manchi al tuo carico di lavoro.

Cosa è stato progettato per fare ciascun modello

NVIDIA posiziona Lightning come il livello di esecuzione di un agente sempre attivo — il modello che prende un piano da un sistema più grande e macina chiamate agli strumenti, modifiche ai file e passaggi nel browser a basso costo. È distillato da Nemotron 3 Ultra, include il decoding speculativo con previsione multi-token integrato nel pretraining, oltre a modelli draft separati, ed è ottimizzato per gli harness piuttosto che per la chat. Il suo set di benchmark pubblicato lo riflette: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 intorno a 23,5–24,6.

Nanbeige4.3-33B è posizionato come insegnante. La scheda lo dice chiaramente: è l'ammiraglia della serie 4.3, pensata per essere distillata in modelli più piccoli come il Nanbeige4.3-3B non ancora rilasciato. Il suo set di benchmark è di conseguenza ampio — 20 righe che coprono coding agentico, cowork agentico e reasoning — e le impostazioni consigliate sono quelle di un modello che esegui tu stesso: dimensione tensor-parallel 4, chiamate agli strumenti XML, preserve_thinking=true per l'uso multi-turno degli strumenti.

Uno è un componente nel sistema di qualcun altro. L'altro è un modello sorgente per una famiglia. Questa impostazione spiega quasi ogni differenza riportata di seguito.

L'unico parametro di riferimento che condividono non può essere sottratto

Entrambe le schede riportano Terminal-Bench 2.1. Nanbeige dichiara 80.9. L'intervallo pubblicato da NVIDIA per Lightning è di circa 23.5–24.6. A prima vista si tratta di un divario di 56 punti, ed è il numero che verrà citato.

Non dovrebbe esserlo. Terminal-Bench misura un modello all'interno di uno scaffold per agenti, e i due fornitori non descrivono lo stesso scaffold. La scheda di Nanbeige afferma che la sua esecuzione di Terminal-Bench 2.1 ha usato Terminus 2 e che i suoi modelli sono stati valutati con il massimo sforzo di ragionamento, con un harness condiviso e parametri di inferenza condivisi. I numeri di NVIDIA provengono dal suo harness interno, che l'azienda stessa segnala come potenzialmente diverso dai risultati di terze parti. Un modello dense da 33B a cui viene dato un ciclo favorevole e un modello con 3,6B attivi a cui viene dato uno standard possono differire di decine di punti senza che nessuno dei due modelli venga rappresentato in modo errato.

La lettura onesta è direzionale, non numerica: Nanbeige sostiene prestazioni agentiche da terminale sostanzialmente più forti, e l'affermazione non è verificata da entrambe le parti. La stessa cautela vale per GPQA Diamond (Nanbeige 89,5, Lightning 74,3–75,6) e per AA-LCR (Nanbeige 84,0, Lightning 52,0–60,3). Quei divari sono abbastanza ampi che parte della differenza è probabilmente capacità reale piuttosto che harness. Ma "probabilmente" fa molto lavoro in quella frase, e nessuna terza parte ha eseguito il confronto.

Ciò che non è ambiguo è la copertura indipendente. Artificial Analysis assegna a Nemotron 3.5 Lightning un punteggio di 13 sul suo Intelligence Index. Non ha alcuna voce per Nanbeige4.3-33B. Un modello ha un secondo parere; l'altro ha una scheda del modello. Questa asimmetria è informazione, e gioca contro il fornitore con la tabella più rumorosa.

1M di contesto sulla carta, 256K in pratica

Artificial Analysis indica la finestra di contesto di Lightning a 1 milione di token. La documentazione di NVIDIA stessa è più conservativa: 262.144 token è il limite pratico su una singola H100. Entrambi i numeri possono essere veri — l'architettura supporta una finestra più lunga, l'hardware su cui probabilmente lo eseguirai non riesce a contenerla comodamente.

I 524.288 token di Nanbeige4.3-33B sono una finestra addestrata su un modello dense, e il costo in memoria della KV cache cresce di conseguenza. Le ricette vLLM e SGLang della scheda usano un utilizzo della memoria GPU di 0,8 e una dimensione tensor-parallel pari a 4, il che indica che il deployment previsto non è su una singola scheda.

Per il lavoro con gli agenti, la differenza pratica riguarda meno il massimo e più ciò che sopravvive a un'esecuzione prolungata. Gli strati ibridi Mamba di Lightning sono progettati per mantenere contenuto il costo dello stato su sequenze lunghe; l'attenzione densa di Nanbeige no. NVIDIA pubblica anche AA-LCR a 52,0–60,3, che è un punteggio di ragionamento su contesto lungo, e Nanbeige pubblica 84,0 sullo stesso benchmark. Se credi a entrambe le tabelle, il ragionamento su contesto lungo di Nanbeige è molto più forte. Se credi solo a quella condotta in modo indipendente, quella di Lightning è l'unica che puoi verificare.

L'aritmetica di ospitare un modello denso da 33B

È qui che il confronto smette di riguardare la qualità e inizia a riguardare l'utilizzo.

Lightning è listato a $0,06 per milione di token di input e $0,20 per milione di output su un endpoint gestito. Nanbeige non ha un listino prezzi perché nessun provider lo distribuisce; il listino lo afferma esplicitamente. Per usarlo, noleggi o acquisti GPU e segui la ricetta del tensor parallel a quattro vie.

Supponiamo, solo per fare aritmetica, che quattro GPU di classe H100 costino 2 $ ciascuna all'ora — 8 $ all'ora per il nodo. Per andare in pareggio rispetto al prezzo di output di Lightning, quel nodo deve produrre 40 milioni di token di output all'ora, cioè circa 11.100 token al secondo in modo sostenuto. Un modello dense da 33B su quattro GPU non sarà in grado di farlo. Anche a un decimo del costo delle GPU, il throughput di pareggio è di oltre mille token al secondo in modo sostenuto, il che è un'operazione di serving seria, non un esperimento secondario.

La conclusione non è che Nanbeige sia costoso. È che ospitare autonomamente un modello dense da 33B supera un esecutore da 0,20 $ per milione di token solo con un'utilizzazione molto alta e molto costante — oppure quando il lavoro non può uscire dalla tua infrastruttura, nel qual caso il confronto non è mai stato una questione di prezzo. Con volumi a raffica o bassi, il modello sparse gestito vince sul costo con un ampio margine prima ancora che si entri nel merito della qualità.

Dove si colloca un router in un sistema a due modelli

L'architettura che NVIDIA sta vendendo — un planner di frontiera, un executor economico — è l'architettura con cui la maggior parte dei team di agenti finisce comunque. È anche la forma per cui è costruito un livello di routing: il nostro DSL di routing compone diversi modelli in un'unica chiamata così un planner e un executor possono stare dietro un unico endpoint, e il failover automatico impedisce che un executor in difficoltà si trasformi in un agente bloccato.

Oggi non disponiamo di Nemotron 3.5 Lightning 30B A3B né di Nanbeige4.3-33B, quindi non si tratta di una proposta di disponibilità per nessuno dei due. È una nota su dove ricade il costo di integrazione. Se ospiti Nanbeige come planner e chiami un modello hosted come executor, conviene esprimere la suddivisione come regole di routing anziché codificarla direttamente nella tua applicazione, perché il modello che vorrai in ciascuno slot cambierà prima della fine del trimestre.

Il budget di latenza conta più della classifica

• Se un singolo passaggio dell'agente deve restituire in meno di un secondo: Lightning. A 295 token al secondo, una risposta da 300 token arriva in circa un secondo; un modello denso da 33B sul tuo hardware non ci riuscirà, e Nanbeige non ha un'opzione hosted su cui eseguire benchmark.

• Se il passo è un lungo passaggio di ragionamento all'inizio di un workflow: i margini dichiarati da Nanbeige su GPQA, AA-LCR e le righe relative agli agenti depongono a favore — con la riserva sull'harness di cui sopra.

• Se l'opera è in lingua cinese: Nanbeige. Le lingue di pubblicazione di Lightning sono inglese, spagnolo, francese, tedesco, italiano e giapponese.

• Se l'opera è multilingue europea: Lightning. Nanbeige elenca solo inglese e cinese.

• Se non hai GPU e non ne hai voglia: Lightning, senza dubbio.

• Se i dati non possono lasciare la tua rete: Nanbeige, e il confronto dei costi diventa una decisione infrastrutturale anziché basata sul prezzo per token.

La questione aperta

Nanbeige4.3-33B ha due giorni di vita e non ha ancora una storia di serving. È questo il fatto che data questo articolo. Se un provider lo adotta — e l'affermazione della scheda secondo cui oggi nessuno lo fa è l'elemento da tenere d'occhio — il lato dei costi di questo confronto cambia completamente, perché un dense 33B ospitato a un prezzo per token competitivo scavalcherebbe l'intero argomento a favore di un executor sparse più piccolo su lavori sensibili alla qualità.

Fino ad allora, la posizione difendibile è ristretta. Nemotron 3.5 Lightning 30B A3B è il modello che puoi distribuire oggi, a un prezzo pubblicato, con un punteggio indipendente e circa nove volte meno calcolo per token. Nanbeige4.3-33B è il modello che sulla carta sembra più capace, con una finestra nativa da 512K e numeri agentici autodichiarati che nessuno ha riprodotto. Se il tuo agente è vincolato da latenza e costi, la scelta è già fatta. Se è vincolato dalla qualità e possiedi l'hardware, la scelta vale la pena di essere testata — e il test non è ancora stato eseguito.