Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Entrambi entrano in 24GB — Solo uno ti dice quanto è costato

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Cosa è realmente ciascun modello

Bolt è un ibrido mixture-of-experts: 74 miliardi di parametri in totale, 9 miliardi attivi per token, strati state-space Mamba-2 intercalati con esperti e attenzione, più un encoder visivo C-RADIO v4-H. Esiste nella sua forma da 24 GB perché NVIDIA ha eseguito una ricerca architetturale guidata da router rispetto a un budget di ingombro e poi ha quantizzato gli esperti a 2,0625 bit per elemento, riparando i danni con distillazione consapevole della quantizzazione.

Qwen3.8-27B è un modello denso. Tutti i 27 miliardi di parametri vengono letti per ogni token, e la sezione sull'architettura della model card descrive uno stack di 64 livelli organizzato in sedici ripetizioni di tre blocchi di attenzione lineare con gating seguiti da un blocco di attenzione completa con gating, con predizione multi-token addestrata su più step e un contesto nativo di 262.144 token estendibile a un milione. Comprende nativamente immagini e video, ed espone un controllo del pensiero per singola richiesta tramite un'impostazione di sforzo di ragionamento e un flag che preserva il contesto di ragionamento tra i turni.

Filosofie di produzione diverse, ed entrambi vengono distribuiti come pesi aperti con licenze sufficientemente permissive — OpenMDW-1.1 per Bolt, Apache 2.0 per Qwen3.8-27B.

Due compressioni, una delle quali documentata

Questa è la parte del confronto che decide tutto.

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 a 2 bit contro 88,83 a 16 bit, una perdita di 2,40 punti.

• Terminal-Bench 2.1 — 50,98 contro 53,93, una perdita di 2,95.

• BrowseComp — 66,75 rispetto a 70,00, una perdita di 3,25.

• AA-LCR ragionamento a contesto lungo — 64,06 rispetto a 67,38, una perdita di 3,32.

• HLE senza strumenti — 25,30 contro 28,73, una perdita di 3,43.

• Accuratezza di AA-Omniscience — 16,90 rispetto a 21,80, una perdita di 4,90.

E due righe che vanno nella direzione opposta: nella metrica non-hallucination di AA-Omniscience il modello compresso segna 61,27 contro il 56,14 della piena precisione, e su WebArena vision la coppia è allo stesso livello, entro un punto. Quelli sono numeri del fornitore, non replicati, e restano comunque il resoconto più completo che qualsiasi laboratorio abbia pubblicato di ciò che una compressione da 24 GB ha fatto al proprio modello.

Ora il versante Qwen. Esiste una build a quattro bit di Qwen3.8-27B da 16,46 GB, pubblicata da una terza parte, e non arriva con alcuna misurazione di accuratezza. Non una debole — nessuna. Lo stesso vale per le build da 9,83 GB e 7,27 GB che stanno sotto di essa, e per quella da 21,98 GB sopra. Qualunque cosa perda un modello denso visione-linguaggio da 27B quando i suoi pesi vengono compressi a quattro bit, nessuno ha pubblicato un numero al riguardo, il che significa che l'aritmetica della memoria che rende possibile farcelo stare è la metà facile, mentre la questione delle capacità è del tutto aperta.

Quell'asimmetria è la versione onesta di questo confronto. Bolt ti dice il suo prezzo. Qwen3.8-27B te ne fa pagare uno che devi stimare da solo.

Il panel indipendente, e ciò che copre e ciò che non copre

Artificial Analysis valuta Qwen3.8-27B a livello di modello completo nella sua configurazione di ragionamento massima: un Intelligence Index di 34, primo su 141 modelli del panel; circa 41 token di output al secondo, che colloca al 51º posto su 63; e un costo di 0,50 $ per milione di token di input e 3,00 $ per milione di token di output sul mix di provider monitorato, che definisce particolarmente costoso per un modello open-weights di quelle dimensioni. Osserva inoltre che il modello è molto verboso, con 200 milioni di token generati durante l'esecuzione dell'indice.

Lo stesso panel assegna a Bolt un Intelligence Index di 21, quarto su 67 modelli della sua classe, con velocità e costo entrambi non disponibili perché non esiste un'API pubblica che lo serva. Tredici punti sono un divario ampio ed è misurato allo stesso modo per entrambi, il che lo rende l'affermazione singola più affidabile in questo articolo. Comporta anche un'avvertenza che conta più di quanto sembri: il riepilogo comparativo dello stesso panel definisce Qwen3.8-27B notevolmente lento e molto verboso, quindi il modello che vince in intelligenza è quello per cui si aspetta più a lungo.

Quanto alla modalità, le due pagine sono in disaccordo in modo degno di nota, poiché un pannello di specifiche non è la stessa cosa di una pagina di prodotto. La scheda del fornitore Qwen descrive la comprensione nativa di immagini e video; il pannello di analisi elenca input di testo, immagini e video per Qwen3.8-27B in alcune viste e testo e immagini per Bolt. Entrambi i modelli vedono. Nessuno dei due vede in modo identico, e la differenza nel modo in cui terze parti descrivono i due è un promemoria a verificare un'affermazione sulla modalità rispetto alla scheda del modello anziché a una riga di riepilogo.

The vendor table on Q​wen's side

La model card di Alibaba è lunga, e le sue righe agentiche sono il motivo per cui questo modello risulta davvero interessante rispetto a Bolt. Terminal Bench 2.1 a 73,0, SWE-bench Pro a 61,7, GPQA Diamond a 89,2, HLE a 30,8, LiveCodeBench v6 a 90,3, OSWorld-Verified a 84,3 e AndroidWorld a 81,9 — tutti valutati da Alibaba, nella maggior parte dei casi all'interno dell'harness di Claude Code, con un contesto di 256.000 token.

Quei numeri non sono comparabili alla tabella di Bolt. Harness diversi, date di valutazione diverse, selezioni di baseline diverse e, nel caso di Bolt, un gruppo baseline scelto in parte per rientrare in 24GB a quattro bit. L'unica affermazione onesta è che i punteggi pubblicati sugli agenti di Qwen3.8-27B sono più alti dei punteggi pubblicati sugli agenti di Bolt, che entrambi i set di numeri provengono dai laboratori che hanno costruito i modelli e che nessuno dei due laboratori ha eseguito la suite di benchmark dell'altro.

Un numero di Qwen merita di essere segnalato per un motivo diverso. La sua stessa scheda ammette 89,2 su GPQA Diamond, mentre la scheda di Bolt dichiara 86,43 — abbastanza vicini che una differenza di harness potrebbe far superare l'uno all'altro. Questa è la scala sulla quale le tabelle dei fornitori risolvono le discussioni. Non è la scala sulla quale dovresti risolverne una.

Affittarne uno, e la latenza che ti ritrovi.

Bolt non ha alcun endpoint. Non c'è alcun rate da citare, nessun provider che lo serva e nessun modo per valutarlo sul proprio traffico senza completare la ricetta di deployment di NVIDIA — il container nightly vLLM fissato, il pacchetto kernel recuperato a runtime, il plugin reasoning-parser, i backend b12x, la cache KV fp8 e una concorrenza servita di una sequenza.

Qwen3.8-27B è scaricabile e richiamabile, e proprio questa combinazione è il motivo per cui questo confronto ha davvero una risposta pratica. Serviamo qwen/qwen3.8-27b sulla nostra infrastruttura a 0,33 $ per milione di token di input e 2,40 $ per milione di token di output. La voce di catalogo indica un contesto di 262.144 token con input testuale, immagini e video, e pubblicare a quella tariffa è possibile da parte nostra perché OrcaRouter trasmette il prezzo di listino del fornitore senza alcun ricarico aggiunto — se un fornitore riduce un prezzo, la modifica è attiva qui lo stesso giorno, anziché al ciclo di fatturazione successivo.

La latenza, però, merita di essere citata onestamente anziché in modo lusinghiero. Nei sette giorni che terminano il 16 ottobre 2026, il nostro endpoint per questo modello ha riportato un tempo p50 al primo token di 10,00 secondi e un p95 di 10,00 secondi, una velocità di output di 515 token al secondo e un tasso di errore del 2,1%. La serie giornaliera spiega l'aggregato: 1,42 secondi il 10 ottobre, 1,65 l'11, 2,83 il 12, poi 10,00 il 13 e il 15, 1,91 il 14. Due giorni su sei hanno toccato il tetto della nostra finestra di misurazione e tre no.

Quello non è un bel numero, ed è il numero. È anche la ragione concreta per cui il failover automatico esiste come funzionalità di routing anziché come slogan: un'attesa del primo token che il lunedì va bene e il mercoledì dura dieci secondi è esattamente la modalità di guasto per cui esiste una catena di fallback, e il DSL di routing esiste affinché "prova questo modello, passa a quell'altro se degrada" sia configurazione anziché codice applicativo. Un modello che possiedi — Bolt, o una build locale di Q​wen — non ha questo problema né questa opzione. È veloce quanto la tua GPU, ogni giorno, senza terze parti nel percorso e senza un secondo modello a cui ricorrere quando si blocca.

Come si risolve effettivamente questo

Non c'è nessun vincitore da consegnare, perché i due modelli non competono per lo stesso slot.

Se il tuo vincolo è una macchina senza rete, o un lavoro che non può uscire dal dispositivo, Bolt è la risposta e il costo di compressione pubblicato è il prezzo d'ingresso. Nulla di Qwen3.8-27B cambia le cose, perché non puoi arrivare scaricando a un deployment da 24GB che N​VIDIA non ha già costruito e documentato — puoi approssimarlo con una build a quattro bit la cui qualità non è misurata e il cui vision projector dovresti procurarti separatamente.

Se il tuo vincolo è la capacità per dollaro e la rete è disponibile, Qwen3.8-27B è avanti di tredici punti sull'unico indice che ha misurato entrambi, a una tariffa pubblicata, con una licenza che il tuo team legale ha già visto. La build locale a quattro bit è una terza via ragionevole, ed è quella in cui dovresti aspettarti di fare una tua valutazione invece di ereditare la tabella di qualcun altro.

La parte che entrambi i modelli lasciano a te è la stessa: nessuno dei due ha un benchmark indipendente rispetto all’altro, nessuno dei due laboratori ha misurato il modello dell’altro, e le opinioni del primo giorno che circolano su di essi sono letture delle schede tecniche dei vendor. Scaricali entrambi, esegui i tuoi compiti e tieni quello che arriva alla fine. È l’unico risultato in questo confronto che non sarà stato pubblicato da uno dei due laboratori che li hanno costruiti.

Ciò che i numeri non possono dirti è se qualcosa sia andato storto sul campo: gli incidenti documentati di IA e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il grado di gravità, il livello di confidenza e il flag di contestazione.