Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B : les deux tiennent dans 24GB — un seul vous dit ce que ça a coûté

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Ce qu'est réellement chaque modèle

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B est dense. L'ensemble des 27 milliards de paramètres est lu pour chaque token, et la section architecture de la fiche du modèle décrit un empilement de 64 couches organisé en seize répétitions de trois blocs d'attention linéaire à porte suivis d'un bloc d'attention complète à porte, avec une prédiction multi-token entraînée sur plusieurs étapes et un contexte natif de 262 144 tokens extensible à un million. Il comprend nativement les images et la vidéo, et il expose un contrôle de la réflexion par requête au moyen d'un réglage de l'effort de raisonnement et d'un indicateur qui préserve le contexte de raisonnement d'un tour à l'autre.

Des philosophies de production différentes, et les deux sont livrés en poids ouverts sous des licences suffisamment permissives — OpenMDW-1.1 pour Bolt, Apache 2.0 pour Qwen3.8-27B.

Deux compressions, dont l'une est documentée

C'est la partie de la comparaison qui tranche.

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 en 2 bits contre 88,83 en 16 bits, une perte de 2,40 points.

• Terminal-Bench 2.1 — 50,98 contre 53,93, une perte de 2,95.

• BrowseComp — 66,75 contre 70,00, soit une perte de 3,25.

• AA-LCR raisonnement sur long contexte — 64.06 contre 67.38, une perte de 3.32.

• HLE sans outils — 25,30 contre 28,73, une perte de 3,43.

• Précision d'AA-Omniscience — 16,90 contre 21,80, soit une perte de 4,90.

Et deux lignes qui vont dans l’autre sens : sur la non-hallucination d’AA-Omniscience, le modèle compressé obtient 61,27 contre 56,14 pour le modèle en pleine précision, et sur WebArena vision, les deux sont à égalité à un point près. Ce sont des chiffres de fournisseur, non reproduits, et ils restent le compte rendu le plus complet qu’un laboratoire ait publié de ce qu’une compression à 24 Go a fait à son propre modèle.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Cette asymétrie est la version honnête de cette confrontation. Bolt vous indique son prix. Qwen3.8-27B vous fait payer un prix que vous devez estimer vous-même.

Le panel indépendant, et ce qu’il couvre et ne couvre pas

Artificial Analysis mesure Qwen3.8-27B au niveau du modèle complet dans sa configuration de raisonnement maximale : un Intelligence Index de 34, premier sur 141 modèles du panel ; environ 41 jetons de sortie par seconde, ce qui le classe 51e sur 63 ; et un coût de 0,50 $ par million de jetons d'entrée et de 3,00 $ par million de jetons de sortie sur le mélange de fournisseurs qu'il suit, qu'il qualifie de particulièrement coûteux pour un modèle à poids ouverts de cette taille. Il note également que le modèle est très verbeux, avec 200 millions de jetons générés pendant l'exécution de l'indice.

Le même panel attribue à Bolt un indice d'intelligence de 21, ce qui le place quatrième sur 67 modèles de sa catégorie, la vitesse et le coût étant tous deux indisponibles faute d'API publique qui le serve. Treize points d'écart, c'est beaucoup, et l'écart est mesuré de la même manière pour les deux, ce qui en fait l'affirmation isolée la plus fiable de cet article. Elle s'accompagne toutefois d'une réserve plus importante qu'il n'y paraît : le résumé comparatif du panel lui-même qualifie Qwen3.8-27B de nettement lent et très verbeux, si bien que le modèle qui l'emporte sur l'intelligence est celui pour lequel il faut attendre plus longtemps.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

The vendor table on Q​wen's side

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Ces chiffres ne sont pas comparables au tableau de Bolt. Des harnais différents, des dates d’évaluation différentes, des sélections de référence différentes et, dans le cas de Bolt, un groupe de référence choisi en partie pour tenir dans 24 Go en quatre bits. La seule affirmation honnête est que les scores d’agents publiés de Qwen3.8-27B sont supérieurs aux scores d’agents publiés de Bolt, que ces deux ensembles de chiffres proviennent des laboratoires qui ont construit les modèles, et qu’aucun des deux laboratoires n’a exécuté la suite de benchmarks de l’autre.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

En louer un, et la latence dont vous héritez

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B est téléchargeable et appelable, et c'est cette combinaison qui explique pourquoi cette confrontation a une réponse concrète. Nous servons qwen/qwen3.8-27b sur notre propre infrastructure à 0,33 $ par million de jetons d'entrée et 2,40 $ par million de jetons de sortie. La fiche du catalogue indique un contexte de 262 144 jetons avec entrée texte, image et vidéo, et publier à ce tarif est possible de notre côté parce qu'OrcaRouter répercute le prix catalogue du fournisseur sans aucune marge ajoutée — si un fournisseur baisse un prix, la modification est effective ici le jour même plutôt qu'au prochain cycle de facturation.

La latence, toutefois, mérite d'être citée honnêtement plutôt que flatteusement. Sur les sept jours se terminant le 16 octobre 2026, notre propre point de terminaison pour ce modèle a rapporté un temps jusqu'au premier token (p50) de 10,00 secondes et un p95 de 10,00 secondes, une vitesse de sortie de 515 tokens par seconde et un taux d'erreur de 2,1 %. La série quotidienne explique l'agrégat : 1,42 seconde le 10 octobre, 1,65 le 11, 2,83 le 12, puis 10,00 les 13 et 15, 1,91 le 14. Deux jours sur six ont atteint le plafond de notre fenêtre de mesure et trois ne l'ont pas fait.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Comment cela se résout réellement

Il n'y a pas de gagnant à désigner, car les deux modèles ne sont pas en concurrence pour le même créneau.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Si votre contrainte est la capacité par dollar et que le réseau est disponible, Qwen3.8-27B a une avance de treize points sur le seul indice qui a mesuré les deux, à un tarif publié, sous une licence que votre équipe juridique a déjà vue. La version locale en quatre bits est une troisième voie raisonnable, et c’est celle où vous devriez vous attendre à faire votre propre évaluation plutôt que d’hériter du tableau de quelqu’un d’autre.

La partie que les deux modèles vous laissent est la même : ni l’un ni l’autre ne dispose d’un benchmark indépendant face à l’autre, aucun des deux laboratoires n’a mesuré le modèle de l’autre, et les opinions qui circulent dès le premier jour à leur sujet sont des lectures de fiches fournisseurs. Téléchargez les deux, exécutez vos propres tâches, et gardez celui qui termine. C’est le seul résultat de cette comparaison qui n’aura pas été publié par l’un des deux laboratoires qui les ont créés.

Ce que les chiffres ne peuvent pas vous dire, c'est si quelque chose a mal tourné sur le terrain : les incidents d'IA documentés et les défaillances d'agents concernant les modèles de cette classe sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, sa gravité, son niveau de confiance et son indicateur de contestation.