Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Beide passen in 24GB — Slechts één vertelt je wat het kostte

A neat story circulates about these two models: the N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Wat elk model daadwerkelijk is

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B is dense. Alle 27 miljard parameters worden voor elk token gelezen, en de architectuursectie van de modelkaart beschrijft een stack van 64 lagen die is opgebouwd als zestien herhalingen van drie gated linear-attention-blokken gevolgd door één gated full-attention-blok, met multi-tokenvoorspelling die over meerdere stappen wordt getraind en een native context van 262.144 tokens die uitbreidbaar is tot één miljoen. Het begrijpt native afbeeldingen en video, en het biedt denksturing per verzoek via een reasoning-effort-instelling en een flag die de redeneercontext over beurten heen behoudt.

Verschillende productiefilosofieën, en beide worden geleverd als open weights onder voldoende permissieve licenties — OpenMDW-1.1 voor Bolt, Apache 2.0 voor Qwen3.8-27B.

Twee compressies, waarvan er één gedocumenteerd is.

Dit is het deel van de vergelijking dat de doorslag geeft.

N​VIDIA's 24GB checkpoint is compressed by NVIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 bij 2-bit tegenover 88,83 bij 16-bit, een verlies van 2,40 punten.

• Terminal-Bench 2.1 — 50,98 tegen 53,93, een verlies van 2,95.

• BrowseComp — 66,75 tegen 70,00, een verlies van 3,25.

• AA-LCR redeneren met lange context — 64,06 tegenover 67,38, een verlies van 3,32.

• HLE zonder tools — 25,30 tegen 28,73, een verlies van 3,43.

• AA-Omniscience-nauwkeurigheid — 16,90 tegen 21,80, een verlies van 4,90.

En twee rijen die de andere kant opgaan: op AA-Omniscience non-hallucination scoort het gecomprimeerde model 61,27 tegenover 56,14 voor het model op volledige precisie, en op WebArena vision liggen de twee binnen één punt van elkaar. Dat zijn leverancierscijfers, niet gereproduceerd, en ze zijn nog steeds het meest volledige verslag dat een lab heeft gepubliceerd over wat een 24GB-compressie met zijn eigen model deed.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Die asymmetrie is de eerlijke versie van deze confrontatie. Bolt vertelt je zijn prijs. Qwen3.8-27B laat je een prijs betalen die je zelf moet inschatten.

Het onafhankelijke panel, en wat het wel en niet omvat

Artificial Analysis meet Qwen3.8-27B op het volledige modelniveau in zijn maximale redeneerconfiguratie: een Intelligence Index van 34, als eerste van 141 modellen in het panel; ongeveer 41 outputtokens per seconde, waarmee het 51e van 63 staat; en een kostenpost van $0,50 per miljoen input en $3,00 per miljoen output op de providermix die het volgt, wat het bijzonder duur noemt voor een open-weights model van die omvang. Het merkt ook op dat het model zeer verbose is, met 200 miljoen tokens gegenereerd tijdens de indexrun.

Hetzelfde panel geeft Bolt een Intelligence Index van 21, de vierde van 67 modellen in zijn klasse, waarbij zowel snelheid als kosten niet beschikbaar zijn omdat er geen publieke API is die het serveert. Dertien punten is een grote kloof en die wordt voor beide op dezelfde manier gemeten, wat het de meest betrouwbare afzonderlijke bewering in dit artikel maakt. Het gaat ook gepaard met een voorbehoud dat meer uitmaakt dan het klinkt: de eigen vergelijkingssamenvatting van het panel noemt Qwen3.8-27B opvallend traag en zeer breedsprakig, dus het model dat wint op intelligentie is het model waar je langer op wacht.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

De leverancierstabel aan Qwen-zijde

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Die cijfers zijn niet vergelijkbaar met de tabel van Bolt. Verschillende testharnassen, verschillende evaluatiedatums, verschillende baseline-selecties, en in het geval van Bolt een baselinegroep die deels is gekozen omdat ze in 24GB past bij vier-bits. De enige eerlijke bewering is dat de gepubliceerde agentscores van Qwen3.8-27B hoger zijn dan de gepubliceerde agentscores van Bolt, dat beide sets cijfers afkomstig zijn van de labs die de modellen hebben gebouwd, en dat geen van beide labs de benchmarksuite van het andere lab heeft uitgevoerd.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Er een huren, en de latentie die je erft

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B is downloadbaar en aanroepbaar, en die combinatie is precies de reden dat deze vergelijking überhaupt een praktisch antwoord heeft. Wij serveren qwen/qwen3.8-27b op onze eigen infrastructuur voor $ 0,33 per miljoen invoertokens en $ 2,40 per miljoen uitvoertokens. De catalogusvermelding noemt een context van 262.144 tokens met tekst-, beeld- en video-invoer, en tegen dat tarief publiceren is aan onze kant mogelijk omdat OrcaRouter de lijstprijs van de provider doorgeeft met geen opslag toegevoegd — als een leverancier een prijs verlaagt, staat die wijziging hier dezelfde dag live in plaats van bij de volgende factureringscyclus.

De latentie verdient het echter om eerlijk te worden weergegeven in plaats van flatteus. In de zeven dagen eindigend op 16 oktober 2026 rapporteerde ons eigen endpoint voor dit model een p50-tijd tot eerste token van 10,00 seconden en een p95 van 10,00 seconden, een uitvoersnelheid van 515 tokens per seconde en een foutpercentage van 2,1%. De dagelijkse reeks verklaart het totaal: 1,42 seconden op 10 oktober, 1,65 op de 11e, 2,83 op de 12e, dan 10,00 op de 13e en de 15e, 1,91 op de 14e. Twee van de zes dagen bereikten het plafond van ons meetvenster en drie deden dat niet.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Hoe dit in werkelijkheid wordt opgelost

Er is geen winnaar om over te dragen, omdat de twee modellen niet om dezelfde plek strijden.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Als je randvoorwaarde capaciteit per dollar is en het netwerk beschikbaar is, staat Qwen3.8-27B dertien punten voor op de enige index die beide mat, tegen een gepubliceerd tarief, onder een licentie die je juridische team al eerder heeft gezien. De lokale vier-bitsbuild is een redelijke derde route, en het is degene waarbij je moet verwachten dat je je eigen evaluatie doet in plaats van iemands tabel over te nemen.

Het deel dat beide modellen aan jou overlaten, is hetzelfde: geen van beide heeft een onafhankelijke benchmark tegenover de andere, geen van beide labs heeft het model van de andere gemeten, en de meningen die vanaf dag één over hen circuleren, zijn interpretaties van leverancierskaarten. Download beide, voer je eigen taken uit en houd degene die het afmaakt. Dat is het enige resultaat in deze vergelijking dat niet door een van de twee labs die ze hebben gebouwd gepubliceerd zal zijn.

Wat de cijfers je niet kunnen vertellen, is of er in de praktijk iets mis is gegaan: de gedocumenteerde AI-incidenten en agent-fouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwistingsmarkering heeft.