Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Båda får plats i 24GB – bara en berättar vad det kostade

A neat story circulates about these two models: the N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Vad varje modell faktiskt är

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B är en tät modell. Alla 27 miljarder parametrar läses för varje token, och modellkortets arkitekturavsnitt beskriver en stack på 64 lager uppbyggd som sexton upprepningar av tre gated linjära attention-block följt av ett gated full-attention-block, med multi-token-prediktion tränad över flera steg och en inbyggd kontext på 262 144 token som kan utökas till en miljon. Den har inbyggd förståelse för bilder och video, och den erbjuder tankestyrning per begäran via en inställning för resonemangsansträngning och en flagga som bevarar resonemangskontexten mellan turer.

Olika produktionsfilosofier, och båda släpps som öppna vikter under tillräckligt tillåtande licenser – OpenMDW-1.1 för Bolt, Apache 2.0 för Qwen3.8-27B.

Två kompressioner, varav en är dokumenterad

Detta är den del av jämförelsen som avgör.

N​VIDIA's 24GB checkpoint is compressed by NVIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 vid 2-bit mot 88,83 vid 16-bit, en förlust på 2,40 poäng.

• Terminal-Bench 2.1 — 50,98 mot 53,93, en förlust på 2,95.

• BrowseComp — 66,75 mot 70,00, en förlust på 3,25.

• AA-LCR långkontextresonemang — 64,06 mot 67,38, en förlust på 3,32.

• HLE utan verktyg — 25,30 mot 28,73, en förlust på 3,43.

• AA-Omniscience-noggrannhet — 16,90 mot 21,80, en förlust på 4,90.

Och två rader som går åt andra hållet: på AA-Omniscience icke-hallucination får den komprimerade modellen 61.27 mot fullprecisionens 56.14, och på WebArena vision ligger de båda inom en punkt från varandra. Det är leverantörssiffror, icke reproducerade, och de är fortfarande den mest fullständiga redogörelsen något labb har publicerat om vad en 24GB-komprimering gjorde med sin egen modell.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Den asymmetrin är den ärliga versionen av den här matchningen. Bolt talar om sitt pris. Qwen3.8-27B får dig att betala ett pris som du själv måste uppskatta.

Den oberoende panelen, och vad den täcker och inte täcker

Artificial Analysis mäter Qwen3.8-27B på full modellnivå i dess maximala resonemangskonfiguration: ett Intelligence Index på 34, först av 141 modeller i panelen; cirka 41 output-token per sekund, vilket den placerar på 51:a plats av 63; och en kostnad på 0,50 USD per miljon inputtoken och 3,00 USD per miljon outputtoken hos den leverantörsmix den följer, vilket den kallar särskilt dyrt för en modell med öppna vikter av den storleken. Den noterar också att modellen är mycket mångordig, med 200 miljoner token genererade under indexkörningen.

Samma panel ger Bolt ett Intelligence Index på 21, fjärde av 67 modeller i sin klass, med både hastighet och kostnad otillgängliga eftersom det inte finns något offentligt API som betjänar den. Tretton poäng är en stor skillnad och den mäts på samma sätt för båda, vilket gör det till det mest trovärdiga enskilda påståendet i den här artikeln. Det kommer också med en varning som betyder mer än det låter: panelens egen jämförelsesammanfattning kallar Qwen3.8-27B för anmärkningsvärt långsam och mycket ordrik, så modellen som vinner på intelligens är den man får vänta längre på.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

Leverantörstabellen på Qwens sida

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

De siffrorna är inte jämförbara med Bolts tabell. Olika testramverk, olika utvärderingsdatum, olika baslinjeurval, och i Bolts fall en baslinjegrupp som delvis valdes för att rymmas i 24 GB vid fyra bitar. Det enda ärliga påståendet är att Qwen3.8-27B:s publicerade agentpoäng är högre än Bolts publicerade agentpoäng, att båda uppsättningarna siffror kommer från labben som byggde modellerna, och att inget av labben har kört det andra labbets benchmarksvit.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Att hyra en, och latensen du ärver

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B går att ladda ner och anropa, och den kombinationen är anledningen till att den här jämförelsen alls har ett praktiskt svar. Vi tillhandahåller qwen/qwen3.8-27b i vår egen infrastruktur för 0,33 USD per miljon indatatoken och 2,40 USD per miljon utdatatoken. Katalogposten anger en kontext på 262 144 token med text-, bild- och videoindata, och att publicera till det priset är möjligt på vår sida eftersom OrcaRouter för vidare leverantörens listpris med inget påslag tillagt — om en leverantör sänker ett pris är ändringen live här samma dag i stället för vid nästa faktureringscykel.

Latensen förtjänar dock att återges ärligt snarare än smickrande. Under de sju dagarna som slutade den 16 oktober 2026 rapporterade vår egen endpoint för den här modellen en p50-tid till första token på 10,00 sekunder och en p95 på 10,00 sekunder, en utdatahastighet på 515 tokens per sekund och en felfrekvens på 2,1 %. Den dagliga serien förklarar aggregeringen: 1,42 sekunder den 10 oktober, 1,65 den 11:e, 2,83 den 12:e, sedan 10,00 den 13:e och den 15:e, 1,91 den 14:e. Två av sex dagar nådde taket i vårt mätfönster och tre gjorde det inte.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Hur detta faktiskt löser sig

Det finns ingen vinnare att överlämna, eftersom de två modellerna inte konkurrerar om samma plats.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Om din begränsning är kapacitet per dollar och nätverket är tillgängligt, ligger Qwen3.8-27B tretton poäng före på det enda index som mätte båda, till en publicerad taxa, under en licens som din juridiska avdelning har sett förut. Det lokala 4-bitarsbygget är en rimlig tredje väg, och det är den där du bör förvänta dig att göra din egen utvärdering i stället för att ärva någon annans tabell.

Den del som båda modellerna lämnar till dig är densamma: ingen av dem har ett oberoende riktmärke mot den andra, inget av labben har mätt den andras modell, och de åsikter som cirkulerar om dem från dag ett är tolkningar av leverantörernas kort. Ladda ner båda, kör dina egna uppgifter och behåll den som blir klar. Det är det enda resultatet i den här jämförelsen som inte kommer att ha publicerats av ett av de två labb som byggde dem.

Vad siffrorna inte kan berätta för dig är huruvida något av det har gått fel i fält: de dokumenterade AI-incidenterna och agentfelen kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.