Nemotron 3.5 Bolt 24GB vs. Qwen3.8-27B: Beide passen in 24GB — nur eines verrät dir, was es gekostet hat

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Was jedes Modell tatsächlich ist

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B ist dicht. Für jedes Token werden alle 27 Milliarden Parameter gelesen, und der Architektur-Abschnitt der Modellkarte beschreibt einen 64-Schichten-Stapel, der als sechzehn Wiederholungen von drei gated Linear-Attention-Blöcken gefolgt von einem gated Full-Attention-Block angeordnet ist, mit Multi-Token-Vorhersage, die über mehrere Schritte trainiert wird, und einem nativen Kontext von 262.144 Tokens, der auf eine Million erweiterbar ist. Es versteht Bilder und Video nativ und bietet pro Anfrage eine Denksteuerung über eine Reasoning-Effort-Einstellung und ein Flag, das den Reasoning-Kontext über Turns hinweg beibehält.

Unterschiedliche Produktionsphilosophien, und beide werden als offene Gewichte unter ausreichend permissiven Lizenzen ausgeliefert — OpenMDW-1.1 für Bolt, Apache 2.0 für Qwen3.8-27B.

Zwei Kompressionen, von denen eine dokumentiert ist

Das ist der Teil des Vergleichs, der den Ausschlag gibt.

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 bei 2-Bit gegenüber 88,83 bei 16-Bit, ein Verlust von 2,40 Punkten.

• Terminal-Bench 2.1 — 50,98 gegenüber 53,93, ein Verlust von 2,95.

• BrowseComp — 66,75 gegenüber 70,00, ein Verlust von 3,25.

• AA-LCR Langkontext-Reasoning — 64,06 gegenüber 67,38, ein Verlust von 3,32.

• HLE ohne Tools – 25,30 gegenüber 28,73, ein Verlust von 3,43.

• AA-Omniscience-Genauigkeit — 16,90 gegenüber 21,80, ein Verlust von 4,90.

Und zwei Zeilen, die in die andere Richtung gehen: Bei AA-Omniscience Non-Halluzination erzielt das komprimierte Modell 61,27 gegenüber 56,14 beim Vollpräzisionsmodell, und bei WebArena Vision liegen die beiden innerhalb eines Punktes gleichauf. Das sind Herstellerangaben, nicht reproduziert, und sie sind nach wie vor die vollständigste Darstellung, die irgendein Labor darüber veröffentlicht hat, was eine 24-GB-Kompression mit seinem eigenen Modell gemacht hat.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Diese Asymmetrie ist die ehrliche Version dieses Duells. Bolt nennt dir seinen Preis. Qwen3.8-27B lässt dich einen zahlen, den du selbst schätzen musst.

Das unabhängige Gremium und was es abdeckt und was nicht.

Artificial Analysis misst Qwen3.8-27B auf Ebene des Gesamtmodells in seiner maximalen Reasoning-Konfiguration: einen Intelligence Index von 34, an erster Stelle von 141 Modellen im Panel; etwa 41 Output-Token pro Sekunde, womit es auf Platz 51 von 63 liegt; und Kosten von 0,50 $ pro Million Input und 3,00 $ pro Million Output im Anbietermix, den es verfolgt, was es für ein Open-Weights-Modell dieser Größe als besonders teuer bezeichnet. Es merkt außerdem an, dass das Modell sehr wortreich ist, mit 200 Millionen Token, die während des Index-Durchlaufs generiert wurden.

Dasselbe Panel bewertet Bolt mit einem Intelligence Index von 21, auf Platz vier von 67 Modellen seiner Klasse, wobei sowohl Geschwindigkeit als auch Kosten nicht verfügbar sind, weil es keine öffentliche API gibt, die Bolt bedient. Dreizehn Punkte sind ein großer Abstand, und er wird für beide gleich gemessen, was dies zur vertrauenswürdigsten einzelnen Aussage in diesem Artikel macht. Allerdings geht damit ein Vorbehalt einher, der wichtiger ist, als er klingt: Die eigene Vergleichszusammenfassung des Panels bezeichnet Qwen3.8-27B als bemerkenswert langsam und sehr wortreich, sodass das Modell, das bei der Intelligenz gewinnt, dasjenige ist, auf das man länger wartet.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

The vendor table on Q​wen's side

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Diese Zahlen sind nicht mit Bolts Tabelle vergleichbar. Unterschiedliche Harnesses, unterschiedliche Evaluierungszeitpunkte, unterschiedliche Baseline-Auswahlen und im Fall von Bolt eine Baseline-Gruppe, die teilweise danach ausgewählt wurde, dass sie bei Vier-Bit in 24 GB passt. Die einzige ehrliche Aussage ist, dass die veröffentlichten Agenten-Scores von Qwen3.8-27B höher sind als die veröffentlichten Agenten-Scores von Bolt, dass beide Zahlenreihen von den Laboren stammen, die die Modelle entwickelt haben, und dass keines der Labore die Benchmark-Suite des jeweils anderen ausgeführt hat.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Einen mieten – und die Latenz, die man erbt

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B lässt sich herunterladen und aufrufen, und genau diese Kombination ist der Grund, warum dieser Vergleich überhaupt eine praktische Antwort hat. Wir bieten qwen/qwen3.8-27b auf unserer eigenen Infrastruktur für 0,33 $ pro Million Input-Tokens und 2,40 $ pro Million Output an. Der Katalogeintrag nennt einen Kontext von 262.144 Tokens mit Text-, Bild- und Videoeingabe, und eine Veröffentlichung zu diesem Tarif ist auf unserer Seite möglich, weil OrcaRouter den Listenpreis des Anbieters durchreicht, ohne Aufschlag – wenn ein Anbieter einen Preis senkt, ist die Änderung hier noch am selben Tag live und nicht erst zum nächsten Abrechnungszyklus.

Die Latenz jedoch verdient es, ehrlich statt beschönigend angegeben zu werden. Über die sieben Tage bis zum 16. Oktober 2026 meldete unser eigener Endpunkt für dieses Modell eine p50-Zeit bis zum ersten Token von 10,00 Sekunden und eine p95 von 10,00 Sekunden, eine Ausgabegeschwindigkeit von 515 Token pro Sekunde und eine Fehlerrate von 2,1 %. Die Tagesreihe erklärt den Aggregatwert: 1,42 Sekunden am 10. Oktober, 1,65 am 11., 2,83 am 12., dann 10,00 am 13. und 15., 1,91 am 14. Zwei von sechs Tagen erreichten die Obergrenze unseres Messfensters und drei nicht.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Wie sich dies tatsächlich auflöst

Es gibt keinen Sieger zu übergeben, weil die beiden Modelle nicht um denselben Platz konkurrieren.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Wenn Ihre Randbedingung Leistungsfähigkeit pro Dollar ist und das Netzwerk verfügbar ist, liegt Qwen3.8-27B mit dreizehn Punkten Vorsprung auf dem einzigen Index vorn, der beides gemessen hat, zu einem veröffentlichten Preis, unter einer Lizenz, die Ihre Rechtsabteilung schon einmal gesehen hat. Der lokale Four-Bit-Build ist ein vernünftiger dritter Weg, und er ist derjenige, bei dem Sie damit rechnen sollten, Ihre eigene Bewertung vorzunehmen, statt jemandes Tabelle zu übernehmen.

Der Teil, den beide Modelle Ihnen überlassen, ist derselbe: Keines hat einen unabhängigen Benchmark gegen das andere, keines der beiden Labore hat das Modell des anderen gemessen, und die am ersten Tag über sie kursierenden Meinungen sind Interpretationen der Herstellerangaben. Laden Sie beide herunter, führen Sie Ihre eigenen Aufgaben damit aus, und behalten Sie das, das fertig wird. Das ist das einzige Ergebnis in diesem Vergleich, das nicht von einem der beiden Labore veröffentlicht worden sein wird, die sie gebaut haben.

Was die Zahlen Ihnen nicht sagen können, ist, ob irgendetwas davon im Praxiseinsatz schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als strittig enthält.