Nemotron 3.5 Bolt 24GB: Was NVIDIA tatsächlich in eine 24-GB-Datei gepackt hat

Die Schlagzeilenzahl ist nicht die Parameteranzahl. Es ist die Byte-Anzahl. Am 15. Oktober 2026 veröffentlichte NVIDIA NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, ein Vision-Language-Agent-Modell, dessen 74 Milliarden Parameter 23,75 GB in dem Format belegen, das die meisten tatsächlich herunterladen werden – eine 22,02 GB große GGUF-Datei plus eine 1,73 GB große Vision-Projector-Datei. Beide Zahlen stammen aus der Dateiliste des veröffentlichten Repositorys selbst, nicht aus dem Blogbeitrag, und sie sind der Grund, warum der Name mit einer Zahl endet. Das ist es, was diese Zahl erkauft, was sie verbirgt und was sie nicht einschließt.

Was wurde veröffentlicht, und wann?

NVIDIAs Newsroom präsentierte den 15. Oktober als Erweiterung der Familie statt als Einführung eines einzelnen Modells: Nemotron 3.5 Super VL, ein multimodales Modell mit 120 Milliarden Parametern bei 12 Milliarden aktiven Parametern, erschien zusammen mit dem Bolt-Checkpoint, und ein deutlich kleineres Geschwistermodell, Nemotron 3.5 Bolt E4B 4GB, ist für den 23. Oktober angesetzt. Bolt gesellt sich zu Nemotron 3.5 Lightning (August) und Nemotron 3 Ultra in einer Familie, die nun Data-Center-Reasoning, High-Throughput-Serving und lokale Edge-Agenten abdeckt.

Das Release ist wirklich neu, und es ist zugleich etwas älter als die Ankündigung. Das Hugging Face-Repository nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB wurde am 7. Oktober 2026 erstellt; die darin enthaltene Modellkarte trägt als Veröffentlichungsdatum den 15. Oktober, dasselbe Datum, mit dem NVIDIAs eigene Forschungsseite als „Published“ gekennzeichnet ist. Acht Tage, in denen Dateien öffentlich einsehbar sind, bevor auch nur ein Wort der Erklärung kommt, sind ein normales Muster für einen Anbieter, der in Abstimmung mit Hardware unter Embargo ausliefert — RTX Spark Laptops sind auf den 16. Oktober datiert, den Tag nach der Ankündigung — und es lohnt sich zu wissen, welche Hälfte der öffentlichen Aufzeichnung dieses Modells aus einer Marketingentscheidung stammt und welche aus einer Dateiauflistung.

Wie 74 Milliarden Parameter in 24 Gigabyte passen

Zwei Mechanismen, und sie sind voneinander trennbar.

Das erste ist struktureller Natur. Bolt ist kein kleineres, von Grund auf trainiertes Modell; es ist das Super-3.5-VL-Elternmodell, komprimiert durch einen Algorithmus, den NVIDIA Star Elastic nennt – eine router-gesteuerte Architektursuche, die eine Einschränkung erfüllen musste – einen Deployment-Footprint unter 24 GB bei Batch-Größe 1 und 128K Kontext – und dabei so wenig Genauigkeit aus der Wissensdestillation wie möglich verlieren durfte. Das Ergebnis ist ein Mixture-of-Experts-Hybrid mit insgesamt 74B / 9B aktiven Parametern, wobei das Experten-Top-K auf 9 festgelegt ist, wo das Elternmodell 22 verwendete. NVIDIAs eigene Darstellung des Ergebnisses ist unverblümt und überprüfbar: Bei einem festen Speicherbudget schlägt das Komprimieren eines großen Modells das Trainieren eines kleinen.

Der zweite Punkt ist Präzision, und dort liegen die meisten Einsparungen.

• Expertengewichte – geroutete und geteilte FC1- und FC2-Schichten, die auf IQ2_XXS mit 2,0625 Bit pro Element quantisiert sind und gemessen an der Parameteranzahl den Großteil des Modells ausmachen.

• Mamba-Schichten — NVFP4, ein 4-Bit-Gleitkommaformat, und nur bei den Schichten, bei denen die zusätzliche Präzision mehr Bytes wert ist.

• Embeddings, Ausgabe-Head, Attention und die latenten MoE-Gewichte — Q8_0.

• Wiederherstellung — quantisierungsbewusste Destillation statt eines nachträglichen Round-to-Nearest-Durchlaufs, was den Unterschied zwischen einem komprimierten und einem kaputten Modell ausmacht.

Liest man diese zusammen, hört „24GB“ auf, eine Marketing-Zusammenfassung zu sein, und wird zu einer Budgetzuweisung. Die 2-Bit-Experten sind pro Byte günstig und zahlreich; die Schichten, auf die es bei der Stabilität ankommt, behalten 4 oder 8 Bit.

Die 24-GB-Angabe, abgeglichen mit den Dateien

Die Behauptung übersteht eine Prüfung, was nicht immer zutrifft.

• GGUF-Gewichte — 22.018.326.528 Bytes bzw. 22,02 GB dezimal, in einer einzigen Datei.

• Vision-Projektor — 1.733.692.736 Bytes oder 1,73 GB, separat als mmproj ausgeliefert, womit llama.cpp Bild- und Videoeingaben entgegennimmt.

• Safetensors-Build — dasselbe Modell in vLLM-fähigen Shards umfasst 24,12GB verteilt auf 90 Dateien, geringfügig über der angegebenen Größe.

• BF16-Referenz — 149,8 GB über 63 Shards, separat veröffentlicht für alle, die feinabstimmen statt inferieren möchten.

Zwei ehrliche Einschränkungen kommen noch hinzu. Erstens: Gewichte sind noch kein laufendes Modell. Das vLLM-Rezept, das NVIDIA veröffentlicht, legt den KV-Cache auf fp8 fest und setzt den bereitgestellten Kontext auf 262.144 Tokens mit max-num-seqs 1 – einer einzelnen gleichzeitigen Sequenz. Das ist der Unterschied zwischen „passt in 24 GB“ und „läuft schnell in 24 GB“, und es ist die Art von Detail, die eine Schlagzeile zur Speichergröße nie transportiert. Zweitens: 24 GB ist die Zahl, die der Architektursuche vorgegeben wurde, nicht eine auf Ihrem Rechner gemessene Zahl: Treiber-Overhead, das Betriebssystem und was sonst noch auf dem Laptop ist, sind alle nicht darin enthalten, weshalb die Botschaft genau „läuft neben Ihren Apps“ statt „läuft anstelle von ihnen“ lautet.

Die Geschwindigkeitsangabe und der Rechner, auf dem sie gemessen wurde

NVIDIA hat für mindestens 80 Token pro Sekunde ausgelegt und meldet 83,99 bei AIPerf SPEED-Bench-Coding. Diese Zahl braucht drei Kontextangaben, bevor sie überhaupt etwas aussagt: Sie wurde mit llama.cpp unter Windows 11 ARM x64 auf einem Surface Laptop Ultra mit 128 GB Arbeitsspeicher erzeugt, mit angebundenem LiLiCorr Speculative Drafter und sieben Draft-Token pro Schritt. Der Drafter ist kein optionales Beiwerk – er ist ein begleitender 1,13B-Checkpoint, dessen einziger Zweck darin besteht, die Akzeptanzlänge zu erhöhen (NVIDIA meldet Mittelwerte von 4,68 beim Greedy-Decoding und 4,25 beim Sampling bei Nebenläufigkeit 64 in vLLM). Lässt man den Drafter weg, misst man ein anderes Modell.

Die zweite Geschwindigkeitszahl ist die interessantere, denn sie ist eine Fertigstellungszeit statt einer Rate: 600,80 Sekunden Replay-Dauer auf AA-AgentPerf Local, gegenüber 453,97 für Qwen3.6 35B-A3B, 480,68 für Gemma 4 26B-A4B und 1.043,28 für Qwen3.8 27B — alle aus NVIDIAs eigener Tabelle, alle auf derselben Hardware. Bolt gewinnt diese Zeile, indem es dieselben Agenten-Trajektorien schneller abschließt als ein kleineres Modell, und verliert die Durchsatz-Zeile gegen die beiden anderen mit 83,99 gegenüber 96,63 und 100,56 Token pro Sekunde. Schnell und flott sind nicht dieselbe Messung, und dies ist ein Modell, das das Zweite gegen das Erste eintauscht.

Was die unabhängige Messung sagt

Eine Zahl im öffentlichen Datenbestand zu Bolt stammt nicht von NVIDIA: Der Artificial Analysis Intelligence Index bewertet es mit 21, was es auf Platz vier von 67 Modellen seiner Klasse bringt. Dieses Panel meldet außerdem weder Geschwindigkeit noch Kosten dafür, weil es keine öffentliche API gibt, die man aufrufen könnte – und es führt die Eingabemodalität des Modells als Text und Bild, nicht als Video, was eine engere Auslegung ist als die des Anbieters.

Dieselbe Seite merkt an, dass das Modell während der Evaluierung 230 Mio. Token generierte, was sie gegenüber einem Median von 100 Mio. als sehr wortreich bezeichnet. Reasoning, das bei derselben Aufgabe mehr Token erzeugt, ist nicht automatisch schlechter, aber es kostet etwas auf einem lokalen Gerät, bei dem jeder Token von einem Lüfter erzeugt wird.

Alles andere, was im Umlauf ist, beruht auf Herstellerangaben. NVIDIAs eigene Tabelle mit dreizehn Benchmarks, in der Bolt bei PinchBench seine Speicherklasse anführt und bei WebArena und BrowseComp auf dem zweiten Platz liegt, vergleicht mit Modellen, die teilweise danach ausgewählt wurden, dass sie bei 4-Bit in 24 GB passen – eine Vergleichsgruppe, die durch eine Einschränkung definiert ist, die zu erfüllen Bolt konstruiert wurde. Das ist nicht unehrlich; es ist aber auch keine Rangliste von Agentenmodellen im Allgemeinen, und die eine Zelle, die in die andere Richtung ausschlägt, ist aufschlussreich: Mit 16,90 bei der AA-Omniscience-Genauigkeit liegt Bolt in derselben Tabelle hinter Gemma 4 26B-A4B mit 22,17.

Was ist nicht in der Box?

Es gibt keinen Endpunkt. Keine nutzungsabhängige Abrechnung, keinen Anbieter, der ihn bereitstellt, keine Möglichkeit, ihn am eigenen Traffic zu bewerten, ohne das Deployment abzuschließen. Was es stattdessen gibt, ist Runtime-Unterstützung, die bereits zum Release und nicht erst Monate später verfügbar war: llama.cpp und der GGUF-Checkpoint, Ollama, LM Studio, Unsloth für Fine-Tuning und vLLM für den quantisierten Checkpoint auf DGX Spark sowie den BF16-Checkpoint anderswo. NVIDIAs eigener Blog nennt diese fünf namentlich, und genau diese Breite ist hier das eigentliche Produkt – eine 24-GB-Datei ist nur nützlich, wenn das, was sie lädt, bereits auf deinem Rechner existiert.

Die Hardware-Reichweite ist breiter, als die Launch-Day-Story über RTX Spark Laptops vermuten lässt: GeForce RTX PCs, DGX Spark, DGX Station und RTX PRO Workstations werden alle genannt, und die Modellkarte listet Ampere, Hopper und Blackwell für den vLLM-Pfad auf.

Die Lizenz ist OpenMDW-1.1, die permissiv genug ist, um darauf aufzubauen, und zugleich so unbekannt, dass eine juristische Prüfung ein echter Schritt und nicht nur eine Formalität ist – wissenswert, bevor eine Architekturentscheidung davon abhängt.

Ein Copy-Paste-Fehler in NVIDIAs eigenem technischen Blog setzt die Checkpoint-Liste unter die Überschrift „Nemotron 3.5 Super VL 74B-A9B 24GB“ statt unter Bolt. Es ist ein Tippfehler in einer schnellen Veröffentlichung, kein Fork in der Familie, aber es ist ein nützlicher Hinweis darauf, dass Anbieterseiten, die am Ankündigungstag geschrieben werden, Entwürfe mit einem Veröffentlichungsdatum sind.

Für Teams, die auch Modelle aufrufen, die ihnen nicht gehören

Die lokal ausgeführte Hälfte eines Agenten-Stacks und die gehostete Hälfte sind normalerweise dasselbe Projekt, und Bolt deckt nur eine davon ab. OrcaRouter hostet keinen Nemotron-Checkpoint – das wurde anhand unseres eigenen Katalogs geprüft und nicht einfach angenommen –, daher ist nichts hiervon Werbung für ein Modell, das wir anbieten. Was wir tun, ist die andere Seite einer gemischten Bereitstellung: ein Schlüssel für über 200 Modelle zum Listenpreis des Anbieters mit keinem Aufschlag, automatischem Failover, wenn ein Anbieter mitten in einer Anfrage schwächelt, und einer Routing-DSL, mit der sich eine Fallback-Kette als Konfiguration statt als Anwendungscode beschreiben lässt. Wenn Bolt die lokale Hälfte ausführt, ist das die Hälfte, die nie auf einer Rechnung auftaucht; die Routing-Frage ist, was mit dem Rest passiert.

Was zu sehen

Drei Dinge werden über den Ruf dieses Modells entscheiden, und keines davon steht in der Ankündigung.

Das erste ist die unabhängige Latenz auf echter Hardware. NVIDIAs 83,99 Token pro Sekunde sind ein kontrollierter Benchmark mit einem angehängten spekulativen Drafter; jemand wird irgendwann veröffentlichen, was es auf einem Laptop leistet, auf dem gleichzeitig ein Browser und ein Editor laufen, und diese Zahl wird mehr zählen als diese. Das zweite ist die E4B-Variante am 23. Oktober, die testet, ob das Kompressionsrezept herunterskaliert oder nur bei einer Größe funktioniert. Das dritte ist, ob jemand außerhalb von NVIDIA den BF16-Checkpoint nachtrainiert – denn ein 24GB-Deployment-Artefakt mit einer offenen Lizenz und ein 150GB-Anpassungsartefakt daneben sind eine bewusste zweigleisige Veröffentlichung, und die zweite Schiene ist diejenige, die entscheidet, ob daraus eine Plattform oder ein Checkpoint wird.

Vorerst steht die Tatsache für sich. Ein multimodaler Agent mit 74 Milliarden Parametern passt in den Speicher eines Laptops, der weniger als eine Workstation kostet, läuft mit angehängtem Drafter mit etwa 84 Tokens pro Sekunde, erreicht 21 Punkte auf dem einen unabhängigen Index, der ihn gemessen hat, und kann von niemandem als API aufgerufen werden. Das ist eine spezifische und ungewöhnliche Kombination, und es lohnt sich, genau zu bestimmen, welche Hälfte davon Sie brauchen.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.