Nemotron 3.5 Bolt ist da: Was NVIDIAs 24GB-2-Bit-Checkpoint tatsächlich enthält

Das Repository für N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB erschien am 7. Oktober 2026 auf Hugging Face und blieb dort, still, acht Tage lang. Am 15. Oktober kündigte N​VIDIA es an – ein Blogbeitrag, eine Newsroom-Mitteilung und eine mit diesem Datum versehene Forschungsseite –, was bedeutet, dass der interessante Teil dieser Geschichte nicht der Launch ist. Es ist die Lücke. Acht Tage lang war das Einzige, was irgendjemand über N​emotron 3.5 Bolt wissen konnte, das, was eine Modellkarte und eine Reihe von Safetensors aussagten, und alles andere war Inferenz. Diese Lücke hat sich nun geschlossen, und es lohnt sich, präzise zu sein in Bezug darauf, was das Schließen tatsächlich geklärt hat, denn ein guter Teil dessen, was die Leute über dieses Modell wiederholen, stammte aus dem Repository und nicht aus der Ankündigung, und die beiden sind nicht dasselbe Dokument.

Was jetzt sicher ist, und zwar in einem Absatz, ist Folgendes. N​emotron 3.5 Bolt 74B-A9B 24GB ist ein Vision-Language-Modell als Mixture-of-Experts mit 74 Milliarden Parametern, von denen pro Token 9 Milliarden aktiv sind, veröffentlicht am 15. Oktober 2026 unter der Lizenz OpenMDW-1.1, das seine Expertengewichte mit 2,0625 Bit pro Element speichert, sodass das Ganze in 24GB passt. Es ist darauf ausgelegt, lokale agentische Arbeit – Tool-Aufrufe, Browsen, Terminal-Nutzung – auf RTX- und DGX-Spark-Hardware auszuführen. Es ist auf Ollama als 25GB-Tag mit einem 256K-Kontextfenster verfügbar. Es ist auf keiner gehosteten API verfügbar und hat keinen Preis. Ein Teil dieses Satzes ist unabhängig gemessen, der Rest ist das Wort des Herstellers.

Zwei Daten, und welches davon man angeben sollte

Es gibt einen echten Unterschied zwischen den beiden Daten, und er entscheidet, wie Sie den Rest dieses Artikels lesen sollten.

Das Repository von Hugging Face wurde am 7. Oktober 2026 um 17:50 UTC erstellt. Die darin enthaltene Modellkarte enthält ein Feld „Release Date“ mit der Angabe Hugging Face 15.10.2026. N​VIDIAs eigene Forschungsseite für den Checkpoint trägt den Vermerk Veröffentlicht: 15. Oktober 2026. Der Anbieter-Blogbeitrag, in dem die Bolt-Stufe angekündigt wird, ist auf den 15. Oktober 2026 datiert und besagt mit genau diesen Worten, dass Super VL und Bolt 74B-A9B „jetzt verfügbar sind“.

Die ehrliche Lesart ist also, dass der 15. Oktober das Veröffentlichungsdatum ist und der 7. Oktober der Tag, an dem der Ordner auftauchte. Wer den 7. Oktober als Starttermin nennt, zitiert einen Dateizeitstempel; wer den 15. Oktober nennt, zitiert den Anbieter. Die acht Tage Lücke sind allerdings aus einem anderen Grund von Bedeutung als wegen der Daten. Sie bedeuten, dass das Modell über eine Woche lang in einem Zustand existierte, in dem das Repository die einzige Oberfläche war – keine Ankündigung, keine Preisseite, kein Leaderboard-Eintrag, niemand von N​VIDIA, der sagte, wofür es gedacht war. Jede frühe Beschreibung von Bolt, die in diesem Zeitfenster entstand, einschließlich der jetzt kursierenden, basierte auf der Karte. Die Karte erweist sich als zutreffend. Das sollte man klar sagen, denn der übliche Ausgang solcher Situationen ist, dass sie es nicht ist.

Was allein das Repository beweist

Alles in diesem Abschnitt war bereits aus der Modellkarte und den Konfigurationsdateien ersichtlich, bevor N​VIDIA auch nur ein Wort gesagt hat, und es ist alles nach wie vor wahr.

• Parameter — insgesamt 74 Milliarden, 9 Milliarden pro Token aktiv. Sparse Mixture-of-Experts, kein dichtes Modell.

• Architektur — ein Hybrid aus Mamba-2 und Transformer mit einem LatentMoE-Backbone und einem C-RADIO v4-H Vision-Encoder. Die Konfiguration registriert die Klasse als NemotronH_Omni_Reasoning_V3.

• Gespeicherte Präzision — IQ2_XXS mit 2,0625 Bit pro Element auf den FC1- und FC2-Schichten der gerouteten und gemeinsam genutzten Experten, wo der Großteil der Gewichte liegt. Die linearen Mamba-Schichten liegen bei NVFP4, und die Embeddings, der Output-Head sowie die Attention- und LatentMoE-Gewichte bei Q8_0.

• Kontext — bis zu 256K Token bzw. 262.144 in den Deployment-Rezepten.

• Eingaben und Ausgaben – Text, Bilder und Videos als Eingabe; Text als Ausgabe.

• Lizenz — OpenMDW-1.1, und die Karte sagt es unmissverständlich: „bereit für kommerzielle oder nicht-kommerzielle Nutzung."

• Basismodelle und Herkunft — die Karte deklariert ihr Basismodell als den gleichnamigen BF16-Checkpoint und ihre Beziehung dazu als quantisiert, und die Dataset-Tags verweisen auf die N​emotron-Sammlungen für Pre-Training und Post-Training von N​VIDIA.

• Modelldaten — Dezember 2025 bis Mai 2026, mit einem Cutoff für die Post-Training-Daten von Mai 2026. Lesen Sie das sorgfältig, wenn Aktualität für Sie wichtig ist: Das Modell ist eine 2026er Veröffentlichung, die auf Daten basiert, die viereinhalb Monate vor seiner Auslieferung enden.

• Laufzeitumgebungen — vLLM auf NVIDIA Ampere, Hopper und Blackwell sowie llama.cpp für RTX Spark und DGX Spark. Ollamas Auflistung ist unverblümter, was die Einschränkungen angeht: CUDA-Bereitstellung ist dokumentiert, und Apple Silicon und Metal werden derzeit nicht unterstützt.

Was die Ankündigung hinzufügte

Das Material des Anbieters ergänzt drei Dinge, die Ihnen das Repository nicht hätte sagen können.

Zuerst die Einordnung in die Familie. Bolt wird als Edge-Tier der N​emotron-Familie positioniert, unterhalb von N​emotron 3.5 Super VL mit 120B für Always-on-Server-Agenten und oberhalb von nichts Bestimmtem — N​VIDIAs eigener Satz sortiert sie: Super VL und Bolt „decken die gesamte Bandbreite an Agenten-Bereitstellungen ab, von großen Unternehmensservern bis hin zu Edge-Geräten und lokaler Hardware.“ N​emotron 3.5 Bolt E4B 4GB, ein Modell mit 4 Milliarden Parametern für konversationelle und physische Agenten, erscheint am 23. Oktober.

Zweitens die Kompressions-Story, die hier die wirklich neuartige technische Behauptung ist. Bolt ist kein Modell, das klein trainiert und dann quantisiert wurde. Es ist Nemotron 3.5 Super VL – 120B insgesamt, 12B aktiv –, das durch Star Elastic, NVIDIAs router-gesteuerte Architektursuche, geschickt wurde, unter der harten Vorgabe, bei Batchgröße eins und 128K Kontext unter 24 GB Speicher zu passen. Expert-Top-K sank von 22 im Elternmodell auf 9 bei Bolt, die intermediären Breiten des MoE wurden pro Schicht durchsucht, und anschließend wurde das komprimierte Netzwerk quantisiert und einer quantisierungsbewussten Destillation unterzogen, um Genauigkeit zurückzugewinnen. NVIDIAs dargelegte Schlussfolgerung ist der interessante Teil, und sie ist eine echte Position, keine Angeberei: Bei einem festen Speicherbudget schlägt das Herunterkomprimieren eines großen Modells das Training eines kleinen von Grund auf. Das ist eine Behauptung, die man testen kann, und niemand außerhalb von NVIDIA hat das getan.

Drittens: zwei vom Anbieter genannte Platzierungen in Bestenlisten: Platz 1 der offenen Modelle in seiner Klasse auf PinchBench und Platz 2 der offenen Modelle auf BrowseComp. Beides ist NVIDIAs Charakterisierung seines eigenen Modells gegenüber einer Klasse, die es selbst definiert hat.

Was die Ankündigung nicht hinzufügt, ist ein bereitgestellter Endpunkt. Es gibt keine gehostete API, keinen Preis pro Token und keine Möglichkeit, N​emotron 3.5 Bolt aufzurufen, ohne die Hardware zu erwerben, auf der es läuft. Artificial Analysis, die das Modell bewertet hat, listet seine Geschwindigkeits- und Kostenfelder aus genau diesem Grund als nicht verfügbar: keine öffentlich verfügbare API zum Messen.

Der Teil, den niemand außerhalb von NVIDIA ausgeführt hat

Hier muss der Artikel langsamer werden, denn die Kluft zwischen dem, was gemessen wurde, und dem, was behauptet wurde, ist für ein Modell dieser Größe ungewöhnlich groß.

Auf der gemessenen Seite gibt es eine Zahl, und sie ist gut: Artificial Analysis führt N​emotron 3.5 Bolt 74B-A9B mit 21 im Intelligence Index, was es auf Platz vier von 67 Modellen in seiner Vergleichsklasse setzt. Das ist eine unabhängige Messung des tatsächlichen 2-Bit-Checkpoints, nicht eines BF16-Referenz-Builds, und es ist die nützlichste einzelne Kennzahl, die heute für dieses Modell verfügbar ist.

Auf der Seite der Behauptungen steht alles andere. Die Modellkarte enthält eine Tabelle mit dreizehn Benchmarks und vier Spalten — Qwen3.6-35B-A3B in BF16, Gemma 4 26B-A4B in BF16, Nemotron 3.5 Lightning 30B-A3B in BF16 und Bolt in IQ2 — und jede Zeile davon wurde von NVIDIA erstellt, einschließlich der drei Baseline-Spalten, die NVIDIA ausgewählt hat, weil sie mit 4-Bit-Quantisierung in 24 GB passen. Bolt ist in zehn Zeilen der fettgedruckte Sieger und in drei Zeilen nicht der Sieger: AA-Omniscience-Genauigkeit, bei der Gemma 4 26B-A4B 22,17 gegenüber Bolts 16,90 erzielt; AA-Omniscience-Nicht-Halluzination, bei der Nemotron 3.5 Lightning 30B-A3B 68,81 gegenüber Bolts 61,27 erzielt; und PinchBench, bei dem Qwen3.6-35B-A3B 88,07 gegenüber Bolts 87,82 erzielt. Die drei Zeilen zu veröffentlichen, die man verliert, spricht für den Anbieter und ändert nichts daran, was die Tabelle ist: nicht reproduziert.

Die Geschwindigkeitszahlen verdienen einen eigenen Absatz, weil sie der Vermarktung zuwiderlaufen. NVIDIAs eigene Messtabelle, erstellt mit llama.cpp unter Windows 11 ARM64 auf einem Surface Laptop Ultra mit 128 GB, zeigt Bolt bei 83,99 Tokens pro Sekunde auf AIPerf SPEED-Bench-Coding – hinter Qwen3.6-35B-A3B mit 96,63 und Gemma 4 26B-A4B mit 100,56. Auf derselben Seite beträgt die End-to-End-Replay-Dauer über realistische Agent-Trajektorien 600,80 Sekunden für Bolt gegenüber 453,97 für Qwen3.6 und 480,68 für Gemma. Das Versprechen lautet Intelligenz pro Gigabyte, nicht Geschwindigkeit, und die eigene Tabelle des Anbieters passt zu diesem Versprechen, nicht zu der Behauptung, der schnellste zu sein.

Die Beweislage sieht also so aus: ein unabhängiger zusammengesetzter Score, der respektabel ist, eine Hersteller-Benchmark-Tabelle, die niemand reproduziert hat, eine Hersteller-Geschwindigkeitstabelle auf einem Laptop, die niemand außerhalb NVIDIA ausgeführt hat, und null unabhängige Latenzmessungen. Betrachte jeden Artikel, der Bolts PinchBench-Wert berichtet, ohne zu sagen, wer ihn erhoben hat, als unzuverlässig, einschließlich jedes Artikels, der diesem hier zustimmt.

Was kam daneben an?

Ein Modell-Release ist selten nur die Gewichte, und Bolts Begleitumfeld ist größer als üblich für etwas ohne API.

Der spekulative LiLiCorr-Drafter wird mitgeliefert – 1,13 Milliarden Parameter ohne die gemeinsam genutzten Embeddings und den Output-Head, gemeinsam mit dem Zielmodell trainiert, und NVIDIA meldet mittlere Akzeptanzlängen von 4,68 beim Greedy-Decoding und 4,25 beim probabilistischen Sampling mit sieben gedrafteten Tokens bei einer Nebenläufigkeit von 64 in vLLM. Der Drafter ist ein separater herunterladbarer Checkpoint, kein Laufzeit-Flag, und er ist der Mechanismus hinter der für RTX Spark genannten 84-TPS-Zahl.

Framework-Unterstützung kam schnell. Ollama listet nemotron-3.5-bolt in drei Tags — ein Standard-Tag, ein 74B-A9B-Tag und ein IQ2-Tag — jeweils mit 25GB, einem 256K-Kontext und Text- und Bildeingabe, mit Einzeilen-Startern für C​laude Code, OpenCode, Hermes Agent und OpenClaw. Darüber hinaus gibt es einen GGUF-Build von N​VIDIA, eine Kette von Community-Quantisierungen mit 4-Bit und 8-Bit sowie MLX-Konvertierungen, die innerhalb eines Tages nach der Ankündigung erschienen. Für einen Checkpoint, der auf einem einzelnen 24GB-Gerät läuft, ist dieses Ökosystem, das innerhalb von 48 Stunden eintrifft, das eigentliche Signal dafür, dass dies ein nutzbares Artefakt und kein Demonstrator ist.

Die praktische Warnung für alle, die es nutzen wollen: Die Angabe von 24GB ist eine Untergrenze für die Gewichte, keine Obergrenze für die Arbeitslast. Bilder, Videoframes, Gesprächsverlauf und Tool-Ergebnisse teilen sich alle das Kontextbudget, und Ollamas eigene Anmerkung besagt, dass der nutzbare Kontext vom verfügbaren Speicher abhängt. Ein 25GB-Download, der bequem passt, ist nicht dasselbe wie eine 256K-Token-Sitzung, die bequem passt.

Was dich das angeht, und was nicht

Wenn deine Workload lokal und agentisch ist – Terminalnutzung, Browsing, Tool-Aufrufe, Code-Debugging auf einem Gerät, das dir gehört –, ist N​emotron 3.5 Bolt 74B-A9B 24GB jetzt eine vertretbare Wahl mit einer unabhängigen Bewertung und einem Satz Gewichte, den du einsehen kannst. Das Komprimierungsargument dahinter ist wirklich interessant, die Lizenz erlaubt kommerzielle Nutzung, und das Tooling war innerhalb eines Tages verfügbar.

Wenn Ihre Workload von Code aufgerufen werden muss, der irgendwo läuft, das Ihnen nicht gehört, ist dieses Modell heute keine Option, und die ehrliche Antwort auf „Wie verwende ich es" ist, dass Sie es selbst auf NVIDIA-Hardware betreiben oder warten. Wir haben unseren eigenen Katalog geprüft, statt es einfach anzunehmen, und es gibt kein NVIDIA-Modell darin — es gibt hier also nichts für uns weiterzuleiten, und etwas anderes zu behaupten wäre eine Lüge. Was OrcaRouter bietet, ist die andere Hälfte eines gemischten Deployments: die Modelle, die Sie aufrufen würden, wenn eine Anfrage zu schwierig, zu lang oder zu unbekannt für einen lokalen 2-Bit-Checkpoint ist, hinter einem Schlüssel über mehr als 200 Modelle hinweg zum Listenpreis des Anbieters ohne Aufschlag, mit automatischem Failover, wenn ein Anbieter wackelt. Einen lokalen Bolt mit einer gerouteten API zu kombinieren, ist eine sinnvolle Architektur. So zu tun, als wäre Bolt auf der gerouteten Seite, ist es nicht.

Worauf man achten muss, ist nicht die nächste Benchmark-Tabelle. Es ist, ob jemand außerhalb von N​VIDIA einen Latenz-Durchlauf zum 24-GB-Checkpoint auf Hardware veröffentlicht, die ein Leser tatsächlich besitzt, und ob überhaupt ein gehosteter Endpunkt auftaucht. Bis eines davon geschieht, ist die Spezifikation ein Versprechen, und ein Indexwert ist das Einzige, was dahintersteht.

Ein Ergebnis wie dieses ist auch eine Erinnerung daran, dass Modellfehler bereits dokumentiert sind: Die KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse werden im OrcaRouter AI Incident Archive gesammelt, wobei jeder Eintrag eigene Quellen, einen Schweregrad, eine Konfidenzstufe und eine Kennzeichnung als umstritten trägt.