Nemotron 3.5 Bolt E4B 4GB: Was tatsächlich ausgeliefert wurde und warum der Name irreführt

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB ging am 23. Oktober 2026 auf Hugging Face live, und das Erste, was es dazu zu sagen gibt, ist Arithmetik: Die Datei ist 6,18 GB groß. Der Name sagt 4 GB. Beide Zahlen sind real, sie messen unterschiedliche Dinge, und die Kluft zwischen ihnen ist die nützlichste Tatsache an dieser Veröffentlichung.

NVIDIAs technischer Blog bezeichnet 4 GB als den vorgesehenen Speicherrahmen für die Ziel-Workloads des Modells – ein Budget dafür, was das Modell belegen sollte, während eine Anwendung daneben läuft. Es ist keine Parameteranzahl und keine Downloadgröße. Der Checkpoint selbst umfasst insgesamt 8B mit 4B effektiven Parametern, nachtrainiert aus Gemma-4-E4B-it, und wird in genau zwei Präzisionen veröffentlicht: einem 15,88 GB großen BF16-Build und einem 6,18 GB großen Q4_K_M-GGUF. Wenn Sie hierhergekommen sind, um eine Vier-Gigabyte-Datei zu finden, die Sie auf ein Gerät legen können, gibt es keine im Repository.

Das ist es wert, klar gesagt zu werden, denn der Rest der Veröffentlichung ist ungewöhnlich gut nachvollziehbar. Die Model Card ist detailliert, der technische Bericht ist öffentlich, und die Tabelle mit den gemessenen Latenzwerten umfasst vier Geräte. Was fehlt, ist eine unabhängige Überprüfung – und die Model Card sagt das selbst.

Die Veröffentlichung, rekonstruiert aus dem, was öffentlich ist

Dieses hier bekam keinen Launch. Es bekam eine Fußnote und dann einen Blogbeitrag.

• 5. Oktober 2026 — die Hugging Face-Repositories für die Q4_K_M- und BF16-Builds werden erstellt. Keines von beiden ist mit Gewichten befüllt.

• 15. Oktober 2026 — NVIDIA kündigt die Nemotron-3.5-Familie an: Super VL 120B-A12B und Bolt 74B-A9B 24GB, beide an diesem Tag verfügbar. Das E4B bekommt zwei Sätze und ein Datum: erscheint am 23. Oktober.

• 23. Oktober 2026 — die Q4_K_M- und BF16-Gewichte werden veröffentlicht, die Modellkarte geht online, und NVIDIAs Forschungslabor veröffentlicht einen technischen Blogbeitrag und einen technischen Bericht. Es gibt keine Unternehmens-Pressemitteilung, und die Berichterstattung zum Marktstart, die auf die Ankündigung vom 15. Oktober folgte, bleibt für diesen Launch aus.

Also ist „shipped quietly“ zutreffend, „secret“ wäre es nicht. NVIDIA hat das Modell benannt, mit einem Datum versehen und es dann noch am selben Tag ordentlich dokumentiert. Was NVIDIA nicht getan hat: das E4B denselben Reporterinnen und Reportern zu präsentieren, die über seine Geschwistermodelle berichtet hatten. Die praktische Folge für alle, die dies in den ersten Wochen lesen, ist, dass sich fast jede der folgenden Aussagen auf eine einzige Quelle zurückführen lässt: NVIDIA.

Vier Gigabyte sind ein Budget, kein Download

Die veröffentlichten Dateigrößen sind eindeutig, sobald man das Repository statt des Namens betrachtet.

• Q4_K_M GGUF — 6.180.446.208 Bytes bzw. 6,18 GB dezimal ausgedrückt, in einer einzigen Datei namens Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16-Safetensors — 15.882.494.698 Bytes bzw. 15,88 GB in einem Shard, plus eine 110 MB große eingefrorene Shared-KV-Datei.

Kein 4-GB-Artefakt — es gibt keine kleinere Quantisierung im Repository, und die Karte veröffentlicht keine Datei, die die Zahl im Namen erreicht.

Was NVIDIA tatsächlich veröffentlicht, ist eine Batch-1-Messung mit llama.cpp auf vier Geräten, und in dieser Tabelle wird die 4-GB-Behauptung konkret:

• RTX 5070 12GB — 3,5 bis 4,3 GB VRAM, 548 bis 1.238 ms Zeit bis zum ersten Token, 106,2 bis 133,4 Token pro Sekunde.

• RTX Spark 32GB — 3,1 bis 4,2 GB VRAM, 930 bis 1.988 ms bis zum ersten Token, 52,0 bis 67,0 Token pro Sekunde.

• Jetson Orin Nano 8GB — 4,2 bis 4,9 GB VRAM, 5.785 bis 6.259 ms bis zum ersten Token, 13,0 bis 15,5 Token pro Sekunde.

• Jetson AGX Orin 32GB — 4,2 bis 5,0 GB VRAM, 3.687 bis 4.091 ms bis zum ersten Token, 20,3 bis 24,0 Token pro Sekunde.

Die VRAM-Werte liegen unter der Dateigröße von 6,18 GB, was bedeutet, dass die Laufzeitumgebung in diesen Läufen nicht die gesamte Datei dauerhaft auf der GPU hält. Die Karte erklärt den Mechanismus nicht, und dies ist ein guter Punkt, um der Versuchung zu widerstehen, einen zu erfinden: speichergemappte Gewichte, teilweises Offload und die Dimensionierung des KV-Cache wirken alle zusammen, und NVIDIA hat die Aufteilung nicht veröffentlicht. Was sich sagen lässt, ist, dass die 4-GB-Grenze ein gemessenes Ergebnis auf spezifischer Hardware unter einer spezifischen Laufzeitumgebung ist, nicht eine Eigenschaft des Downloads.

Die Orin-Nano-Zeile ist diejenige, die man zweimal lesen sollte, wenn das Verkaufsargument Sprachassistenz lautet. Dreizehn bis fünfzehn Token pro Sekunde bei fast sechs Sekunden bis zum ersten Token sind ein brauchbarer eingebetteter Agent und ein schlechter Echtzeit-Gesprächspartner. Die RTX-5070-Zeile ist das Gegenteil: schnell genug für interaktive Nutzung, auf einer Desktop-GPU.

Was NVIDIA bei Gemma 4 E4B tatsächlich geändert hat

Die Architektur ist vollständig übernommen. Dies ist Gemma-4-E4B, ein Mixture-Modell mit insgesamt 8B Parametern und 4B effektiven Parametern, und NVIDIAs Beitrag ist Post-Training statt eines neuen Backbones. Die Karte führt die Arbeiten als Reinforcement Learning aus verifizierbaren Belohnungen und menschlichem Feedback über NeMo-RL und NeMo-Gym auf, und zwar über Tool Calling und Schemas, Instruction Following und Hierarchie, strukturierte Ausgaben, Freiformformatierung und generative Belohnungsmodellierung. Die Trainings-Batches wiesen ein Verhältnis von 2:1 von Nicht-Reasoning- zu Reasoning-Samples auf, und NVIDIA erhöhte die Längenstrafen, um Ausführlichkeit zu kontrollieren – ein Detail, das später in der Benchmark-Tabelle auftaucht.

Der Q4_K_M-Build wurde mit llama.cpp und imatrix-Kalibrierung auf etwa einer Million Tokens an RL-Rollouts erzeugt. Außerdem gibt es einen DFlash-Drafter für spekulative Dekodierung, der laut NVIDIA bis zu 21 % mehr Durchsatz lieferte als der ursprüngliche Multi-Token-Prediction-Drafter von Gemma-4-E4B. Der Drafter ist ein separates Repository, und zum Zeitpunkt der Prüfung gab es bei anonymen Anfragen HTTP 401 zurück; daher ist er als zusätzlicher Zugriffsschritt zu behandeln und nicht als Download noch am selben Tag.

Zwei Schalter im Chat-Template erledigen den Großteil der Verhaltenssteuerung. enable_thinking schaltet Reasoning ein oder aus und akzeptiert ein Denkbudget zur Laufzeit; conversational_mode fügt eine Systemanweisung für gesprochene Konversation für kurze Antworten mit wenig Formatierung hinzu. Der zweite Schalter ist der verräterische Hinweis. Dieses Modell ist darauf ausgelegt zu sprechen, nicht ein Kontextfenster mit Analyse zu füllen.

Der Kontextumfang beträgt 64K Eingabe und 64K Ausgabe. Die Sprachabdeckung liegt bei 34 in den Hugging-Face-Metadaten und bei 35 im technischen Blog – eine kleine Unstimmigkeit, keine inhaltlich bedeutsame, und die Post-Training-Karte führt Englisch, Französisch, Deutsch, Italienisch, Japanisch, Spanisch und Chinesisch als primäre Sprachen auf.

Die Lizenz ist eher ein Bündel als ein einzelnes Dokument: OpenMDW-1.1 für NVIDIAs Beitrag, Apache 2.0 für die Gemma-4-Komponente. Die Karte gibt an, dass das Modell für kommerzielle oder nichtkommerzielle Nutzung bereit ist. OpenMDW ist freizügig, aber nicht OSI-anerkannt, was für Rechtsteams wichtiger ist als für Entwickler.

Die Benchmark-Tabelle, gelesen im Abgleich mit den Modellen, die sie nennt

NVIDIA hat das Modell unter einem einheitlichen NeMo-Gym-Harness gegen Gemma4 E4B-it, Qwen3.5 4B und das eigene Nemotron 3 Nano-4B evaluiert. Jede unten aufgeführte Zahl ist vom Anbieter angegeben und nicht reproduziert. Die Modellkarte sagt, die Zahlen „könnten von den selbst angegebenen Zahlen der Anbieter abweichen“, was ein ehrlicher Vorbehalt und zugleich eine Erinnerung ist, dass die Vergleichsgruppe NVIDIAs Wahl ist.

Die Vorteile konzentrieren sich auf Konversation und Steuerung:

• {{1}}RoleBench Custom{{/1}} — 67,05 für Bolt E4B gegenüber 53,66 für Qwen3.5 4B, 49,95 für Gemma4 E4B-it und 12,02 für Nano-4B. Dies ist der Persona-Benchmark, und der Abstand ist der größte in der Tabelle.

• IHEval, Instruktionshierarchie — 84,79 gegenüber 60,57, 67,04 und 51,31. Ein Vorsprung von 17 Punkten vor dem nächsten Wettbewerber ist in dieser Größenordnung ungewöhnlich.

• When2Call Multi-Turn — 63,36 gegenüber 37,85 für Qwen3.5 4B, 62,90 für Gemma4 und 27,70 für Nano-4B. Zu wissen, wann man ein Tool nicht aufrufen sollte, ist ebenso eine Gesprächsfähigkeit wie eine agentische Fähigkeit.

• RelyToolBench — 63,16 gegenüber 43,35, 61,60 und 41,20. Verankerung in Tool-Ausgaben, wiederum eine gesprächsnahe Fähigkeit.

• MultiChallenge — 53,10 gegenüber 51,76, 42,08 und 35,30. Ein knapper Sieg beim Umgang mit mehrstufigen Herausforderungen.

Die Verluste sind ebenso klar, und genau sie zählen, wenn man einen Agenten statt einer Figur will:

• Tau2-Bench — 55,10 gegenüber 75,06 für Qwen3.5 4B. Das ist ein Rückstand von 20 Punkten bei der Bewältigung mehrstufiger agentischer Aufgaben, und keine noch so gute Persona-Qualität schließt diese Lücke.

• RULER bei 64K — 86,99 gegenüber 95,15 für Qwen3.5 4B und 91,51 für Nano-4B. Das Modell akzeptiert 64K Kontext; es ruft Informationen darüber hinweg nicht so zuverlässig ab wie seine Vergleichsmodelle.

LongBench v2 bei 48K — 50,50 gegenüber 59,93 für Qwen3.5 4B. Gleiches Bild beim Reasoning über lange Dokumente.

• BFCL-v3 — 68,51 gegenüber 70,95 für Qwen3.5 4B. Ein kleines Defizit bei Function Calling und ein Sieg über die 66,39 von Gemma4.

• EQ-Bench v3 — 39,40 gegenüber 41,17 für Gemma4 E4B-it. Die einzige Zeile zur emotionalen Intelligenz, in der das Elternmodell das Kindmodell schlägt.

Die Q4_K_M-Spalte ist interessanter, als eine Quantisierungstabelle es üblicherweise ist. Die Komprimierung kostete nicht durchgängig Genauigkeit: MultiChallenge steigt von 53,10 auf 55,60, RoleBench von 67,05 auf 71,21, ToolSandbox von 68,77 auf 74,13 und RelyToolBench von 63,16 auf 69,29. Bei Tau2 sinkt der Wert von 55,10 auf 52,32, bei LongMemEval von 72,10 auf 69,92 und bei RULER von 86,99 auf 85,76. Ein Vier-Bit-Build, der mehrere Konversationswerte verbessert, ist plausibel, wenn die Kalibrierungsdaten aus den eigenen RL-Rollouts des Modells stammen, aber es ist weiterhin eine Herstellermessung, und das Rauschen auf Benchmark-Ebene bei einem 4B-Modell ist groß genug, dass diese Deltas nicht als Präzisionsleiter gelesen werden sollten.

Zwei Zeilen verdienen eine eigene Kennzeichnung. Brevity Bench und When2Call Multi-Turn sind Evaluierungen, die NVIDIA als Schließung von Lücken in bestehenden Benchmarks beschreibt, und im Blog heißt es, dass sie zu einem späteren Zeitpunkt veröffentlicht werden. Sie sind heute nicht unabhängig reproduzierbar – was für Brevity am wichtigsten ist, denn das ist die Zeile, die die Erzählung über weniger Ausgabe-Tokens trägt.

NVIDIAs zentrale Behauptung ist, dass das Modell im Durchschnitt etwa 40 % besser als Nemotron 3 Nano-4B und rund 10 % besser als Vergleichsmodelle abschneidet – bei bis zu 80 % weniger Ausgabe-Tokens in Vergleichen mit aktiviertem Reasoning. Die 80-%-Zahl ist eine Aussage zur Ausführlichkeit, keine zur Genauigkeit, und sie deckt sich mit dem Brevity-Benchmark-Wert von 82,52 – den NVIDIA in seine eigene Suite eingebaut hat. Nimm die Richtung ernst und die exakte Prozentzahl leicht.

Was das Repository Ihnen nicht verraten wird

Die Karte ist offen bezüglich ihrer eigenen Lücken, und es lohnt sich, die Lücken aufzulisten, da sie bestimmen, wie viel Vertrauen die Veröffentlichung rechtfertigt.

• Keine unabhängige Bewertung. Artificial Analysis hat zum Zeitpunkt des Verfassens keine Modellseite für das E4B, und kein Drittanbieter hat eine Reproduktion der 21-zeiligen Benchmark-Tabelle veröffentlicht.

• Kein Hosting-Preis. Die Modellkarte datiert einen Build.NVIDIA.com-Eintrag auf den 23. Oktober, doch weder dort noch in der Modellkarte wird ein Preis pro Token veröffentlicht. Wer eine API will, verhandelt oder nutzt einen kostenlosen Tarif – liest aber keine Preisliste.

• Das Deployment ist als „llama.cpp (Rezept ausstehend)“ gekennzeichnet, obwohl der Schnellstart funktionierende llama.cpp-Befehle enthält. Das ist ein Dokumentationswiderspruch, kein technischer, aber genau die Art von Problem, die eine automatisierte Deployment-Pipeline aus dem Tritt bringt.

Das 4-GB-Ziel wird nicht als Datei nachgewiesen. Der gemessene VRAM-Rahmen ist der Beleg; der Download umfasst 6,18 GB.

• Sicherheits-, Bias-, Erklärbarkeits- und Datenschutz-Unterkarten existieren als separate Dateien. Dieser Artikel prüft sie nicht, und auch keine unabhängige Stelle tut dies bisher.

Nichts davon macht die Veröffentlichung unglaubwürdig. Es macht sie früh. Eine Modellkarte, die von dem Team geschrieben wurde, das das Modell trainiert hat, ist die beste verfügbare Beschreibung dessen, wofür das Modell gedacht ist; sie ist kein Beleg dafür, dass das Modell dies leistet.

Wo ein lokales 4B-Modell an seine Grenzen stößt – und was man dahinter setzen sollte

Die ehrliche Architektur für diese Modellklasse ist eine geteilte. Ein 4B-Konversations-Checkpoint auf einem Jetson oder einer RTX-Karte ist hervorragend für die Reflexschicht geeignet: Wake-Word-Antworten, Persona-Dialog, kurze Tool-Aufrufe, Input-Grounding – die Teile einer Schnittstelle, die sich keinen Netzwerk-Roundtrip leisten können. Es ist nicht das, womit man eine Frage beantworten möchte, die 200K Kontext oder einen zehnstufigen agentischen Plan erfordert, und die eigene Benchmark-Tabelle sagt das auch.

Damit bleibt für jede Bereitstellung eine zweite Frage: Was übernimmt die Anfragen, die das lokale Modell nicht übernehmen sollte? Ein gehostetes Modell über OrcaRouter hinter dieselbe Anwendung zu schalten, bedeutet eine einzige API für über 200 Modelle, 0 % Aufschlag auf den Listenpreis des Anbieters und automatisches Failover, wenn die Leistung eines Anbieters nachlässt – sodass der Eskalationspfad eine Routing-Entscheidung ist statt eines zweiten SDK, eines zweiten Schlüssels und einer zweiten Abrechnungsbeziehung. Das lokale Modell bleibt der schnelle Pfad; das gehostete Modell ist der Fallback für die Fälle, für die das E4B nie trainiert wurde.

Was würde dieses Bild verändern?

Drei Dinge, nach Nützlichkeit geordnet. Ein unabhängiger Benchmark-Lauf auf demselben Harness würde klären, ob das gesprächslastige Profil außerhalb von NVIDIAs Evaluierung Bestand hat. Ein veröffentlichtes Artefakt von 4 GB oder weniger würde den Namen wörtlich machen. Und ein Preis für den Build-Endpunkt würde das Modell von einem Download in einen Dienst verwandeln, den man vergleichen kann.

Bis dahin ist die richtige Lesart eng und nützlich: {{1}}NVIDIA hat Gemma 4 E4B zu einem nachweislich besseren kleinen Konversationsmodell nachtrainiert, die Belege und die Lücken im selben Dokument veröffentlicht und es eine Woche nach dem Start der Familie mit fast keinem Aufsehen ausgeliefert.{{/1}} Die {{2}}4GB{{/2}} im Namen sind ein Ziel, das die gemessene Laufzeit erfüllt, der Download aber nicht. Planen Sie Ihren Speicherplatz mit {{3}}6.18GB{{/3}} und Ihre Erwartungen mit {{4}}13 bis 133 Tokens pro Sekunde{{/4}}, je nachdem, welches Gerät Sie tatsächlich besitzen.