Nemotron 3.5 Bolt 74B vs. Kimi K3: Eine 24-GB-Datei gegen ein Flaggschiff mit 2,8 Billionen Parametern

Die beiden Modelle in diesem Vergleich konkurrieren nicht um denselben Platz, und die Zahlen machen das deutlich, bevor einer der Anbieter auch nur ein Wort sagt. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB ist ein Vision-Language-Modell mit 74 Milliarden Parametern, das N​VIDIA zu einem 2-Bit-Checkpoint komprimiert hat, der klein genug ist, um neben dem Betriebssystem in 24 Gigabyte Arbeitsspeicher zu passen. Kimi K3 ist das 2,8-Billionen-Parameter-Flaggschiff von M​oonshot AI, ein Open-Weights-Modell, dessen kleinste praktikable Bereitstellung ein Rack ist. Das erste ist eine Datei, die man auf einen Laptop kopieren kann und die N​VIDIA am 15. Oktober 2026 auszuliefern begann. Das zweite ist eine Arbeitslast, die man pro Token mietet. Ihre Ergebnisse nebeneinander zu lesen ist gerade deshalb nützlich, weil die Lücke so groß ist, dass niemand vorgeben kann, das kleinere sei ein Ersatz.

Was auf dieser Seite wirklich zu tun lohnt, ist herauszufinden, wohin die 22 Punkte des Intelligence Index gehen und ob überhaupt welche davon auf die Aufgaben entfallen, die ein lokaler Agent tatsächlich ausführt.

Was wurde veröffentlicht, und wann?

Das Bolt-Repository erschien am 7. Oktober 2026 auf Hugging Face; NVIDIAs eigener Launch-Beitrag, der es mit dem Titel „Offen vom Rechenzentrum bis zum Desktop: NVIDIA erweitert die Nemotron-Familie um die hocheffizientesten Super VL- und Bolt-Modelle“ nennt, ist auf den 15. Oktober datiert. Die Modellkarte selbst trägt ein Veröffentlichungsdatum vom 15.10.2026. Diese Reihenfolge – zuerst die Gewichte, die Ankündigung acht Tage später – ist wichtig für alle, die Berichterstattung über dieses Modell lesen, denn eine Woche lang besteht der öffentliche Informationsstand aus einem herunterladbaren Checkpoint und einer Modellkarte, an die keine Pressemitteilung geknüpft ist.

Ansonsten unterscheiden sich die beiden Modelle in allem. Kimi K3 wurde am 16. Juli 2026 vorgestellt, die Gewichte folgten am 27. Juli, wodurch es rund drei Monate älter und von Dritten erheblich besser dokumentiert ist.

• Architektur — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB ist ein Mamba-2-Transformer-Hybrid LatentMoE mit einem C-RADIO v4-H Vision-Encoder. Kimi K3 ist ein spärliches Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, das pro Token 104B Parameter über 16 von 896 Experten aktiviert und auf M​oonshot's K​imi Delta Attention basiert.

• Parameter — 74B insgesamt, 9B aktiv für das N⁠VIDIA-Modell; 2,8T insgesamt, 104B aktiv für Kimi K3. Das kleinere Modell aktiviert weniger als ein Zehntel des Rechenaufwands pro Token des größeren Modells.

Speicherbedarf — 24 GB bei 2-Bit-Quantisierung (IQ2-XXS mit 2,0625 Bits pro Element für die Experten-Gewichte, NVFP4 für Mamba-Schichten, Q8_0 für Embeddings und Ausgabe) gegenüber dem, was ein Deployment mit 2,8 Billionen Parametern kostet, was keine Zahl ist, die diese Seite in Gigabyte angeben kann.

• Kontext — 262.144 Token für das N​VIDIA-Modell; 1.048.576 für Kimi K3, mit einheitlicher Preisgestaltung unabhängig von der Länge.

• Eingaben – Text, Bilder und Video hinein, Text heraus für beide.

• Lizenz — OpenMDW-1.1 für den N​VIDIA-Checkpoint; die Kimi-K3-Lizenz für die Gewichte von M​oonshot, permissiv für die meisten Nutzungen, wobei bei einem Jahresumsatz von mehr als 20 Millionen US-Dollar eine separate Vereinbarung erforderlich ist.

Die unabhängigen Zahlen und diejenige, die nicht existiert

Artificial Analysis hat beide Modelle getestet, und genau das macht diesen Vergleich überhaupt erst beantwortbar. Nicht alles auf der Übersicht wurde für beide gemessen, und die Lücken sind genauso aussagekräftig wie die Punktzahlen.

• Intelligence Index — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB erzielt 21,4 Punkte und belegt damit Platz vier von 67 Modellen seiner Größenklasse im eigenen Vergleichsset des Panels. Kimi K3 erzielt 43,6 im maximalen Reasoning-Modus und 30,1 im niedrigen Modus. Beide Werte sind unabhängig gemessen, nicht vom Anbieter angegeben.

• Kosten pro Aufgabe im Intelligence Index – für das NVIDIA-Modell gibt es keine Zahl, da es keinen abgerechneten Preis hat: Artificial Analysis führt dafür überhaupt keinen Eingabe- oder Ausgabetarif auf. Kimi K3 kostet 2,00 $ an API-Ausgaben pro Index-Aufgabe bei 3,00 $ pro Million Eingabe-Token und 15,00 $ pro Million Ausgabe, gegenüber 0,30 $ für zwischengespeicherte Eingabe.

• Ausgabegeschwindigkeit — Kimi K3 generiert 43,8 Tokens pro Sekunde mit 3,6 Sekunden bis zum ersten Token auf dem Rig des Panels. Für das NVIDIA-Modell gibt es keine unabhängige Durchsatzangabe; NVIDIAs eigene Forschungsseite veröffentlicht 83,99 Tokens pro Sekunde bei AIPerf SPEED-Bench-Coding mit aktiviertem LiLiCorr-Drafter, was eine Herstellermessung auf einem anderen Benchmark und einer anderen Maschine ist.

• Terminal-Bench 2.1 — 85,0 für Kimi K3, unabhängig durchgeführt, gegenüber Moonshots eigener Angabe von 88,3. NVIDIA gibt für das Modell Bolt auf seiner Model Card 50,98 an, daher sind die beiden nicht auf derselben Grundlage: Eine Zahl wurde außerhalb des Labors reproduziert, die andere nicht.

• GPQA Diamond — 93,5 für Kimi K3 unabhängig; 86,43 für das N​VIDIA-Modell, wie von N​VIDIA veröffentlicht, ohne unabhängige Zahl auf dem Panel.

• Langkontext-Retrieval (AA-LCR) — 88,7 für Kimi K3 gegenüber 69,7 für das NVIDIA-Modell, beide gemessen.

• Wissenschaftliches Programmieren (SciCode) — 59,5 für Kimi K3 gegenüber 39,7 für das NVIDIA-Modell, beide gemessen.

• Wissensgenauigkeit und Halluzination — bei AA-Omniscience erreicht Kimi K3 eine Genauigkeit von 47,6 Prozent bei 46,8 Prozent Nicht-Halluzination; das NVIDIA-Modell erreicht eine Genauigkeit von 17,1 Prozent bei 56,3 Prozent Nicht-Halluzination. Diese Paarung ist die interessanteste Zeile auf dem Board und die wenig schmeichelhafteste für eine einfache Lesart des Index: Das komprimierte Modell weiß weniger und gibt es öfter zu.

Die fehlende Messung ist genau die, die ein Käufer am meisten haben wollen würde. Niemand außerhalb von NVIDIA hat einen Durchsatz- oder Latenztest für den 24-GB-Checkpoint veröffentlicht – und genau darum geht es beim Ausliefern eines 24-GB-Checkpoints.

Wohin die 22 Punkte tatsächlich kommen

Ein Abstand von 22 Punkten im Index klingt nach einem Kategorienunterschied, und bei manchen Aufgaben ist er das auch. Kimi K3 ist um zwanzig Punkte besser beim wissenschaftlichen Programmieren, um neunzehn Punkte besser beim Retrieval mit langem Kontext und um mehr als sieben Punkte besser bei wissenschaftlichen Fragen auf Graduiertenniveau. Das sind keine Rundungsfehler, und sie sind keine Artefakte des Vergleichssets.

Doch die Kompressionsgeschichte hinter dem N​VIDIA-Modell ist spezifisch genug, um die Form des Defizits zu erklären. Der Checkpoint wurde von Star Elastic erzeugt, N​VIDIAs router-gesteuerter Architektursuche, die das 120B-A12B Super VL Parent nahm und nach der Expertenanzahl und MoE-Breite pro Layer suchte, die bei Batch-Größe eins und 128K-Kontext unter 24GB passen würde, den Experten-Top-K von 22 auf 9 senkte und dann die Experten mit quantisierungsbewusster Destillation auf 2,0625 Bit pro Element quantisierte, um die Genauigkeit wiederherzustellen. Das ist ein bewusster Tausch von gespeichertem Wissen gegen Speicherbedarf. Ein Modell, das auf 2 Bit pro Expertengewicht zusammengepresst wurde, behält sein Verfahren und verliert seine Fakten, weshalb die Halluzinationszeile besser wird, während die Genauigkeitszeile einbricht.

NVIDIAs eigene Benchmark-Tabelle führt dasselbe Argument in die andere Richtung an. Das Unternehmen veröffentlicht, dass das Bolt-Modell Qwen3.6-35B-A3B, Gemma4 26B-A4B und sein eigenes Nemotron 3.5 Lightning 30B-A3B bei Terminal-Bench 2.1, GPQA Diamond, BrowseComp und WebArena vision schlägt – also bei agentischen und Tool-Use-Aufgaben –, während es bei der Genauigkeit von AA-Omniscience gegen Gemma4 und bei PinchBench gegen Qwen3.6 verliert. Agentische Ausführung ist das, was die Kompression bewahrt hat.

Beide sind offene Gewichte, was die Wahl zu einer Frage des Stroms macht.

Das ist der Punkt, der das Duell von einem Vergleich mit einer geschlossenen API unterscheidet. Die Gewichte von Kimi K3 sind herunterladbar. Wenn Sie die Hardware haben, können Sie das 2,8T-Modell selbst betreiben und zahlen nichts pro Token – dasselbe Angebot wie bei der 24-GB-Datei, nur in völlig anderem Maßstab. Keines der beiden Modelle hier ist über einen Anbieter zugangsbeschränkt, der seine Meinung zum Zugriff ändern könnte.

Die praktische Trennung verläuft entlang der Deployment-Geografie. Ein 24-GB-IQ2-Checkpoint läuft unter vLLM auf einer einzelnen A100-, H100- oder Blackwell-Einheit, und NVIDIAs eigene Referenzanleitung nennt zusätzlich llama.cpp und eine GGUF-Konvertierung, weshalb er in lokalen Agent-Harnesses auf RTX- und DGX-Spark-Maschinen landet. Der empfohlene Serving-Befehl ist kein Einzeiler-Schalter: Er fixiert einen vLLM-Nightly-Build, erfordert ein heruntergeladenes Reasoning-Parser-Plugin, benötigt die b12x-Kernel für die linearen und MoE-Backends, legt explizite Mamba- und Attention-Backends fest und aktiviert spekulatives Decoding mit sieben LiLiCorr-Draft-Tokens. Das ist ein Rezept für jemanden, der die Maschine besitzen will, nicht für jemanden, der nur ein Transkript möchte.

Kimi K3 geht den umgekehrten Weg. Sein gesamtes Design geht davon aus, dass man Inferenz mietet, und sein Preis ist entsprechend angesetzt – 3,00 $ für den Input und 15,00 $ für den Output pro Million Tokens sind eine bewusste Positionierung an der Spitze des Open-Weights-Marktes.

Den Vergleich durchführen, statt ihn zu lesen

Wenn Sie wissen möchten, ob eine Indexlücke von 22 Punkten für Ihre Workload von Bedeutung ist, ist das kostengünstige Experiment, die teure Hälfte aufzurufen. Kimi K3 ist im Katalog von OrcaRouter als kimi/kimi-k3, unter demselben Schlüssel wie der Rest der über 200 Modelle, die wir routen, abgerechnet zum Provider-Listenpreis von M​oonshot ohne Aufschlag — eine Preisänderung von M​oonshot ist daher am selben Tag auf unserer Seite live und nicht erst zum nächsten Abrechnungszyklus. Richten Sie ein Prompt-Set, das Ihrem echten Traffic ähnelt, darauf und messen Sie den Unterschied gegenüber dem, was Sie lokal betreiben. OrcaRouter hostet kein N​VIDIA-Modell und hat keinen Bolt-Endpunkt anzubieten; die N​emotron-Familie ist nicht in unserem Katalog, und die lokale Hälfte dieses Vergleichs bleibt so oder so eine Hardwarefrage.

Wo Routing hier tatsächlich seinen Platz verdient, ist der Fallback-Pfad. Kimi K3 ist eine Festlegung auf ein einziges Modell zu einem hohen Preis, und das Fehlerbild eines Produktionsagenten, der an ein einziges hochleistungsfähiges Modell angebunden ist, besteht darin, dass ein Kapazitätsproblem upstream zu einem Incident wird. Automatisches Failover über Anbieter hinweg hinter einem einzigen Endpunkt macht daraus einen Wiederholungsversuch.

Wie man entscheidet

Die Regel ist kürzer, als die Lücke vermuten lässt.

Wenn Ihre Anforderung die Wörter offline, privat, auf dem Gerät oder keine Kosten pro Token enthält, ist Kimi K3 kein Kandidat und der Vergleich ist beendet — ein Modell mit 2,8 Billionen Parametern wird nicht auf dem Rechner laufen, auf dem Sie dies lesen, und der 24-GB-Checkpoint schon. Kaufen Sie den Laptop, akzeptieren Sie 21,4 im Index und richten Sie ihn auf Tool-Nutzung statt auf Fragen zur Biochemie aus.

Wenn Ihre Anforderung Korrektheit bei schwierigem Reasoning, Long-Context-Arbeit über Hunderttausende von Tokens oder Coding im Repo-Maßstab ist, dann ist das 24GB-Modell das falsche Werkzeug, und die Index-Lücke sagt Ihnen die Wahrheit. Zahlen Sie für Kimi K3.

Was keiner der beiden Anbieter geklärt hat, ist der mittlere Fall, denn er hängt von einer Zahl ab, die niemand veröffentlicht hat: wie schnell der 2-Bit-Checkpoint tatsächlich auf Hardware läuft, die man kaufen kann. Bis ein unabhängiger Durchsatzlauf vorliegt, lautet die ehrliche Antwort auf die Frage „Kann eine 24-GB-Datei ein 2,8T-Flaggschiff für meine Agenten-Schleife ersetzen?“, dass die Intelligenzlücke messbar ist und der Latenzfall noch nicht.

Für ein Modell, dessen Fehlermodi noch nicht dokumentiert sind, ist das nützliche Gegenstück die Aufzeichnung dessen, was andernorts bereits schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agentenfehler rund um Modelle dieser Klasse sind im OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als umstritten führt.