Nemotron 3.5 Bolt vs. Kimi K3: Ein 24-GB-Download gegen einen Leser mit 2,8 Billionen Parametern

Die ehrliche kurze Antwort lautet, dass diese beiden Modelle nicht um dieselbe Aufgabe konkurrieren, und der Grund lässt sich an einer einzigen Zahl ablesen. Kimi K3 hat 1.048.576 Tokens Kontext. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB hat 262.144. Wenn Ihre Aufgabe lautet: „diesen gesamten Korpus zu lesen und in einem Durchgang zu beantworten“, ist der 24GB-Checkpoint disqualifiziert, bevor irgendetwas anderes daran eine Rolle spielt – und wenn Ihre Aufgabe lautet: „auf einer Workstation ohne Netzwerk, ohne Zähler und ohne Anbieter im Spiel zu laufen“, ist Kimi K3 ebenfalls nicht im Gespräch. Kimi K3 ist ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, das Moonshot AI am 15. Juli 2026 unter einer proprietären gehosteten API veröffentlicht hat. Nemotron 3.5 Bolt 74B-A9B 24GB ist eine Datei mit offenen Gewichten, die für jedes einzelne Token 9 Milliarden ihrer 74 Milliarden Parameter aufwendet und in 24GB Arbeitsspeicher passt.

Der Bolt-Checkpoint wurde am 7. Oktober 2026 auf Hugging Face hochgeladen, ohne dass eine Ankündigung daran geknüpft war. NVIDIAs eigener Beitrag, in dem das Modell genannt wurde – und sein 4-GB-Geschwister, Nemotron 3.5 Bolt E4B –, erschien am 15. Oktober, acht Tage später. Diese Reihenfolge ist wichtig zu kennen, denn sie bestimmt, was überprüfbar ist: Acht Tage der öffentlichen Aufzeichnung bestehen aus einer herunterladbaren Datei und einer Modellkarte, und der erklärende Text kam danach.

Wofür jedes Modell entwickelt wurde

Kimi K3 ist das Flaggschiff von Moonshot und die bisher leistungsfähigste Veröffentlichung des Unternehmens: ein Sparse-Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, bei dem pro Token rund 104 Milliarden Parameter aktiv sind, entwickelt für Long-Horizon-Coding und End-to-End-Wissensarbeit, nimmt Text und Bilder entgegen und gibt Text zurück. Es wird als Dienst bereitgestellt, nicht ausgeliefert. Es gibt keinen Download, keinen quantisierten Build für den lokalen Betrieb und keine Version, die klein genug für einen Laptop wäre.

Nemotron 3.5 Bolt ist die entgegengesetzte Konstruktion. NVIDIA nahm sein 120B-A12B-Modell Nemotron 3.5 Super VL, wandte eine router-gesteuerte Kompression an, die es Star Elastic nennt, um 74B-A9B zu erreichen, und quantisierte das Ergebnis dann auf 2,0625 Bit pro Experten-Element – ein IQ2_XXS-Format – mit quantisierungsbewusster Destillation, um die Genauigkeit wiederzugewinnen, die der Preis dafür kostet. Das Rückgrat ist ein Hybrid aus Mamba-2 und Transformer, den der Hersteller LatentMoE nennt, mit einem C-RADIO v4-H Vision-Encoder für Bild- und Videoeingabe. Es läuft unter vLLM auf Ampere-, Hopper- und Blackwell-Chips sowie auf RTX-Spark- und DGX-Spark-Hardware über llama.cpp, unter der Lizenz OpenMDW-1.1, die kommerzielle Nutzung erlaubt.

Einen langen Korpus lesen, bepreist

Hier wird der Vergleich zur Arithmetik statt zur Präferenz. Kimi K3 wird auf OrcaRouter zu Moonshots Listenpreis ohne Aufschlag geroutet: 3,00 US-Dollar pro Million Input-Tokens, 15,00 US-Dollar pro Million Output-Tokens und Cache-Reads zu 0,30 US-Dollar. Seine p50-Zeit bis zum ersten Token in unserem Katalog beträgt 7,02 Sekunden, mit einem p95 von 10,00 Sekunden, und in den letzten sieben Tagen wurden darüber 990,6 Millionen Tokens gerouteten Traffics über unseren Katalog abgewickelt – Langkontext-Lesen im großen Maßstab ist eine echte Arbeitslast und kein Gedankenexperiment.

Nemotron 3.5 Bolt hat keinen Preis, denn es gibt nichts zu bepreisen. Es gibt keinen gehosteten Endpunkt dafür, keine Anbieter-API, keine Preisliste, und Artificial Analysis führt sowohl seine Geschwindigkeit als auch seine Kosten pro Intelligence-Index-Aufgabe aus genau diesem Grund als N/A. Was es stattdessen hat, ist ein Speicherlimit, das Sie einmalig kaufen, und Grenzkosten, die sich auf die Stromrechnung rundet. Für eine Pipeline, die jede Nacht einen festen Korpus liest, ist der Unterschied zwischen 3 US-Dollar pro Million Input-Tokens und null kein Rabatt – es ist ein anderes Abrechnungsmodell, und der Break-even-Punkt ist eine Frage der Investitionsausgaben, die Ihr Finanzteam beantwortet, nicht dieser Artikel.

Vision ist nicht das Zünglein an der Waage, für das viele sie halten.

Beide Modelle nehmen Bilder entgegen. Dort endet die Ähnlichkeit.

• Eingabe — Kimi K3 akzeptiert Text und Bilder; Nemotron 3.5 Bolt akzeptiert Text, Bilder und Video. Für einen Agenten, der eine Bildschirmaufnahme ansieht oder Einzelbilder aus einem Kamerafeed entnimmt, kann nur einem davon die Datei direkt übergeben werden.

• Präzision des Vision-Pfads — Bolt verfügt über einen eigens entwickelten C-RADIO v4-H Vision-Encoder und erbt sein multimodales Verhalten vom Super VL Client, aus dem es komprimiert wurde; das visuelle Verständnis von Kimi K3 ist als nativ dokumentiert, ist aber nicht der Teil des Modells, mit dem Moonshot vorrangig wirbt. NVIDIAs eigene Tabelle listet einen WebArena-Vision-Score von 50.86 für Bolt; behandeln Sie ihn als vom Anbieter angegeben.

• Reasoning-Steuerung — Kimi K3 exponiert weder temperature noch top_p noch seed, wobei die Reasoning-Tiefe allein durch einen Reasoning-Effort-Parameter festgelegt wird; Bolts Reasoning-Modus ist ein Chat-Template-Schalter, enable_thinking true oder false, übernommen vom selben Super VL-Client.

• Spekulation — Bolt wird mit einem LiLiCorr-Drafter ausgeliefert, der über DFlash angesteuert wird und pro Schritt sieben Tokens im Voraus vorschlägt; dies ist der Mechanismus hinter NVIDIAs Behauptung von 84 Tokens pro Sekunde auf AIPerf SPEED-Bench. Auf einem gehosteten Endpunkt gibt es keine vergleichbare Stellschraube; Sie erhalten, was der Betreiber bereitstellt.

Die gemessene Lücke und woraus sie besteht

Artificial Analysis platziert Kimi K3 mit 43,6 auf seinem Intelligence Index und Nemotron 3.5 Bolt mit 21. Das lässt sich unmöglich als knapp beieinanderliegend deuten. Die unterstützenden Zeilen von Kimi K3 sind genau dort stark, wo ein Long-Context-Leser sie braucht – ein AA Coding Index von 76,2 auf Rang neun von 138 gemessenen Modellen, ein GPQA Diamond-Score von 93,5 und ein Long-Context-Recall-Wert von 88,7, die Zahl, die einem verrät, dass das Million-Token-Fenster nutzbar und nicht bloß deklariert ist.

Bolt's 21 ist eine andere Art von Ergebnis. Es ist der vierthöchste Wert unter 67 Modellen in seiner footprint-gefilterten Klasse, gegenüber einem Klassenmedian von 8, und Artificial Analysis beschreibt es als eines der führenden Open-Weight-Modelle vergleichbarer Größe. Beide Zahlen richtig einzuordnen bedeutet: Die eine misst, was ein Frontier-Lab ohne Speicherbeschränkung leisten kann, die andere, was 24GB fassen können. Zweiundzwanzig Indexpunkte sind der Preis der Einschränkung, kein Beleg dafür, dass das kleinere Modell schlecht gebaut wurde.

Was auf Bolts Seite fehlt, ist jegliche unabhängige Messung, wie schnell es ist. NVIDIA gibt mindestens 80 Token pro Sekunde beim Decoding als Designziel an und 84 auf der eigenen Bench, mit 83,99 Token pro Sekunde in einem llama.cpp-Lauf auf einem Surface Laptop Ultra mit 128 GB. Zum Zeitpunkt des Schreibens hat kein Dritter einen Durchsatz- oder Latenzwert für die 24-GB-Gewichte veröffentlicht. Die Latenz von Kimi K3 hingegen ist gemessen und öffentlich – 7,02 Sekunden p50 bis zum ersten Token, 10,00 Sekunden p95 – und das sind die Zahlen, mit denen man planen sollte, nicht die des Anbieters.

Wo eine Routing-Schicht die Antwort verändert

Kimi K3 ist in unserem Katalog als kimi/kimi-k3 zum Listenpreis von Moonshot mit 0 % Aufschlag enthalten, steht hinter demselben Schlüssel wie über 200 andere Modelle, mit automatischem Failover über vorgelagerte Anbieter, wenn einer beeinträchtigt ist. Nemotron 3.5 Bolt ist nicht in unserem Katalog — wir hosten keinen NVIDIA-Checkpoint und es gibt keinen Bolt-Endpunkt, den man aufrufen könnte — die Routing-Frage hier ist also nicht, welchen der beiden wir bedienen. Sie lautet, wie die beiden Hälften einer echten Pipeline miteinander kommunizieren.

Das Muster, das funktioniert, ist ein lokaler Reader und ein gehosteter Reasoner. Bolt läuft auf Ihrer Hardware und übernimmt die hochfrequenten Durchläufe, bei denen die Daten das Haus nicht verlassen dürfen und das Volumen eine Abrechnung pro Token schmerzhaft machen würde. Kimi K3 übernimmt die Anfragen, die ein Kontextfenster von einer Million Token oder Reasoning auf Frontier-Niveau benötigen, für 3 $ und 15 $ pro Million Token. Setzen Sie eine Routing-Regel vor beide, und die Aufteilung wird zu einer Zeile Konfiguration statt zu einem Refactoring: Eine Anfrage, die das lokale Kontextbudget überschreitet, geht an Kimi K3, alles andere bleibt auf der Workstation. Modellfusion ist die Variante, die man kennen sollte, wenn die teuren Aufrufe die wichtigen sind – mehrere Modelle beantworten denselben Prompt gemeinsam, und Sie nehmen die Übereinstimmung.

Was zu sehen

Die konkreten Belege, die diese Paarung entscheiden würden, sind begrenzt und stehen unmittelbar bevor. Ein erster unabhängiger Durchsatz- und Latenztest mit den 24GB-Bolt-Gewichten würde NVIDIAs 84 Token pro Sekunde entweder bestätigen oder verringern; ein veröffentlichter Hosting-Preis für Bolt würde die Kostenseite dieses Vergleichs zu reiner Arithmetik machen; und eine zweite Langkontext-Recall-Messung für Kimi K3 würde bestätigen, dass seine 88,7 eine Eigenschaft des Modells und nicht die eines einzelnen Harness ist.

Bis dahin ist die Zusammenfassung enger gefasst als die Darstellung beider Anbieter. Kimi K3 ist das bessere Modell auf jeder Achse, die ein Benchmark messen kann, und es ist das einzige der beiden, das man heute Nachmittag aufrufen kann. Nemotron 3.5 Bolt ist das einzige der beiden, das weiter funktioniert, wenn das Netzwerk ausfällt, und das einzige, dessen Grenzkosten pro Token null sind. Wählen Sie das zweite für die Arbeit, die niemals hätte irgendwohin gesendet werden dürfen, und das erste für die Arbeit, die Reichweite braucht.