Hero-Titelkarte: NVIDIA Nemotron 3.5 Lightning 30B A3B, Nvidias offenes Agenten-Arbeitstier, erklärt — mit Statistik-Chips, die 30B gesamt, 3B aktiv, 1M Kontext anzeigen.
Guides & Insights

NVIDIA Nemotron 3.5 Lightning 30B A3B: Nvidias offenes Agenten-Arbeitspferd, erklärt

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Nvidia kündigte Nemotron 3.5 Lightning am 11. August 2026 an und lieferte es mit etwas aus, das bei den meisten Modellveröffentlichungen fehlt: einem Router. NeMo Switchyard, eine Open-Source-Bibliothek, die entscheidet, welches Modell den nächsten Aufruf in einer Agentenschleife übernehmen soll, erschien am selben Tag wie ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern und nur 3 Milliarden aktiven Parametern – genau darum geht es. Dieser Artikel befasst sich mit dem Checkpoint, den Nvidia zuerst veröffentlichte, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, dem rohen vortrainierten Basismodell statt der chat-optimierten Referenz, und damit, was die Familie als Ganzes darüber verrät, wohin sich die Bereitstellung offener Modelle entwickelt.

Eine Quellenangabe vor den Zahlen: Jede Benchmark-, Geschwindigkeits- und Partnerzahl in diesem Artikel stammt von Nvidia selbst, und nichts davon wurde bisher unabhängig reproduziert – das Modell ist erst Stunden alt. Behandeln Sie die Leistungszahlen als Herstellerangabe: informativ und richtungsweisend, aber noch keine Bestenliste.

Was Nemotron 3.5 Lightning tatsächlich ist

Nemotron 3.5 Lightning ist das neueste und kleinste Mitglied von Nvidias offener Nemotron-3-Familie. Es ist ein MoE mit 30B Parametern und nur 3B aktiven Parametern pro Token, basierend auf einer hybriden Mamba-2- und MoE-Architektur mit ausgewählten Attention-Layern und Multi-Token-Prediction-Köpfen (MTP), die während einer eigenen Pre-Training-Phase integriert wurden. Nvidia gibt an, dass das Modell aus seinem führenden Nemotron-3-Ultra-Modell destilliert und mit mehr als 20 Billionen Tokens trainiert wurde. Es unterstützt einen Kontextfenster von bis zu 1 Million Tokens.

Das Designziel sind Latenz und Kosten im großen Maßstab, nicht die Allgemeinheit eines Frontier-Modells. Nvidia positioniert Lightning für die „Ausführungsebene“ (Execution Layer) von dauerhaft aktiven Agenten – die hochvolumigen, weniger anspruchsvollen Aufrufe, die ein Agent ständig ausführt: Tool-Aufrufe, Code-Reviews, Triagierung von Sicherheitswarnungen, Abrechnungsfragen, Delegation an Unteragenten. Das ist Arbeit, bei der man nicht für jeden Schritt ein Frontier-Modell benötigt; man möchte ein günstiges, schnelles Modell, das gut genug ist. Die Geschwindigkeitsangaben ergeben sich aus der Architektur: bis zu 4× schnellere Ausgabe als Modelle ähnlicher Größe und etwa 30 % schnellere Abschlüsse agentischer Aufgaben, nach Nvidias Messungen. Zwei Draft-Modelle, DSpark und DFlash, bieten spekulative Dekodierung, die für das Serving mit mittlerer bis hoher Parallelität optimiert ist.

Die drei Kontrollpunkte — und welchen du willst.

Der Launch besteht wirklich aus drei Downloads, und eine Berichterstattung, die „Nemotron 3.5 Lightning" als ein einziges Modell behandelt, übersieht den Unterschied, der für einen Entwickler am wichtigsten ist.

Das Thema dieses Beitrags, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, ist der rohe vortrainierte Checkpoint — ohne überwachtes Fine-Tuning, ohne RL, ohne Destillation. Es ist ein Basismodell im strengen Sinne: Es chatet nicht von Haus aus und existiert als Ausgangspunkt für fortgesetztes Pre-Training, kundenspezifisches SFT, RL oder Destillation. Wenn Sie beabsichtigen, Ihr eigenes Modell auf Nvidias Vortraining aufzubauen, ist dies die Datei, die Sie wollen.

Bei der Schwesterversion, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, handelt es sich um die Referenzgewichte, die die vollständige Pipeline durchlaufen haben — Pretraining, MTP-Fortsetzung, SFT und RL. Es ist ein Allzweckmodell für Reasoning und Chat, doch Nvidia stellt es weiterhin als Ausgangspunkt für die Anpassung dar und nicht als Artefakt für den Produktionsbetrieb. Für den Betrieb ist der NVFP4-Checkpoint (zeitgleich veröffentlicht, mit denselben Quantisierungskernen, die Nvidia für Nemotron 3 Ultra verwendet) derjenige, der auf Latenz und Durchsatz ausgelegt ist.

Praktische Anleitung, eine Zeile pro Checkpoint:

• Base-BF16 — fortgesetztes Pre-Training, domänenspezifisches Post-Training, Destillation von Grund auf. Übernehmen Sie ab hier.

• BF16 reference — chat- und reasoning-fähig, aber als Basis für eigenes SFT oder RL gedacht, nicht als gehosteter Endpunkt.

• NVFP4 — der serving-optimierte Checkpoint für die Bereitstellung auf Nvidia-GPUs.

Die meisten Leser, die zu einer Produktions-API greifen, wollen die feinabgestimmten Modelle, nicht das Basismodell. Das Basismodell ist trotzdem wichtig, denn Nvidia hat es unter einer offenen Lizenz (OpenMDW-1.1) veröffentlicht, die Gewichte, Trainingsdaten und Rezepte abdeckt — das rohe Vortraining ist der Teil, den man von einem geschlossenen Anbieter nicht bekommen kann, und es ist der Teil, der die gesamte Familie zu deinem Eigentum macht.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, showing the Text Generation task, Transformers, Safetensors and the OpenMDW-1.1 license

Das Benchmark-Register, ehrlich beschriftet

Hier ist, was Nvidia für den Basis-Checkpoint in seinen eigenen Evaluierungen berichtet: MMLU 78,59, MMLU-Pro (5-shot) 67,94, GSM8K 91,28, HumanEval 77,44, MBPP 78,59, ARC-Challenge 92,66, HellaSwag 85,55, WinoGrande 79,95 und einen RULER-Score für lange Kontexte von 69,62 bei 1M Token. Die feinabgestimmte Referenz bewegt die Nadel wie erwartet: MMLU-Pro 81,94, GPQA Diamond (ohne Tools) 75,44, SWE-bench Verified 51,56, Terminal-Bench 2.1 24,58.

Die genannten Spitzenwerte bei der Geschwindigkeit stammen ebenfalls vom Anbieter: bis zu 4× schnellere Ausgabe und 30% schnellere Abschluss von agentischen Aufgaben als Modelle derselben Klasse, plus ein PinchBench-Ergebnis von 86% Genauigkeit bei einem Lauf mit 10.000 Aufgaben, etwa 30% schneller als Qwen3.6-35B bei ähnlicher Genauigkeit. Nvidia führt außerdem einen Artificial Analysis Intelligence Index von 24 an, gleichauf mit gpt-oss-120b – aber beachten Sie die Herkunft: Es handelt sich um eine von Nvidia zitierte Punktzahl für ein Modell, das per 11. August noch nicht auf der öffentlichen Bestenliste von Artificial Analysis erscheint. Unabhängige Labore haben keine Lightning-Zahlen veröffentlicht.

Um ein Gefühl dafür zu bekommen, wo 24 innerhalb der Familie einzuordnen ist: Die AA-gemessenen Indizes für Nvidias andere offene Modelle betragen 25,4 sowohl für Nemotron 3 Ultra als auch für Nemotron 3 Super, und 14,2 für Nemotron 3 Nano. Lightning ist kein Frontier-Modell, und Nvidia behauptet das auch nicht; es ist eine Wette auf die Geschwindigkeits- und Kostenseite der Pareto-Grenze.

Scoreboard for NVIDIA Nemotron 3.5 Lightning 30B A3B: Active params 3B, Total params 30B, Context up to 1M tokens, MMLU 78.6 (vendor), Output speed up to 4x vs class (vendor), AA Index 24 (Nvidia-cited); footer reads 'Vendor-reported as of Aug 11, 2026 — no independent run yet.'

Wofür es gedacht ist: die Ausführungsebene von Agenten

Nvidias Ansatz ist eine Arbeitsteilung: Ein Spitzenmodell plant und denkt, und ein günstiger Ausführer übernimmt die tausenden Routineaufrufe, die einen Agenten tatsächlich den ganzen Tag laufen lassen. Deshalb enthält dieselbe Ankündigung auch eine Routing-Bibliothek — Lightning soll eine Ebene in einem größeren System sein, nicht das ganze System.

Die Partner-Fallstudien stammen von Nvidia, daher sollten Sie sie als Marketing mit Zahlen betrachten. Diejenige, die den Zweck des Modells am besten veranschaulicht, ist CodeRabbit, die besagt, dass Lightning in weniger als drei Stunden für unter 100 US-Dollar für Code-Reviews nachtrainiert wurde, wobei eine etwa 4 % höhere Genauigkeit gegenüber einer GPT-Klassen-Baseline bei ungefähr der Hälfte der Inferenzkosten erzielt wurde. Ob man den genauen Zahlen vertraut, die Form ist die Geschichte: Ein Modell mit 3B aktiven Parametern ist billig genug, um es mit eigenen Daten zu verfeinern und in großem Maßstab auszuliefern, was das gesamte Wertversprechen ausmacht.

Die Kostenmathematik

Es gibt keinen Listenpreis für Nemotron 3.5 Lightning, denn es gibt nichts zu kaufen — die Gewichte sind unter OpenMDW-1.1 kostenlos, zusammen mit Trainingsdaten und Rezepten. Der Preis ist das, was ein Anbieter für die Bereitstellung verlangt, und diese Zahl wird stärker variieren als die Qualität, sobald Drittanbieter-APIs die Familie anbieten. Für Prototypen stellt Nvidia es als NIM-Microservice auf seiner eigenen Plattform build.nvidia.com bereit, die mit einem Ratenlimit und ohne Kreditkarte kostenlos ausprobiert werden kann.

Bevor Sie das einordnen, spielen zwei Kostenrealitäten eine Rolle. Erstens bedeutet „30B total, 3B active“, dass die Inferenz pro Token günstig ist, aber die vollen 30B weiterhin im Speicher jeder GPU liegen müssen – Serving ist nicht kostenlos, und die Batch-Nebenläufigkeit bestimmt, wie schnell es tatsächlich läuft. Zweitens: Wenn ein Open-Weight-Modell auf mehreren gehosteten APIs verfügbar wird, können die Preise pro Token zwischen den Anbietern um ein Vielfaches abweichen, und dieser Unterschied ist kein Qualitätssignal. Genau hier zeigt ein Pass-through-Gateway seinen Wert: OrcaRouter reicht die Listenpreise der Anbieter unverändert mit 0% Aufschlag weiter, sodass eine Preissenkung beim Anbieter noch am selben Tag aktiv ist und Preisunterschiede auf der Marktseite bleiben. Nemotron 3.5 Lightning ist noch nicht bei OrcaRouter – die Gewichte sind vor Stunden angekommen – aber das Muster, ein erst einen Tag altes Modell sicher zu übernehmen, besteht darin, es hinter automatischem Failover zu routen, sodass ein Kaltstartproblem auf einem Host keinen Produktionspfad lahmlegen kann.

Der Router, der mitgeliefert wurde

NeMo Switchyard ist es wert, verstanden zu werden, denn es ist Nvidias Wette darauf, wie offene agentische KI laufen sollte: nicht als ein großes Modell, sondern als ein System, das jeden Schritt an das leistungsfähigste und effizienteste verfügbare Modell sendet. Es ist eine Open-Source-Bibliothek, die du in dein Setup integrierst, mit Stellschrauben, um die Qualität, Latenz oder Kosten zu justieren. Nvidias eigener Benchmark verspricht Frontier-Level-Genauigkeit zu etwa einem Drittel der Kosten, die ein Frontier-Modell allein verursacht.

Die Partnerergebnisse, erneut von Nvidia berichtet, sind in ihrer Tendenz konsistent: Boomi gibt an, 59 % des Datenverkehrs an ein 5× schnelleres Spezialmodell weitergeleitet zu haben, mit 21 % geringerer Latenz bei späteren Turns; Cognition meldet 28 % geringere Durchschnittskosten; Ramp sagt, es habe die Leistung von Frontier-Modellen bei seinem eigenen SWE-bench bei 58 % geringeren Kosten erreicht. Der ehrlichste Datenpunkt ist LangChain: 74 % geringere Kosten bei 145 mehrstufigen Agentenaufgaben, wobei nur 7 % der Aufrufe an ein Frontier-Modell gingen – bei einem Genauigkeitsabstrich von 6 %. Routing ist nicht kostenlos; es ist ein bewusster Kompromiss.

Switchyard ist eine Bibliothek, das heißt, es ist der Weg, es selbst zu bauen: Sie definieren die Richtlinie, integrieren sie und betreiben sie. Die verwaltete Alternative ist eine gehostete Routing-API, bei der ein einziger Schlüssel einen Katalog von über 200 Modellen abdeckt, Failover ein Standard ist und nicht etwas, das Sie selbst verdrahten müssen, und eine Routing-DSL es Ihnen ermöglicht, mehrere Modelle zu einem einzigen Aufruf zu kombinieren. Nvidias eigene Testzahlen – 59 %, 74 %, 58 % – sind das stärkste Argument für dieses Muster, egal auf welcher Ebene Sie es ausführen.

So führen Sie es heute aus.

{{1}}Die Unterstützung ab dem ersten Tag ist umfangreich.{{/1}} {{2}}Die Checkpoints laufen lokal auf RTX-PCs, DGX Spark, DGX Station und Jetson-Hardware sowie im Rechenzentrum auf Hopper- und Blackwell-GPUs.{{/2}} {{3}}Das angekündigte Ökosystem umfasst vLLM, SGLang, llama.cpp, Ollama, LM Studio, Unsloth und TensorRT-LLM sowie einen NIM-Container für die Nvidia-Infrastruktur.{{/3}} {{4}}Für das Post-Training hat Nvidia außerdem einen offenen RL-Datensatz veröffentlicht, Nemotron-RL-Agentic-Terminal-Pivot, der auf Coding-Agent-Fähigkeiten abzielt{{/4}} – {{5}}nützlich, wenn du planst, deinen eigenen RL-Schritt auf dem Basismodell durchzuführen.{{/5}}

Screenshot of the NVIDIA developer blog post announcing Nemotron 3.5 Lightning for long-running agent workloads, dated August 11, 2026

Wer sollte jetzt handeln?

Drei Gruppen profitieren von diesem Release, und sie sollten unterschiedliche Dinge tun. Wenn du Modelle baust – fortgesetztes Pre-Training, domänenspezifisches Post-Training, Destillation – ist der Base-BF16-Checkpoint der interessante Download, und er ist wirklich neu: Nvidia hat bisher kein rohes Pre-Training der 30B-Klasse unter dieser Lizenz veröffentlicht. Wenn du Modelle bereitstellst, lohnen sich der NVFP4-Checkpoint und der NIM-Pfad als Benchmark-Vergleich mit dem, was du bereits für Agent-Workloads einsetzt; das 3B-aktive Profil ist das eigentliche Verkaufsargument. Und wenn du Anwendungsentwickler bist, ist die ehrliche Antwort, einen Moment zu warten: Die feinabgestimmten Modelle sind noch nicht in stabiler Form über gehostete APIs verfügbar, unabhängige Zahlen stehen erst in einigen Wochen an, und das Kostenbild wird klarer, sobald der Markt ein offenes 30B-MoE bepreist.

Was als Nächstes zu beobachten ist: der erste unabhängige Testlauf auf Artificial Analysis, der den Index-24-Anspruch bestätigen oder entkräften wird; die Preise, die die ersten Hosting-Anbieter für die abgestimmten Checkpoints festlegen; und wie oft Nvidias eigene Switchyard-Zahlen in den Benchmarks anderer auftauchen. Dieser Launch dreht sich um Effizienz und Routing, nicht um eine neue Grenze – und genau das, nicht das Datenblatt, ist die Geschichte.

FAQ

Kann ich den Base-BF16 Checkpoint direkt für Chat verwenden?

Nr. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 ist der rohe, vortrainierte Checkpoint ohne SFT oder RL — er ist nicht instruction-tuned. Die chat- und reasoning-fähige Option ist die Schwester-NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-Referenzversion, die die vollständige vierstufige Pipeline durchlaufen hat; das Basismodell existiert, um weiter nachtrainiert zu werden, nicht um unverändert eingesetzt zu werden.

Ist der Artificial Analysis Index von 24 ein unabhängiger Wert?

Nein — noch nicht. Diese Zahl stammt von Nvidia und bezieht sich auf eine Bewertung für ein Modell, das Stand 11. August 2026 noch nicht auf der öffentlichen Rangliste von Artificial Analysis erscheint. Unabhängige Labore haben keine Ergebnisse für Nemotron 3.5 Lightning veröffentlicht; behandeln Sie daher jede Zahl in den Launch-Materialien als Herstellerangabe, bis ein unabhängiger Testlauf vorliegt.