
NVIDIA Nemotron 3.5 Lightning 30B A3B: Nvidia's open-agent werkpaard, uitgelegd
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 89 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 97 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaNIEUWOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 88 tok/s
- OrcaNIEUWOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 133 tok/s
- OrcaNIEUWOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1 mln tokens · 88 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 123 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 194 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 123 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1 mln tokens · 138 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligentie
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligentie
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1 mln tokens · 189 tok/s
Nvidia kondigde Nemotron 3.5 Lightning aan op 11 augustus 2026 en leverde het met iets dat de meeste modellanceringen weglaten: een router. NeMo Switchyard, een open-sourcebibliotheek die bepaalt welk model de volgende aanroep in een agentlus moet afhandelen, verscheen op dezelfde dag als een mixture-of-experts-model met 30 miljard parameters en slechts 3 miljard actieve parameters — en dat is precies de bedoeling. Deze uitleg gaat over de checkpoint die Nvidia als eerste uitbracht, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, de ruwe voorgetrainde basis in plaats van de op chat afgestemde referentie, en over wat de familie als geheel vertelt over waar open modelserving naartoe gaat.
Een opmerking over de bron, vóór de cijfers: alle benchmarks, snelheidsclaims en partnercijfers in dit stuk zijn afkomstig van Nvidia zelf, en geen daarvan is al onafhankelijk gereproduceerd — het model is pas een paar uur oud. Beschouw de prestatiecijfers als een opgave van de leverancier: informatief en richtinggevend, nog geen scorebord.
Wat Nemotron 3.5 Lightning eigenlijk is
Nemotron 3.5 Lightning is het nieuwste en kleinste lid van Nvidia's open Nemotron 3-familie. Het is een MoE met 30B-parameters met slechts 3B actief per token, gebouwd op een hybride Mamba-2- en MoE-architectuur met geselecteerde aandachtlagen en multi-token-predictie- (MTP-)koppen die tijdens een speciale pre-trainingfase zijn ingebouwd. Nvidia zegt dat het is gedestilleerd uit het frontier Nemotron 3 Ultra-model en getraind op meer dan 20 biljoen tokens, en het ondersteunt een contextvenster van maximaal 1 miljoen tokens.
Het ontwerpdoel is latentie en kosten op schaal, niet frontier-generaliteit. Nvidia positioneert Lightning voor de "executielaag" van altijd-actieve agenten — de hoogfrequente, minder moeilijke aanroepen die een agent voortdurend doet: toolaanroepen, code-review, triage van beveiligingsmeldingen, factureringsvragen, delegatie naar subagenten. Dat is werk waarvoor je niet op elke stap een frontier-model wilt; je wilt een goedkope, snelle die goed genoeg is. De snelheidsclaims volgen uit de architectuur: tot 4× snellere output dan modellen van vergelijkbare grootte en ongeveer 30% snellere voltooiing van agentische taken, volgens Nvidia's metingen. Twee conceptmodellen, DSpark en DFlash, bieden speculatieve decodering die is afgestemd op serving met middelhoge tot hoge concurrency.
De drie checkpoints — en welke je wilt
De lancering is eigenlijk drie downloads, en berichtgeving die "Nemotron 3.5 Lightning" als één model behandelt, mist het onderscheid dat voor een ontwikkelaar het belangrijkst is.
Het onderwerp van dit stuk, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, is het ruwe voorgetrainde checkpoint — geen supervised fine-tuning, geen RL, geen distillatie toegepast. Het is een basismodel in de strikte zin: het chat niet uit de doos, en het bestaat om het startpunt te zijn voor verder voortrainen, aangepaste SFT, RL, of distillatie. Als je van plan bent om je eigen model te bouwen bovenop Nvidia's voortraining, is dit het bestand dat je nodig hebt.
De zusterrelease, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, is de referentiegewichten die de volledige pijplijn hebben doorlopen — pre-training, MTP-continuatie, SFT en RL. Het is een algemeen inzetbaar redeneer- en chatmodel, maar Nvidia positioneert het nog steeds als startpunt voor aanpassing in plaats van een artefact voor productieserving. Voor serving is de NVFP4-checkpoint (die gelijktijdig is uitgebracht en de kwantisatiekernels deelt die Nvidia voor Nemotron 3 Ultra gebruikt) de versie die gericht is op latentie en doorvoer.
Praktische richtlijn, één regel per controlepunt:
• Base-BF16 — voortgezette pre-training, domein-post-training, distillatie vanaf nul. Vanaf hier is het aan jou.
• BF16-referentie — chat- en redeneringsgeschikt, maar bedoeld als basis voor je eigen SFT of RL, niet als een gehost eindpunt.
• NVFP4 — het serving-geoptimaliseerde checkpoint voor implementatie op Nvidia GPU's.
De meeste lezers die voor een productie-API kiezen, willen de gefinetunede modellen, niet het basismodel. Het basismodel doet er toch toe, omdat Nvidia het onder een open licentie (OpenMDW-1.1) heeft uitgebracht die gewichten, trainingsdata en recepten dekt — de ruwe pretraining is het deel dat je niet van een gesloten leverancier kunt krijgen, en het is het deel dat de hele familie van jou maakt.

Het benchmark-grootboek, eerlijk gelabeld
Dit is wat Nvidia rapporteert voor de basischeckpoint in zijn eigen evaluaties: MMLU 78,59, MMLU-Pro (5-shot) 67,94, GSM8K 91,28, HumanEval 77,44, MBPP 78,59, ARC-Challenge 92,66, HellaSwag 85,55, WinoGrande 79,95, en een RULER-score voor lange context van 69,62 bij 1M tokens. Het afgestemde referentiepunt verschuift de cijfers daar waar je het zou verwachten: MMLU-Pro 81,94, GPQA Diamond (zonder tools) 75,44, SWE-bench Verified 51,56, Terminal-Bench 2.1 24,58.
De opvallende snelheidscijfers zijn ook door de leverancier gerapporteerd: tot 4× snellere output en 30% snellere voltooiing van agentische taken dan modellen in zijn klasse, plus een PinchBench-resultaat van 86% nauwkeurigheid op een run van 10.000 taken, ongeveer 30% sneller dan Qwen3.6-35B bij vergelijkbare nauwkeurigheid. Nvidia noemt ook een Artificial Analysis Intelligence Index van 24, gelijk aan die van gpt-oss-120b — maar let op de herkomst: dat is Nvidia die een score aanhaalt voor een model dat per 11 augustus nog niet op het openbare leaderboard van Artificial Analysis staat. Onafhankelijke laboratoria hebben geen Lightning-cijfers gepubliceerd.
Voor een idee van waar 24 binnen de familie past, zijn de AA-gemeten indices voor Nvidia's andere open modellen 25,4 voor zowel Nemotron 3 Ultra als Nemotron 3 Super, en 14,2 voor Nemotron 3 Nano. Lightning is geen frontiermodel, en Nvidia beweert dat ook niet; het is een inzet op de snelheids- en kostenkant van de Pareto-frontier.

Waar het voor dient: de uitvoeringslaag van agents
Nvidia's boodschap is een taakverdeling: een geavanceerd model plant en redeneert, en een goedkope uitvoerder handelt de duizenden routinematige oproepen af die een agent de hele dag daadwerkelijk laten draaien. Daarom bevat dezelfde aankondiging ook een routeringsbibliotheek — Lightning is bedoeld als één laag in een groter systeem, niet als het hele systeem.
De partner-casestudy's zijn door Nvidia aangeleverd, dus lees ze als marketing met cijfers eraan. Het voorbeeld dat het doel van het model het beste illustreert is CodeRabbit, dat stelt dat het Lightning in minder dan drie uur en voor minder dan $100 heeft geposttraind voor code-review, met een nauwkeurigheidswinst van ongeveer 4% ten opzichte van een GPT-klasse-baseline tegen ongeveer de helft van de inferentiekosten. Of je de exacte cijfers nu vertrouwt of niet, de vorm is het verhaal: een 3B-actief model is goedkoop genoeg om op je eigen data te fine-tunen en op schaal in te zetten, en dat is de hele waardepropositie.
De kostenberekening
Er is geen catalogusprijs voor Nemotron 3.5 Lightning, omdat er niets te koop is — de gewichten zijn gratis onder OpenMDW-1.1, samen met trainingsdata en recepten. De prijs is wat een host rekent om het te draaien, en dat getal zal meer variëren dan de kwaliteit zodra API's van derden de familie gaan aanbieden. Voor prototyping serveert Nvidia het als een NIM-microservice op zijn eigen build.nvidia.com-platform, dat gratis te proberen is met een snelheidslimiet en zonder creditcard.
Voordat je dit beoordeelt, zijn er twee kostenrealiteiten van belang. Ten eerste betekent '30B totaal, 3B actief' dat inferentie goedkoop is per token, maar dat de volledige 30B nog steeds in het geheugen van elke GPU aanwezig moet zijn — serving is niet gratis, en de batch-concurrency bepaalt hoe snel het daadwerkelijk draait. Ten tweede: wanneer een open-weightmodel op meerdere hosted API's belandt, kunnen de prijzen per token tussen providers met veelvouden verschillen, en dat verschil is geen kwaliteitssignaal. Daar verdient een pass-through-gateway zijn bestaansrecht: OrcaRouter geeft de lijstprijzen van providers rechtstreeks door zonder opslag (0% marge), zodat een prijsverlaging bij de provider dezelfde dag live is en prijsverschillen aan de marktkant blijven. Nemotron 3.5 Lightning staat nog niet op OrcaRouter — de gewichten zijn pas een paar uur geleden uitgekomen — maar het patroon om een model dat één dag oud is veilig te adopteren, is om het achter automatische failover te routeren, zodat een cold-startprobleem op één host geen productiepad kan platleggen.
De router die ermee werd meegeleverd.
NeMo Switchyard is het waard om te begrijpen, omdat het Nvidia's gok is op hoe open agentische AI zou moeten draaien: niet één groot model, maar een systeem dat elke stap naar het meest capabele en efficiënte beschikbare model stuurt. Het is een open-source bibliotheek die je in je harness integreert, met instelmogelijkheden om te optimaliseren voor kwaliteit, latentie of kosten. Nvidia's eigen benchmark claimt nauwkeurigheid op frontier-niveau tegen ongeveer een derde van de kosten van een frontier model dat alleen draait.
De partnerresultaten, opnieuw door Nvidia gerapporteerd, zijn qua richting consistent: Boomi zegt dat het 59% van het verkeer naar een 5× sneller gespecialiseerd model heeft geleid, met 21% lagere latentie bij latere beurten; Cognition rapporteert 28% lagere gemiddelde kosten; Ramp zegt dat het op zijn eigen SWE-bench de prestaties van een frontier-model evenaarde tegen 58% lagere kosten. Het meest eerlijke datapunt is LangChain: 74% lagere kosten bij 145 multi-step agent-taken, waarbij slechts 7% van de aanroepen naar een frontier-model gaat — ten koste van 6% nauwkeurigheid. Routering is niet gratis; het is een bewuste afweging.
Switchyard is een bibliotheek, wat betekent dat het de bouw-het-zelf-route is: je definieert het beleid, integreert het en beheert het. Het beheerde alternatief is een gehoste routing-API, waar één sleutel toegang geeft tot een catalogus van meer dan 200 modellen, failover een standaard is in plaats van iets dat je zelf opzet, en een routing-DSL je in staat stelt om meerdere modellen te combineren in één enkele aanroep. Nvidia's eigen testcijfers — 59%, 74%, 58% — zijn het sterkste argument voor dat patroon, ongeacht op welke laag je het draait.
Hoe voer je het vandaag uit
De ondersteuning vanaf dag één is breed. De checkpoints draaien lokaal op RTX-pc's, DGX Spark, DGX Station en Jetson-hardware, en in het datacenter op Hopper- en Blackwell-GPU's. Het aangekondigde ecosysteem omvat vLLM, SGLang, llama.cpp, Ollama, LM Studio, Unsloth en TensorRT-LLM, plus een NIM-container voor Nvidia-infrastructuur. Voor post-training heeft Nvidia ook een open RL-dataset uitgebracht, Nemotron-RL-Agentic-Terminal-Pivot, gericht op mogelijkheden voor codeeragenten — handig als je van plan bent om je eigen RL-stap bovenop de basis uit te voeren.

Wie moet nu handelen
Drie groepen krijgen iets uit deze release, en ze moeten verschillende dingen doen. Als je modellen bouwt — voortgezette pre-training, domein-post-training, distillatie — dan is de Base-BF16-checkpoint de interessante download, en die is echt nieuw: Nvidia heeft nog niet eerder een ruwe 30B-klasse pre-training onder deze licentie geopend. Als je modellen serveert, zijn de NVFP4-checkpoint en het NIM-pad het benchmarken waard tegen wat je al draait voor agent-workloads; het 3B-actieve profiel is de hele pitch. En als je een applicatieontwikkelaar bent, is het eerlijke antwoord om even te wachten: de afgestemde modellen zijn nog niet in stabiele vorm beschikbaar op gehoste API's, onafhankelijke cijfers zijn weken weg, en het kostenbeeld zal duidelijker worden zodra de markt een open 30B MoE prijst.
Wat u hierna moet volgen: de eerste onafhankelijke run op Artificial Analysis, die de Index-24-claim zal bevestigen of onderuithalen; de prijzen die de eerste hostingproviders vaststellen voor de afgestemde checkpoints; en hoe vaak Nvidia's eigen Switchyard-cijfers opduiken in benchmarks van anderen. Deze lancering draait om efficiëntie en routing, niet om een nieuw front — en dát, niet het specificatieblad, is het verhaal.
Veelgestelde vragen
Kan ik het Base-BF16-checkpoint direct gebruiken voor chatten?
Nee. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 is het ruwe voorgetrainde checkpoint zonder SFT of RL — het is niet instructie-getuned. De voor chat en redeneren geschikte optie is het zustermodel NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16-referentierelease, die de volledige vierfasenpijplijn doorliep; de basis is bedoeld om verder te worden nagetraind, niet om zo te worden ingezet.
Is de Artificial Analysis Index van 24 een onafhankelijke score?
Nee — nog niet. Dat cijfer is Nvidia die een score aanhaalt voor een model dat per 11 augustus 2026 nog niet op de openbare ranglijst van Artificial Analysis verschijnt. Onafhankelijke laboratoria hebben geen Nemotron 3.5 Lightning-resultaten gepubliceerd, dus behandel elk getal in het lanceringmateriaal als leveranciersopgave totdat er een test door een derde partij verschijnt.
