Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: Een leraar tegen een uitvoerder

NVIDIA Nemotron 3.5 Lightning 30B A3B haalt 294,9 outputtokens per seconde. Voor Nanbeige4.3-33B is helemaal geen snelheid gepubliceerd, omdat niemand het aanbiedt. Die twee feiten zeggen je meer over deze confrontatie dan welke benchmarkrij dan ook: het ene model is een op doorvoer ontworpen product met een tarievenkaart en een verhaal over deployment op één GPU, en het andere is een dense checkpoint met 33 miljard parameters dat op 24 oktober 2026 op Hugging Face verscheen met een modelkaart en zonder inferentieprovider. Ze zijn allebei '30B-klasse'. Het zijn niet hetzelfde soort object.

De vergelijking is de moeite waard, omdat beide worden gepresenteerd aan dezelfde koper — iemand die een langdurig draaiende agent bouwt die veel kleine stappen moet uitvoeren zonder de rekening van een frontier-model. NVIDIA's antwoord is de rekenkracht per token verkleinen. Nanbeiges antwoord is een groter, dichter model zo goed maken in agentisch werk dat je er maar één nodig hebt. Dat zijn tegengestelde weddenschappen, en het bewijs voor elk ervan is van heel verschillende aard.

3,6 miljard actieve parameters is het hele argument

Nemotron 3.5 Lightning 30B A3B is een hybride mixture-of-experts-model: 31,6 miljard totale parameters, 3,6 miljard actief per token, verdeeld over 52 lagen — 23 Mamba-2, 23 MoE en 6 attention-lagen. Het routeert naar 128 experts en activeert daarvan 6 plus een gedeelde expert. Die architectuur is de reden dat het op een beheerd endpoint ongeveer 295 tokens per seconde kan volhouden, terwijl een dense model uit de 30B-klasse doorgaans in de 40–80 uitkomt.

Nanbeige4.3-33B is dense. Alle 33,1 miljard parameters worden bij elk token geactiveerd. Er is geen routing, geen expert-sparsity, geen Mamba-laag. Dat is een bewuste keuze met een duidelijke consequentie: elk token kost ongeveer negen keer de actieve rekenkracht van Lightning, en het model heeft ongeveer 66GB aan gewichten in BF16 nodig — of rond 20GB bij 4-bit — die resident moeten zijn voordat het iets genereert.

Geen van beide ontwerpen is in abstracto beter. Dense modellen zijn doorgaans eenvoudiger fine te tunen en kwalitatief voorspelbaarder; sparse modellen zijn doorgaans goedkoper en sneller te serveren bij dezelfde nominale grootte. De vraag is aan welke eigenschap je workload een tekort hebt.

Waarvoor elk model is gebouwd

NVIDIA positioneert Lightning als de uitvoeringslaag van een always-on agent — het model dat een plan van een groter systeem overneemt en tegen lage kosten door tool calls, bestandswijzigingen en browserstappen heen werkt. Het is gedistilleerd uit Nemotron 3 Ultra, wordt geleverd met multi-token-prediction speculative decoding ingebakken in pretraining plus afzonderlijke draftmodellen, en is afgestemd op harnesses in plaats van chat. De gepubliceerde benchmarkset weerspiegelt dat: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 rond 23,5–24,6.

Nanbeige4.3-33B is gepositioneerd als leraar. De kaart zegt dat direct: het is het vlaggenschip van de 4.3-serie, bedoeld om te distilleren naar kleinere modellen zoals het nog niet uitgebrachte Nanbeige4.3-3B. De benchmarkset is dienovereenkomstig breed — 20 rijen die agentische coding, agentische samenwerking en redeneren bestrijken — en de aanbevolen instellingen zijn die van een model dat je zelf draait: tensor-parallelgrootte 4, XML-toolaanroepen, preserve_thinking=true voor toolgebruik in meerdere beurten.

De een is een component in het systeem van iemand anders. De ander is een bronmodel voor een familie. Die framing verklaart vrijwel elk verschil hieronder.

De enige benchmark die ze gemeen hebben, kan niet worden afgetrokken.

{{1}}Beide kaarten rapporteren Terminal-Bench 2.1.{{/1}} Nanbeige claimt 80,9. {{2}}Het door NVIDIA gepubliceerde bereik voor Lightning is ongeveer 23,5–24,6.{{/2}} Op het eerste gezicht is dat een verschil van 56 punten, en dat is het getal dat geciteerd zal worden.

Dat zou niet zo moeten zijn. Terminal-Bench meet een model binnen een agent-scaffold, en de twee leveranciers beschrijven niet dezelfde scaffold. Op de kaart van Nanbeige staat dat de Terminal-Bench 2.1-run gebruikmaakte van Terminus 2 en dat de modellen werden geëvalueerd met de hoogste denkinspanning, met een gedeelde harness en gedeelde inferentieparameters. De cijfers van NVIDIA komen uit hun eigen interne harness, waarvan het bedrijf zelf aangeeft dat die kunnen afwijken van resultaten van derden. Een dense 33B-model met een gunstige loop en een 3.6B-actief model met een standaardloop kunnen tientallen punten verschillen zonder dat een van beide modellen onjuist wordt weergegeven.

De eerlijke lezing is richtinggevend, niet numeriek: Nanbeige claimt aanzienlijk sterkere agentische terminalprestaties, en de claim is aan beide kanten niet geverifieerd. Dezelfde voorzichtigheid geldt voor GPQA Diamond (Nanbeige 89,5, Lightning 74,3–75,6) en voor AA-LCR (Nanbeige 84,0, Lightning 52,0–60,3). Die verschillen zijn groot genoeg dat een deel van het verschil waarschijnlijk echte capaciteit is en niet de harness. Maar "waarschijnlijk" doet veel werk in die zin, en geen enkele derde partij heeft de vergelijking uitgevoerd.

Wat niet dubbelzinnig is, is de onafhankelijke dekking. Artificial Analysis scoort Nemotron 3.5 Lightning met 13 op zijn Intelligence Index. Het heeft geen vermelding voor Nanbeige4.3-33B. Het ene model heeft een second opinion; het andere heeft een modelkaart. Die asymmetrie is informatie, en ze pleit tegen de leverancier met de luidere tabel.

1M context op papier, 256K in de praktijk

Artificial Analysis vermeldt voor Lightning een contextvenster van 1 miljoen tokens. De eigen documentatie van NVIDIA is conservatiever: 262.144 tokens is het praktische plafond op één enkele H100. Beide getallen kunnen kloppen — de architectuur ondersteunt een langer venster, maar de hardware waarop je het waarschijnlijk draait, biedt daar niet comfortabel ruimte voor.

De 524.288 tokens van Nanbeige4.3-33B vormen een getraind venster op een dense model, en de geheugenkosten van de KV-cache schalen daarmee mee. De vLLM- en SGLang-recepten van de kaart gebruiken 0,8 GPU-geheugenbenutting en tensor-parallelgrootte 4, wat erop wijst dat de beoogde deployment niet één kaart is.

Voor agentwerk is het praktische verschil minder een kwestie van het maximum en meer van wat een lange run overleeft. De hybride Mamba-lagen van Lightning zijn ontworpen om de toestand goedkoop te houden over lange sequenties; de dense attention van Nanbeige niet. NVIDIA publiceert ook AA-LCR op 52,0–60,3, een score voor redeneren over lange context, en Nanbeige publiceert 84,0 op dezelfde benchmark. Als je beide tabellen gelooft, is het langecontextredeneren van Nanbeige veel sterker. Als je alleen de onafhankelijk afgenomen versie gelooft, is die van Lightning de enige die je kunt controleren.

De rekensom van het hosten van een dense 33B

Dit is het punt waarop de vergelijking niet meer over kwaliteit gaat, maar over benutting.

Lightning staat vermeld tegen $0,06 per miljoen invoertokens en $0,20 per miljoen uitvoertokens op een beheerd endpoint. Nanbeige heeft geen tariefkaart omdat geen enkele provider het implementeert; de kaart zegt dat ronduit. Om het te gebruiken huur of koop je GPU's en volg je het vierweg-tensor-parallelrecept.

Stel, puur rekenkundig, dat vier GPU's van de H100-klasse $2 per stuk per uur kosten — $8 per uur voor de node. Om quitte te spelen ten opzichte van de uitvoerprijs van Lightning moet die node 40 miljoen outputtokens per uur produceren, wat neerkomt op ongeveer 11.100 tokens per seconde volgehouden. Een dense 33B-model op vier GPU's haalt dat niet. Zelfs bij een tiende van de GPU-kosten ligt de break-even-doorvoer boven de duizend tokens per seconde volgehouden, wat een serieuze servingoperatie is in plaats van een nevenexperiment.

De conclusie is niet dat Nanbeige duur is. Ze is dat een dense 33B-model zelf hosten alleen een uitvoerder van $0,20 per miljoen tokens verslaat bij een zeer hoge, zeer stabiele bezettingsgraad — of wanneer het werk je infrastructuur niet kan verlaten, in welk geval de vergelijking nooit over prijs ging. Bij schoksgewijs of laag volume wint het beheerde sparse model op kosten met een ruime marge nog voordat kwaliteit ter sprake komt.

Waar een router past in een systeem met twee modellen

De architectuur die NVIDIA verkoopt — een frontier-planner, een goedkope executor — is de architectuur waar de meeste agentteams toch al op uitkomen. Het is ook precies de vorm waarvoor een routeringslaag is gebouwd: onze routerings-DSL stelt meerdere modellen samen tot één aanroep zodat een planner en een executor achter één endpoint kunnen zitten, en automatische failover voorkomt dat een worstelende executor verandert in een vastgelopen agent.

Wij voeren Nemotron 3.5 Lightning 30B A3B of Nanbeige4.3-33B vandaag niet, dus dit is voor geen van beide een verkooppraatje over beschikbaarheid. Het is een opmerking over waar de integratiekosten terechtkomen. Als je Nanbeige zelf host als de planner en een gehost model aanroept als de uitvoerder, is het de moeite waard die verdeling als routeringsregels uit te drukken in plaats van deze hard te coderen in je applicatie — omdat het model dat je in elke slot wilt, al verandert voordat het kwartaal voorbij is.

Het latentiebudget bepaalt meer dan de ranglijst.

• Als één enkele agentstap in minder dan een seconde moet terugkeren: Lightning. Bij 295 tokens per seconde komt een antwoord van 300 tokens in ongeveer een seconde binnen; een dense 33B-model op je eigen hardware doet dat niet, en Nanbeige heeft geen gehoste optie om tegen te benchmarken.

• Als de stap een lange redeneerronde aan het begin van een workflow is: de door Nanbeige geclaimde marges op GPQA, AA-LCR en de agentische rijen pleiten daarvoor — onder voorbehoud van de hierboven genoemde harness-kanttekening.

• Als het werk Chineesstalig is: Nanbeige. De talen waarin Lightning publiceert, zijn Engels, Spaans, Frans, Duits, Italiaans en Japans.

• Als het werk meertalig Europees is: Lightning. Nanbeige vermeldt alleen Engels en Chinees.

• Als je geen GPU's hebt en er ook geen behoefte aan hebt: {{1}}Lightning{{/1}}{{2}}, zonder concurrentie.{{/2}}

• Als gegevens je netwerk niet mogen verlaten: Nanbeige, en de kostenvergelijking wordt een infrastructuurbeslissing in plaats van een beslissing op basis van tokenprijzen.

De open vraag

Nanbeige4.3-33B is twee dagen oud en heeft geen servingverhaal. Dat is het feit dat dit artikel dateert. Als een provider het oppakt — en de bewering op de kaart dat niemand dat vandaag doet, is het punt om in de gaten te houden — verandert de kostenkant van deze vergelijking volledig, omdat een gehoste dense 33B tegen een concurrerende prijs per token het hele argument voor een kleinere sparse executor bij kwaliteitsgevoelig werk zou ondermijnen.

Tot die tijd is de verdedigbare positie beperkt. Nemotron 3.5 Lightning 30B A3B is het model dat je vandaag kunt inzetten, tegen een gepubliceerde prijs, met een onafhankelijke score en ongeveer negen keer minder rekenkracht per token. Nanbeige4.3-33B is op papier het model dat capabeler klinkt, met een native venster van 512K en zelfgerapporteerde agentische cijfers die niemand heeft gereproduceerd. Als je agent wordt beperkt door latentie en kosten, is de keuze al gemaakt. Als kwaliteit de beperkende factor is en je de hardware in eigen bezit hebt, is de keuze het testen waard — en die test is nog niet uitgevoerd.