Granite Switch 4.1 30B vs Nemotron 3.5 Lightning 30B A3B: Wat "Switch" in elke naam betekent

Beide modellen zijn rond de 30B, beide hebben een woord in hun naam dat naar routing klinkt, en ze doen er totaal verschillende dingen mee. Granite Switch 4.1 30B — gewichten op de Hub sinds 14 oktober 2026 — schakelt adapters: één dense basismodel, twee geactiveerde-LoRA-aanhangsels, elk token draait het volledige netwerk. Nemotron 3.5 Lightning 30B A3B, dat NVIDIA op 11 augustus 2026 publiceerde, schakelt experts: een hybride Mamba-2- en MoE-stack waarbij per token slechts ongeveer 3 miljard van de 30 miljard parameters actief worden. Niemand heeft de twee tegen elkaar gebenchmarkt en dit stuk zal niet doen alsof dat wel zo is. De echt nuttige vergelijking is wat elk ontwerp je per token kost en wat het je teruggeeft.

Het onderscheid correct maken is geen pedanterie, want de namen lokken precies de verkeerde gevolgtrekking uit. "Switch" in Granite Switch verwijst naar een lichtgewicht switchlaag die controletokens in de invoer leest en elke decoderlaag vertelt welke LoRA-gewichten op dat tokenbereik moeten worden toegepast. Het is geen mixture-of-experts-routing en het verlaagt de rekenkosten per token niet met één enkele FLOP. "A3B" in de naam van NVIDIA is het tegenovergestelde: het is een expliciete bewering over hoe weinig van het model tijdens inferentie draait.

Het scorebord, dimensie voor dimensie

• Parameters — Granite Switch 4.1 30B komt uit op 29.989.814.272 bovenop een basis van 28.865.728.512 (+3,89%); Nemotron 3.5 Lightning 30B A3B is in totaal 30B met ongeveer 3B actief per token.

• Architectuur — dense decoder-only transformer plus twee geactiveerde LoRA-adapters versus een interleaved hybride van Mamba-2, MoE en attention.

• Rekenkracht per token — volledige dense 30B forward pass tegenover ongeveer een tiende daarvan aan actieve parameters, wat precies het hele punt van het A3B-achtervoegsel is.

• Context — 131.072 tokens op het Switch-checkpoint; tot 1M op Nemotron Lightning, waarbij NVIDIA 256K documenteert als het praktische getal op een enkele H100.

• Redeneermodus — geen in het Switch-chatsjabloon; een configureerbare enable_thinking-schakelaar in die van Nemotron.

• Audio-ingang — een ingebouwde 470M-spraakencoder op het Switch-model; geen enkele aan de NVIDIA-kant.

• Licentie — Apache-2.0 versus OpenMDW-1.1. Het zijn niet hetzelfde document en de downstream-voorwaarden verschillen; lees degene waaronder je daadwerkelijk uitbrengt.

• Hardware — de Switch-kaart vermeldt Transformers en vLLM binnen een nauw versievenster; NVIDIA documenteert Nemotron Lightning op een enkele H100 of A100 80GB, met een NVFP4-build die bedoeld is voor deployment.

Wat de Granite Switch-checkpoint je feitelijk oplevert

De compositie is het product. Granite Switch 4.1 30B bevriest Granite 4.1 30B en koppelt twee adapters — een rank-16 guardian-core veiligheidsclassifier op de attention-projecties en een rank-64 decision adapter over alle zeven projecties — plus de spraakencoder. Adapterselectie gebeurt via de chat-template wanneer je een adapter_name doorgeeft, dus het is een requestparameter, geen tweede service.

Wat dat oplevert, is capaciteitsdichtheid: een veiligheidsoordeel, een gekalibreerde optieverdeling en een transcript uit één proces, voor 1,12 miljard extra parameters bovenop een basis die je toch al van plan was te laden. Zes maanden geleden bracht hetzelfde project een preview-checkpoint uit met twaalf adapters tegen een opslag van 11,68%; de voltooide versie bracht dat terug tot twee tegen een opslag van 3,89%, waarmee IBM dekking inruilt voor leesbaarheid. De andere tien adapters bestaan nog steeds en de composer bouwt voor je een checkpoint met eender welke subset.

De kosten zitten precies waar je ze zou verwachten. Niets aan de adaptermachinerie maakt het basismodel sneller, want het basismodel is dense en onaangeroerd — elk token doorloopt nog steeds het volledige netwerk. Het spraakpad is alleen Engels, kleine letters, zonder leestekens en, in IBM's eigen woorden, niet gezamenlijk getraind met het taalmodel, dus een verkeerde transcriptie verandert stilzwijgend de vraag die het model beantwoordt. En het checkpoint wordt geleverd in één precisie, zonder officiële gequantiseerde build, tegenover een NVIDIA-model waarvan de voor deployment aanbevolen NVFP4-variant al sinds begin augustus op de Hub staat.

Wat de Nemotron-cijfers eigenlijk meten

NVIDIA's benchmarktabel voor Nemotron 3.5 Lightning 30B A3B is vollediger dan die van IBM voor het Switch-model, en het is de moeite waard de eraan gehechte voetnoot te lezen. De cijfers — MMLU-Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58, PinchBench 85.37, AA-LCR 52.00 op lange context — worden door NVIDIA beschreven als gemeten met zijn eigen consistente testopstelling, met de kanttekening dat ze kunnen afwijken van de zelfgerapporteerde cijfers van andere leveranciers. Dat is een eerlijker weergave dan de meeste modelkaarten voor elkaar krijgen, en toch blijven het door de leverancier gerapporteerde cijfers. NVIDIA heeft de recepten in NeMo Gym gepubliceerd, zodat de runs door iemand anders reproduceerbaar zijn, wat niet hetzelfde is als dat iemand anders ze heeft gereproduceerd.

De interessantere bewering is die over snelheid in plaats van nauwkeurigheid. Een 30B-model met 3B actieve parameters is een gok dat het meeste agentische werk niet het hele netwerk nodig heeft om bij elke token te vuren, en NVIDIA leverde speculatieve decoding mee — multi-tokenvoorspellingskoppen plus de DFlash- en DSpark-drafters — om de doorvoer verder op te voeren. Het positioneert Lightning ook als een uitvoeringslaag onder een grotere planner in plaats van als het model waaraan je moeilijke vragen stelt. Die positionering is van NVIDIA, en het is ook de juiste lens voor de benchmarktabel: Token-niveau-efficiëntie is wat op een rekening verschijnt.

De valkuil bij het samenvoegen van deze twee scoreborden

Er is één getal gepubliceerd voor de belangrijkste capaciteit van het Switch-model — de Decision Index, editie v0.3, openbare snelle subset van 1.068 rijen, Totaal 50,1, met Kennis 32,4, Taal 58,6, Retrieval 49,8, Hulpmiddelen 76,5 en Kunsten 26,4 — en er is een volledige benchmarktabel voor Nemotron Lightning. Het plaatsen van 50,1 naast 81,94 of 51,56 zou een categoriefout van de zuiverste soort zijn.

De Decision Index beoordeelt hoe goed de beslissingsadapter een vaste set gelabelde opties rangschikt. Het is geen maatstaf voor de chat- of redeneerkwaliteit van het basismodel, en het basismodel wordt niet gewijzigd door de adapter. De tabel van Nemotron beoordeelt het hele model op kennis, redeneren, coderen en lange context. Verschillende dimensies, verschillende testharnassen, verschillende auteurs, en geen gedeelde benchmark tussen beide. Beide zijn door de leverancier gerapporteerd. Geen van beide is vergelijkbaar met de andere, en het enige eerlijke dat je met het paar kunt doen, is weigeren ze van elkaar af te trekken.

Wat je legitiem kunt doen, is de vorm van elk ervan lezen. De 76,5 van de Decision Index op Tools tegenover 26,4 op Arts zegt dat de adapter het waard is om op toolselectiebeslissingen te richten en dat je hem niet moet vertrouwen bij classificatie in het open domein zonder je eigen evaluatie. Nemotrons 51,56 op SWE-bench Verified tegenover een beste score van 70,12 in dezelfde tabel vertelt je dat het niet de sterkste coding-agent in zijn eigen vergelijkingsset is — NVIDIA zette een hoger cijfer van een concurrent in zijn eigen tabel, wat op zijn minst een signaal is dat je moet respecteren.

Welke, waarvoor?

Als je probleem een lange agentlus is die duizenden korte toolbeslissingen uitvoert, wijst de parametereconomie één kant op: een 3B-actieve MoE op één enkele GPU doet dat werk tegen een fractie van de kosten per token van een dense 30B, en het Switch-model heeft geen mechanisme om die kloof te dichten, omdat zijn "switch" de compute nooit vermindert. Voeg daar de 1M-context en de redeneerschakelaar aan toe, en het model van NVIDIA is simpelweg gebouwd voor die workload.

Als je probleem één proces is dat een gebruiker moet antwoorden, een gekalibreerde routeringsbeslissing moet afgeven en moet transcriberen wat de gebruiker zei, keert de rekensom zich om. Nemotron 3.5 Lightning heeft helemaal geen beslissingshoofd en geen audiopad, en een chatmodel vragen om alsjeblieft met één letter te antwoorden is geen gekalibreerde verdeling. Granite Switch 4.1 30B levert je alle drie uit één checkpoint voor minder dan 4% meer gewichten dan zijn basis, en dat is een capaciteit die je niet kunt kopen door een beter model te kiezen.

Het eerlijke derde geval is het meest voorkomende: je kiest helemaal niet tussen deze. Beide zijn self-host-artefacten, beide zijn Apache-2.0 of OpenMDW-1.1 in plaats van een gehost endpoint, en geen van beide is onafhankelijk geëvalueerd. Granite Switch 4.1 30B is twee dagen oud met één gepubliceerd cijfer; Nemotron 3.5 Lightning is twee maanden oud met een leverancierstabel en gepubliceerde recepten. Dat is niet genoeg om een migratie op te baseren.

Een echt antwoord krijgen zonder migratie

Geen van beide modellen staat vandaag in de OrcaRouter-catalogus, dus beide komen neer op je eigen hardware en de eigen releasekanalen van de leverancier — die van IBM voor de Switch-checkpoint, die van NVIDIA voor Lightning. Iets anders beweren zou een endpoint verzinnen.

Waar het platform zijn bestaansrecht verdient, is dat een kandidaat goedkoop te testen moet zijn. Eén sleutel dekt meer dan 200 modellen met automatische failover en geeft de lijstprijs van de provider door met 0% opslag, dus wanneer er een gehoste route naar een van beide modellen opduikt, is die naast het model zetten dat al in productie is een configuratiewijziging in plaats van een inkooptraject. Bij twee open-weightmodellen van 30B die er op papier beide redelijk uitzien en die niemand buiten de betreffende leverancier heeft gemeten, is de beslissing die ertoe doet niet welke kaart je gelooft. Het is hoe goedkoop je erachter kunt komen.

Kortom

Granite Switch 4.1 30B en Nemotron 3.5 Lightning 30B A3B delen een parameteraantal en vrijwel niets anders. De ene is een dense basis met omschakelbare adapters die je drie taken per proces geeft bij volledige dense compute per token; de andere is een sparse hybride die gebouwd is om elk token zo weinig mogelijk te laten kosten en om een lange loop op één GPU te draaien. Kies op basis van de vorm van de workload, niet op basis van een benchmarktabel — en als je één ding meeneemt uit dit verhaal, neem dan de correctie in de namen mee: adapter-switching levert je capaciteiten op, expert-sparsity levert je doorvoer op, en geen enkel model hier levert je beide.