Granite Switch 4.1 30B vs. Nemotron 3.5 Lightning 30B A3B: Was „Switch“ in den einzelnen Namen bedeutet

Beide Modelle sind etwa 30B groß, beide tragen ein Wort im Namen, das nach Routing klingt, und sie machen damit völlig unterschiedliche Dinge. Granite Switch 4.1 30B — Gewichte seit dem 14. Oktober 2026 auf dem Hub — schaltet Adapter: ein dichtes Basismodell, zwei aktivierte LoRA-Anhänge, wobei jedes Token das volle Netzwerk durchläuft. Nemotron 3.5 Lightning 30B A3B, das NVIDIA am 11. August 2026 veröffentlicht hat, schaltet Experten: einen hybriden Mamba-2- und MoE-Stack, bei dem pro Token nur etwa 3 Milliarden der 30 Milliarden Parameter aktiv werden. Niemand hat die beiden gegeneinander gebenchmarkt, und dieser Artikel wird nicht so tun, als wäre es anders. Der wirklich nützliche Vergleich ist, was jedes Design pro Token kostet und was es zurückgibt.

Die Unterscheidung richtig zu treffen ist keine Pedanterie, denn die Namen laden geradezu zu der falschen Schlussfolgerung ein. „Switch“ in Granite Switch bezeichnet eine leichtgewichtige Switch-Schicht, die Steuer-Tokens in der Eingabe liest und jeder Decoder-Schicht mitteilt, welche LoRA-Gewichte über diese Spanne von Tokens anzuwenden sind. Es ist kein Mixture-of-Experts-Routing und es reduziert den Rechenaufwand pro Token nicht um einen einzigen FLOP. „A3B“ in NVIDIAs Namen ist das Gegenteil: Es ist eine ausdrückliche Aussage darüber, wie wenig vom Modell zur Inferenzzeit ausgeführt wird.

Die Anzeigetafel, Dimension für Dimension

• Parameter — Granite Switch 4.1 30B beläuft sich auf 29.989.814.272 auf Basis von 28.865.728.512 (+3,89 %); Nemotron 3.5 Lightning 30B A3B umfasst insgesamt 30B, wobei pro Token etwa 3B aktiv sind.

• Architektur — dichter Decoder-only-Transformer plus zwei aktivierte LoRA-Adapter versus ein verschachtelter Mamba-2-, MoE- und Attention-Hybrid.

• Rechenaufwand pro Token — vollständiger dichter 30B-Vorwärtsdurchlauf gegenüber etwa einem Zehntel davon an aktiven Parametern, was genau der Sinn des A3B-Suffixes ist.

• Kontext — 131.072 Tokens beim Switch-Checkpoint; bis zu 1 Mio. bei Nemotron Lightning, wobei NVIDIA 256K als praktischen Wert auf einer einzelnen H100 dokumentiert.

• Reasoning-Modus — keiner in der Switch-Chat-Vorlage; ein konfigurierbarer enable_thinking-Umschalter in Nemotrons.

• Audioeingang — ein eingebetteter 470M-Sprach-Encoder im Switch-Modell; keiner auf der NVIDIA-Seite.

• Lizenz — Apache-2.0 versus OpenMDW-1.1. Dabei handelt es sich nicht um dasselbe Dokument, und die Downstream-Bedingungen unterscheiden sich; lesen Sie das, unter dem Sie tatsächlich vertreiben.

• Hardware — die Switch-Karte listet Transformers und vLLM innerhalb eines engen Versionsfensters auf; NVIDIA dokumentiert Nemotron Lightning auf einer einzelnen H100 oder A100 80GB, mit einem NVFP4-Build, der für die Bereitstellung vorgesehen ist.

Was Ihnen der Granite Switch Checkpoint tatsächlich bringt

Die Komposition ist das Produkt. Granite Switch 4.1 30B friert Granite 4.1 30B ein und hängt zwei Adapter an — einen Rang-16-guardian-core-Sicherheitsklassifikator auf den Attention-Projektionen und einen Rang-64-decision-Adapter über alle sieben Projektionen — plus den Speech-Encoder. Die Adapter-Auswahl erfolgt über das Chat-Template, wenn Sie einen adapter_name übergeben, also ist sie ein Request-Parameter, kein zweiter Dienst.

Was das bringt, ist Fähigkeitsdichte: ein Sicherheitsurteil, eine kalibrierte Optionsverteilung und ein Transkript aus einem einzigen Prozess – für 1,12 Milliarden zusätzliche Parameter zusätzlich zu einem Basismodell, das Sie ohnehin laden wollten. Vor sechs Monaten lieferte dasselbe Projekt einen Vorschau-Checkpoint mit zwölf Adaptern bei einem Aufpreis von 11,68 %; die fertige Version reduzierte das auf zwei bei 3,89 %, womit IBM Abdeckung gegen Lesbarkeit eintauscht. Die anderen zehn Adapter existieren weiterhin, und der Composer baut Ihnen einen Checkpoint mit jeder beliebigen Teilmenge.

Die Kosten liegen genau dort, wo man sie erwarten würde. Nichts an der Adapter-Maschinerie macht das Basismodell schneller, denn das Basismodell ist dicht und unangetastet – jedes Token durchläuft weiterhin das gesamte Netzwerk. Der Sprachpfad ist ausschließlich englischsprachig, kleingeschrieben, ohne Interpunktion und, in IBMs eigenen Worten, nicht gemeinsam trainiert mit dem Sprachmodell, sodass eine Fehltranskription stillschweigend die Frage ändert, die das Modell beantwortet. Und der Checkpoint kommt in einer einzigen Präzision ohne offiziellen quantisierten Build – im Gegensatz zu einem NVIDIA-Modell, dessen für den Einsatz empfohlene NVFP4-Variante seit Anfang August auf dem Hub verfügbar ist.

Was die Nemotron-Zahlen tatsächlich messen

Die Benchmark-Tabelle von NVIDIA für Nemotron 3.5 Lightning 30B A3B ist vollständiger als die von IBM für das Switch-Modell, und es lohnt sich, die daran angehängte Fußnote zu lesen. Die Zahlen – MMLU-Pro 81,94, GPQA Diamond 75,44, SWE-bench Verified 51,56, Terminal-Bench 2.1 24,58, PinchBench 85,37, AA-LCR 52,00 bei langem Kontext – werden von NVIDIA als unter seinem eigenen konsistenten Harness gemessen beschrieben, mit dem Vorbehalt, dass sie von den selbst gemeldeten Zahlen anderer Anbieter abweichen können. Das ist eine ehrlichere Darstellung, als die meisten Model Cards hinbekommen, und trotzdem bleiben es vom Anbieter gemeldete Zahlen. NVIDIA hat die Rezepte in NeMo Gym veröffentlicht, sodass die Durchläufe von jemand anderem reproduzierbar sind, was nicht dasselbe ist, wie wenn jemand anderes sie reproduziert hätte.

Die interessantere Behauptung ist die über Geschwindigkeit statt Genauigkeit. Ein 30B-Modell mit 3B aktiven Parametern ist eine Wette darauf, dass die meiste agentische Arbeit nicht erfordert, dass das gesamte Netzwerk bei jedem Token feuert, und NVIDIA hat zusammen damit spekulative Dekodierung ausgeliefert — Multi-Token-Vorhersageköpfe plus die Drafter DFlash und DSpark —, um den Durchsatz weiter zu steigern. Es positioniert Lightning zudem als Ausführungsschicht unterhalb eines größeren Planers statt als das Modell, dem man schwierige Fragen stellt. Diese Positionierung stammt von NVIDIA, und sie ist auch der richtige Blickwinkel für die Benchmark-Tabelle: Die Effizienz auf Token-Ebene ist das, was sich in einer Rechnung zeigt.

Die Falle beim Zusammenbringen dieser beiden Anzeigetafeln

Für die Hauptfähigkeit des Switch-Modells ist eine Zahl veröffentlicht – der Decision Index, Edition v0.3, öffentliches schnelles Subset von 1.068 Zeilen, Gesamt 50,1, mit Wissen 32,4, Sprache 58,6, Retrieval 49,8, Werkzeuge 76,5 und Kunst 26,4 – und es gibt eine vollständige Benchmark-Tabelle für Nemotron Lightning. 50,1 neben 81,94 oder 51,56 zu stellen, wäre ein Kategorienfehler der reinsten Art.

Der Decision Index bewertet, wie gut der Entscheidungsadapter eine feste Menge gelabelter Optionen einordnet. Er ist kein Maß für die Chat- oder Reasoning-Qualität des Basismodells, und das Basismodell wird durch den Adapter nicht verändert. Nemotrons Tabelle bewertet das gesamte Modell hinsichtlich Wissen, Reasoning, Coding und langem Kontext. Unterschiedliche Achsen, unterschiedliche Testumgebungen, unterschiedliche Autoren, und kein gemeinsamer Benchmark zwischen ihnen. Beide sind vom Anbieter berichtet. Keines ist mit dem anderen vergleichbar, und das einzig Ehrliche, was man mit dem Paar tun kann, ist, sich zu weigern, sie voneinander abzuziehen.

Was Sie legitimerweise tun können, ist, die Form von jedem zu lesen. Der Decision Index mit 76,5 bei Tools gegenüber 26,4 bei Arts sagt, dass es sich lohnt, den Adapter auf Entscheidungen zur Werkzeugauswahl auszurichten, und dass ihm bei der Klassifikation offener Domänen ohne eigene Bewertung nicht vertraut werden sollte. Nemotrons 51,56 bei SWE-bench Verified gegenüber einem Bestwert von 70,12 in derselben Tabelle sagt Ihnen, dass es nicht der stärkste Coding-Agent in seinem eigenen Vergleichsset ist — NVIDIA hat die höhere Zahl eines Wettbewerbers in seine eigene Tabelle aufgenommen, was zumindest ein Signal ist, das es zu respektieren gilt.

Welches, wofür

Wenn Ihr Problem eine lange Agentenschleife ist, die Tausende kurzer Tool-Entscheidungen ausführt, weist die Parameterökonomie in eine Richtung: Ein MoE mit 3B aktiven Parametern auf einer einzigen GPU erledigt diese Arbeit zu einem Bruchteil der Kosten pro Token eines dichten 30B-Modells, und das Switch-Modell hat keinen Mechanismus, um diese Lücke zu schließen, weil sein „Switch“ niemals den Rechenaufwand reduziert. Fügt man den 1M-Kontext und den Reasoning-Schalter hinzu, ist NVIDIAs Modell einfach für diese Workload gebaut.

Wenn Ihr Problem darin besteht, dass ein einziger Prozess einen Nutzer beantworten, eine kalibrierte Routing-Entscheidung ausgeben und transkribieren muss, was der Nutzer gesagt hat, kehrt sich die Rechnung um. Nemotron 3.5 Lightning hat gar keinen Decision Head und keinen Audio-Pfad, und ein Chat-Modell darum zu bitten, bitte mit einem einzigen Buchstaben zu antworten, ist keine kalibrierte Verteilung. Granite Switch 4.1 30B liefert Ihnen alle drei aus einem einzigen Checkpoint für weniger als 4 % mehr Gewichte als seine Basis, und das ist eine Fähigkeit, die Sie nicht kaufen können, indem Sie ein besseres Modell wählen.

Der ehrliche dritte Fall ist der häufigste: Sie wählen überhaupt nicht zwischen ihnen. Beide sind Self-Host-Artefakte, beide sind Apache-2.0 oder OpenMDW-1.1 statt eines gehosteten Endpunkts, und keines wurde unabhängig evaluiert. Granite Switch 4.1 30B ist zwei Tage alt mit einer einzigen veröffentlichten Zahl; Nemotron 3.5 Lightning ist zwei Monate alt mit einer Anbietertabelle und veröffentlichten Rezepten. Das reicht nicht, um darauf eine Migration zu planen.

Eine echte Antwort bekommen ohne eine Migration

Keines der beiden Modelle steht heute im OrcaRouter-Katalog, also bedeuten beide Ihre eigene Hardware und die eigenen Release-Kanäle des Anbieters — IBMs für den Switch-Checkpoint, NVIDIAs für Lightning. Etwas anderes zu behaupten, hieße, einen Endpunkt zu erfinden.

Wo die Plattform ihren Platz verdient, ist, dass ein Kandidat günstig zu testen sein sollte. Ein Schlüssel deckt über 200 Modelle mit automatischem Failover ab und gibt den Listenpreis des Anbieters mit 0 % Aufschlag weiter, sodass, wenn eine gehostete Route zu einem der beiden Modelle verfügbar wird, sie neben dem bereits in Produktion befindlichen Modell zu platzieren eine Konfigurationsänderung statt eines Beschaffungszyklus ist. Angesichts zweier 30B-Open-Weight-Modelle, die beide auf dem Papier vernünftig erscheinen und von denen keines von jemandem außerhalb des jeweiligen Anbieters gemessen wurde, ist die entscheidende Frage nicht, welcher Karte man glaubt. Sondern wie günstig man es herausfinden kann.

Fazit

Granite Switch 4.1 30B und Nemotron 3.5 Lightning 30B A3B haben dieselbe Parameteranzahl und sonst fast nichts gemeinsam. Das eine ist ein dichtes Basismodell mit umschaltbaren Adaptern, das drei Aufgaben pro Prozess bei voller dichter Berechnung pro Token ermöglicht; das andere ist ein sparsamer Hybrid, der darauf ausgelegt ist, die Kosten pro Token so gering wie möglich zu halten und eine lange Schleife auf einer einzigen GPU laufen zu lassen. Wählen Sie nach der Form der Arbeitslast, nicht nach einer Benchmark-Tabelle – und wenn Sie nur eine Sache daraus mitnehmen, dann die Korrektur in den Namen: Adapter-Umschaltung bringt Ihnen Fähigkeiten, Experten-Sparsity bringt Ihnen Durchsatz, und kein Modell hier bringt Ihnen beides.