Granite Switch 4.1 8B vs. Granite 4.2 3B: Dasselbe Labor, zwei unterschiedliche Wetten

Das Erste, was man über Granite Switch 4.1 8B und Granite 4.2 3B wissen sollte, ist, dass sie nicht wirklich Rivalen sind. Sie sind zwei Antworten auf unterschiedliche Fragen, die zufällig dasselbe Labor, dieselbe Lizenz und dieselbe Versionsnummer teilen, und die schnellste Art, eine Woche zu verschwenden, ist, das als direkten Vergleich zu behandeln und einen Sieger zu küren. IBM veröffentlichte Granite 4.2 3B am 25. August 2026 als kleines Reasoning-Modell: drei Denkmodi, Tool-Calling, 128K-Kontext, erweiterbar auf 512K. IBM veröffentlichte Granite Switch 4.1 8B am 14. Oktober 2026 als Komposition: ein eingefrorenes 8B-Textmodell mit zwei umschaltbaren Adaptern und einem daran angehängten Sprach-Encoder. Das eine ist dafür gebaut, gründlicher nachzudenken; das andere dafür, mehr Aufgaben von einem einzigen Checkpoint aus zu erledigen.

Die zweite Sache, die man wissen sollte, ist subtiler, und sie ist der Grund, warum dieses Paar überhaupt einen Artikel wert ist. Die Granite-Switch-Linie basiert auf den Gewichten der 4.1-Generation, während IBMs konventionelle Linie bereits zu 4.2 übergegangen ist. Liest man das Build-Manifest für Granite Switch 4.1 8B, ist die Basis ibm-granite/granite-4.1-8b. Liest man die Modellkarte für Granite 4.2 3B, so wurde sie nachtrainiert, ausgehend von ibm-granite/granite-4.1-3b-base. Beide Linien stehen auf derselben Generation vortrainierter Gewichte und machen damit entgegengesetzte Dinge: 4.2 wird fürs Reasoning stärker nachtrainiert, Switch kombiniert seitwärts für Breite. Keine von beiden hat die andere abgelöst, weshalb der Reflex „welche ist neuer" hier die falsche Antwort liefert.

Was jedes einzelne tatsächlich ist

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B ist kein Reasoning-Modell und versucht auch nicht, eines zu sein. Seine Basis ist Granite 4.1 8B — 40 Schichten, Hidden-Size 4.096, 32 Query-Heads gegenüber 8 KV-Heads, ein 131.072-Token-Fenster — eingefroren, mit zwei aktivierten LoRA-Adaptern obendrauf. guardian-core hat Rang 16 auf den Attention-Projektionen und dient dazu, Schaden, Jailbreaking, Vulgärsprache, Gewalt, sexuelle Inhalte, soziale Voreingenommenheit und unethisches Verhalten zu erkennen. decision hat Rang 64 auf allen sieben Projektionen und dient dazu, eine kalibrierte Wahrscheinlichkeitsverteilung über beschriftete Optionen in einem einzigen Forward Pass zurückzugeben. Dazu kommt Granite Speech 5.0 TurboCTC, ein Conformer-Encoder mit 470 Mio. Parametern, für die Transkription. Zusammengesetzte Gesamtzahl: 8.776.400.896 Parameter gegenüber einer Basis von 8.380.551.168 — eine Steigerung von 4,72 %.

Die Dimensionen, in denen sie sich tatsächlich unterscheiden

• Größe — Granite Switch 4.1 8B mit 8,78B im Vergleich zu Granite 4.2 3B mit rund 3B. Fast dreimal so viele Gewichte, was auf einer einzelnen GPU den Unterschied zwischen komfortabel und knapp ausmacht.

• Kontext — 131.072 Token gegenüber 128K nativ, mit einem Erweiterungspfad auf 512K. An der Basis knapp, nicht knapp, wenn Sie das Long-Context-Regime benötigen.

• Schlussfolgern — überhaupt kein Denkmodus gegen drei von ihnen. Granite Switch 4.1 8B antwortet; Granite 4.2 3B schlussfolgert zuerst, optional.

• Strukturierte Ausgabe – ein kalibriertes Softmax über gelabelte Optionen gegenüber einer per Prompt generierten Antwort. Nur eine davon liefert Ihnen eine Zahl, auf die Sie einen Schwellenwert anwenden können.

• Modalitäten — Text plus Audio als Eingabe, Text als Ausgabe, im Vergleich zu reinem Text.

• Adapter-Komposition — zwei umschaltbare aLoRAs und ein öffentlicher Composer gegenüber einem einzelnen monolithischen Checkpoint.

• Veröffentlichung — 14. Oktober 2026 gegenüber 25. August 2026, sieben Wochen Abstand, beide Apache-2.0.

Wo Granite 4.2 3B die naheliegende Wahl ist

Alles, was nachdenken muss, bevor es antwortet, und alles, was klein laufen muss. Ein 3B-Modell, das in einer kontrollierten Anzahl von Tokens schlussfolgert, ist ein anderes Werkzeug als ein 8B-Modell, das überhaupt nicht schlussfolgert, und bei Mathematik, mehrstufiger Logik und Code leisten die Denkmodi echte Arbeit, statt die Ausgabe nur zu schmücken. Der Modus mit geringem Aufwand ist der unterschätzte Teil: Er gibt dir eine mittlere Einstellung zwischen „vollständig schlussfolgern“ und „nicht schlussfolgern“, genau das, was du willst, wenn eine Anfrage einfach, aber nicht trivial ist und du pro Token bezahlst.

Die 512K-Erweiterung ist aus demselben Grund in eine andere Richtung wichtig. Arbeit mit langen Dokumenten – Code im Repository-Maßstab, Eingaben mit mehreren hundert Seiten – ist der Bereich, in dem ein 131K-Fenster beginnt, Chunking-Strategien zu erfordern, und Granite Switch 4.1 8B dokumentiert keinen Erweiterungspfad über seine 131.072 hinaus.

Der Footprint ist das dritte Argument, und es ist kein geringes. Drei Milliarden Parameter sind ein Modell der Laptop-Klasse. Sie können Granite 4.2 3B an Orten ausführen, an denen ein 8,78B-Checkpoint schlicht keine Option ist, und das ist ein Unterschied bei den Fähigkeiten und nicht bloß eine Frage der Vorliebe.

Wo Granite Switch 4.1 8B die naheliegende Wahl ist

Wenn die Ausgabe, die Sie benötigen, eine Wahrscheinlichkeit und kein Absatz ist. Ein Reasoning-Modell lässt sich dazu auffordern, Option B zu wählen, und es liefert Ihnen den Buchstaben. Prompts sind jedoch keine Wahrscheinlichkeiten: Sie können einen Buchstaben nicht mit einem Schwellenwert belegen, Sie können einen Buchstaben nicht über mehrere Turns hinweg als kalibrierten Score vergleichen, und Sie können ihn nicht als Konfidenzwert protokollieren. Entscheidungs-Adapter liefert direkt eine Softmax-Verteilung über die Label-Token — der dokumentierte Aufruf fordert von vLLM die Logprobs genau dieser IDs an und wendet die Exponentialfunktion darauf an, was eine Ausgabe der Form A: 0.982, B: 0.0035, C: 0.014 erzeugt. Das ist ein Routing-Baustein, keine Antwort.

Wenn die Sicherheitsprüfung eine Komponente statt einer Richtlinie sein muss. guardian-core nutzt denselben Checkpoint und wird durch ein Steuer-Token aktiviert, das die Chat-Vorlage einfügt, wenn du einen adapter_name übergibst. Du baust kein zweites Modell auf, um Eingaben zu prüfen; der Klassifikator ist ein Modus des Modells, das du bereits geladen hast.

Wenn Sie einen Endpunkt statt zwei möchten, und zwar insbesondere dann, wenn Audio einer der beiden ist. Die Transkription nutzt denselben Endpunkt wie Chat und Entscheidungen, daher genügt ein input_audio-Inhaltsteil bei einer gewöhnlichen Chat-Vervollständigung. Granite 4.2 3B hat keinen Audio-Pfad.

Und wenn du deine eigene Variante zusammenstellen möchtest. Der Composer ist öffentlich, der Adapter-Katalog ist offen, und das Build-Manifest für diesen Checkpoint ist neben den Gewichten eingecheckt — was bedeutet, dass die Ränge, Zielmodule und Control-Token-IDs alle ablesbar sind und nicht erschlossen werden müssen.

Die ehrlichen Vorbehalte auf beiden Seiten

Granite Switch 4.1 8B hat überhaupt keine unabhängige Evaluierung. Die einzige veröffentlichte Punktzahl ist der Decision Index, Edition v0.3, öffentliches Fast-Subset, mit 42,9 insgesamt – Knowledge 29,1, Language 48,9, Retrieval 49,8, Tools 59,8, Arts 18,0 – und dieser Durchlauf stammte von IBM selbst, wurde auf IBMs Model Card veröffentlicht und von niemandem reproduziert. Es gibt keinen Eintrag in einem Leaderboard von Drittanbietern. Das Modell ist seit zwei Tagen auf dem Hub und hat ein paar Dutzend Downloads.

Sein Sprachpfad ist schmaler, als die Schlagzeile vermuten lässt, und IBM sagt das selbst: Der Encoder ist ausschließlich englischsprachig, das Transkript kommt in Kleinbuchstaben und ohne Satzzeichen heraus, und der Encoder und das Sprachmodell sind nicht gemeinsam trainiert — es gibt keine trainierte Projektion, die beide koppelt, sodass eine Fehltranskription unbemerkt ändern kann, worauf das Modell reagiert. Granite 4.2 3B hingegen ist sieben Wochen statt zwei Tage alt, doch auch seine Evaluationszahlen stammen von IBM, und sein 512K-Kontext ist ein Erweiterungspfad und nicht das native Fenster.

Keines dieser Modelle hat einen eigenständigen Scoreboard-Eintrag. Das ist derzeit eine Eigenschaft der gesamten Granite 4.x-Reihe, keine Kritik an einem der beiden Checkpoints.

Beides ausführen, ohne zwei Stacks laufen zu lassen

Die nützliche Beobachtung an dieser Paarung ist, dass die beiden Modelle nicht um dieselbe Anfrage konkurrieren, sodass die realistische Bereitstellung beide sind, nacheinander: Granite 4.2 3B im Thinking-Modus, wo das Schwierige das Reasoning ist, Granite Switch 4.1 8B, wo das Schwierige darin besteht, eine Entscheidung zu bewerten oder eine Sprachnotiz zu transkribieren. Das ist eine Zwei-Container-Architektur, und es lohnt sich, genau zu sein, wo eine Routing-Schicht hilft und wo nicht: Kein Granite-Modell irgendeiner Generation ist heute im OrcaRouter-Katalog, wir sind also keine gehostete Route zu einem dieser beiden Checkpoints — Granite Switch 4.1 8B und Granite 4.2 3B sind beide ein Hugging-Face-Download plus ein vLLM-Container. Was die Plattform ändert, ist die Ebene darüber. Zweihundertplus Modelle stehen hinter einem Schlüssel, der Listenpreis des Anbieters wird mit 0 % Aufschlag durchgereicht, sodass eine Preissenkung eines Anbieters noch am selben Tag live ist und nicht erst beim nächsten Katalog-Refresh, und automatisches Failover bedeutet, dass ein Modell, das Sie nur ausprobieren, in einem Live-Pfad sitzen kann, ohne zu einem Single Point of Failure zu werden. Der Sinn, das zu haben, bevor eines der Granite-Modelle auf einem gehosteten Endpunkt auftaucht, ist, dass der Vergleich dann einen Modell-String statt einer Migration kostet.

Also welche

Wählen Sie Granite 4.2 3B, wenn die Workload Reasoning ist, wenn die Maschine klein ist oder wenn die Eingabe länger als 131K Tokens ist. Wählen Sie Granite Switch 4.1 8B, wenn die Workload eine kalibrierte Entscheidungswahrscheinlichkeit, eine Inline-Sicherheitsprüfung oder Sprache am selben Endpunkt wie der Chat benötigt. Wählen Sie beide, wenn Sie die GPUs haben, denn die Überschneidung zwischen ihnen ist viel kleiner, als das gemeinsame Label „Granite 4.x“ vermuten lässt – und wählen Sie keines von beiden aufgrund einer Benchmark-Zahl, die IBM auf IBMs Karte gemessen hat, denn das ist die gesamte öffentliche Evidenzbasis für beide.