Granite Switch 4.1 8B vs Granite 4.2 3B: Hetzelfde lab, twee verschillende weddenschappen

Het eerste dat je moet weten over Granite Switch 4.1 8B en Granite 4.2 3B is dat ze niet echt rivalen zijn. Het zijn twee antwoorden op verschillende vragen die toevallig een lab, een licentie en een versienummer delen, en de snelste manier om een week te verdoen is dit als een directe confrontatie te behandelen en een winnaar te kiezen. IBM bracht Granite 4.2 3B op 25 augustus 2026 uit als een klein redeneermodel: drie denkmodi, het aanroepen van tools, 128K-context die tot 512K kan worden uitgebreid. IBM bracht Granite Switch 4.1 8B op 14 oktober 2026 uit als een compositie: een bevroren 8B-tekstmodel met twee omschakelbare adapters en een spraakencoder die eraan hangt. De ene is gebouwd om harder na te denken; de andere is gebouwd om meer taken vanuit één checkpoint uit te voeren.

Het tweede dat je moet weten is subtieler, en het is de reden waarom deze combinatie überhaupt een artikel waard is. De Granite Switch-lijn is gebouwd op de gewichten van de 4.1-generatie, terwijl de conventionele lijn van IBM al is overgestapt naar 4.2. Lees het buildmanifest voor Granite Switch 4.1 8B en de basis is ibm-granite/granite-4.1-8b. Lees de modelkaart voor Granite 4.2 3B en het is post-getraind op basis van ibm-granite/granite-4.1-3b-base. Beide lijnen staan op dezelfde generatie voorgetrainde gewichten en doen daar tegenovergestelde dingen mee: 4.2 post-traint harder voor redeneren, Switch componeert zijwaarts voor breedte. Geen van beide heeft de andere opgevolgd, en daarom geeft de 'wat is nieuwer'-reflex hier het verkeerde antwoord.

Wat elk ervan eigenlijk is

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B is geen redeneermodel en probeert dat ook niet te zijn. De basis is Granite 4.1 8B — 40 lagen, verborgen dimensie 4.096, 32 query-heads tegenover 8 KV-heads, een venster van 131.072 tokens — bevroren, met daarbovenop twee geactiveerde-LoRA-adapters. guardian-core heeft rang 16 over de attention-projecties en dient om schade, jailbreaking, grof taalgebruik, geweld, seksuele inhoud, sociale vooringenomenheid en onethisch gedrag te detecteren. decision heeft rang 64 over alle zeven projecties en dient om in één forward pass een gekalibreerde waarschijnlijkheidsverdeling over gelabelde opties te retourneren. Voeg Granite Speech 5.0 TurboCTC toe, een conformer-encoder met 470M parameters, voor transcriptie. Samengesteld totaal: 8.776.400.896 parameters tegenover een basis van 8.380.551.168 — een stijging van 4,72%.

De dimensies waarin ze daadwerkelijk verschillen

• Grootte — Granite Switch 4.1 8B met 8,78B afgezet tegen Granite 4.2 3B met ongeveer 3B. Bijna drie keer zoveel gewichten, wat op één GPU het verschil is tussen comfortabel en krap.

• Context — 131.072 tokens tegenover 128K native, met een uitbreidingspad naar 512K. Dicht bij de basis, niet dichtbij als je het long-contextregime nodig hebt.

• Redeneren — helemaal geen denkmodus tegenover drie van hen. Granite Switch 4.1 8B antwoordt; Granite 4.2 3B redeneert eerst, optioneel.

• Gestructureerde output — een gekalibreerde softmax over gelabelde opties tegenover een antwoord op een prompt. Alleen een van deze geeft je een getal waarop je een drempel kunt toepassen.

• Modaliteiten — tekst plus audio in, tekst uit, tegenover alleen tekst.

• Adaptercompositie — twee schakelbare aLoRA's en een publieke composer tegenover één monolithisch checkpoint.

• Release — 14 oktober 2026 tegenover 25 augustus 2026, zeven weken uit elkaar, beide Apache-2.0.

Waar Granite 4.2 3B de voor de hand liggende keuze is

Alles wat moet nadenken voordat het antwoordt, en alles wat klein moet draaien. Een 3B-model dat redeneert binnen een gecontroleerd aantal tokens is een ander gereedschap dan een 8B-model dat helemaal niet redeneert, en bij wiskunde, logica met meerdere stappen en code doen de denkmodi echt werk in plaats van de output te versieren. De low-effortmodus is het onderschatte onderdeel: hij geeft je een tussenliggende instelling tussen "volledig redeneren" en "niet redeneren", precies wat je wilt wanneer een query eenvoudig maar niet triviaal is en je per token betaalt.

De 512K-uitbreiding is om dezelfde reden van belang, maar dan in een andere richting. Werk met lange documenten — code op repositoryschaal, inputs van honderden pagina's — is waar een venster van 131K langzaamaan chunkingstrategieën gaat vereisen, en Granite Switch 4.1 8B documenteert geen uitbreidingspad voorbij zijn 131.072.

De footprint is het derde argument, en het is geen kleintje. Drie miljard parameters is een model uit de laptopklasse. Je kunt Granite 4.2 3B draaien op plekken waar een 8,78B-checkpoint simpelweg geen optie is, en dat is een verschil in capaciteit, niet in voorkeur.

Waar Granite Switch 4.1 8B de voor de hand liggende keuze is

Wanneer de output die je nodig hebt een waarschijnlijkheid is in plaats van een paragraaf. Een redeneermodel kan met een prompt ertoe worden aangezet optie B te kiezen, en het geeft je de letter. Prompts zijn echter geen waarschijnlijkheden: je kunt geen drempel toepassen op een letter, je kunt een letter niet over meerdere beurten heen vergelijken als een gekalibreerde score, en je kunt die niet loggen als een betrouwbaarheidswaarde. decision-adapter retourneert direct een softmax over de labeltokens — de gedocumenteerde aanroep vraagt vLLM om de logprobs van precies die id's en exponentieert deze, wat output oplevert in de vorm A: 0.982, B: 0.0035, C: 0.014. Dat is een routeringsprimitief, geen antwoord.

Wanneer de veiligheidscontrole een component moet zijn in plaats van een beleid. guardian-core draait op dezelfde checkpoint, geactiveerd door een controletoken dat het chatsjabloon invoegt bij het doorgeven van een adapter_name. Je zet geen tweede model op om invoer te screenen; de classificator is een modus van het model dat je al hebt geladen.

Als je één endpoint wilt in plaats van twee, en in het bijzonder wanneer audio een van de twee is. Transcriptie deelt het endpoint met chat en decisions, dus een input_audio contentonderdeel in een gewone chat completion is alles wat nodig is. Granite 4.2 3B heeft geen audiopad.

En wanneer je je eigen variant wilt samenstellen. De composer is openbaar, de adaptercatalogus is open, en het buildmanifest voor dit checkpoint is ingecheckt naast de weights — wat betekent dat de ranks, targetmodules en control-token-id's allemaal leesbaar zijn in plaats van afgeleid.

De eerlijke kanttekeningen aan beide kanten

Granite Switch 4.1 8B heeft helemaal geen onafhankelijke evaluatie. De enige gepubliceerde score is de Decision Index, editie v0.3 public fast subset, met een totaalscore van 42,9 — Knowledge 29,1, Language 48,9, Retrieval 49,8, Tools 59,8, Arts 18,0 — en die run was van IBM zelf, gepubliceerd op IBM's model card, door niemand gereproduceerd. Er is geen leaderboard-vermelding van een derde partij. Het model staat twee dagen op de Hub met een paar dozijn downloads.

Het spraakpad is beperkter dan de kop doet vermoeden, en IBM zegt dat zelf: de encoder is alleen Engelstalig, het transcript komt eruit zonder hoofdletters en zonder leestekens, en de encoder en het taalmodel zijn niet gezamenlijk getraind — er is geen getrainde projectie die ze koppelt, dus een verkeerde transcriptie kan ongemerkt veranderen waarop het model reageert. Granite 4.2 3B is daarentegen zeven weken oud in plaats van twee dagen, maar ook de evaluatiecijfers zijn van IBM, en de 512K-context is een uitbreidingspad in plaats van het native venster.

Geen van deze modellen heeft een onafhankelijke vermelding op het scorebord. Dat is op dit moment een eigenschap van de hele Granite 4.x-lijn, geen kritiek op een van beide checkpoints.

Beide draaien zonder twee stacks te draaien

De nuttige observatie over deze combinatie is dat de twee modellen niet om hetzelfde verzoek concurreren, dus de realistische implementatie is beide, opeenvolgend: Granite 4.2 3B in denkmodus waar het moeilijke deel redeneren is, Granite Switch 4.1 8B waar het moeilijke deel het scoren van een beslissing of het transcriberen van een spraakbericht is. Dat is een architectuur met twee containers, en het is de moeite waard om precies te zijn over waar een routeringslaag helpt en waar niet: geen Granite-model van welke generatie dan ook staat vandaag in de OrcaRouter-catalogus, dus we zijn geen gehoste route naar een van deze twee checkpoints — Granite Switch 4.1 8B en Granite 4.2 3B zijn beide een Hugging Face-download plus een vLLM-container. Wat het platform verandert, is de laag erboven. Meer dan tweehonderd modellen zitten achter één sleutel, de lijstprijs van de provider wordt doorgegeven met 0% opslag dus een prijsverlaging van een leverancier is dezelfde dag live in plaats van bij de volgende catalogusvernieuwing, en automatische failover betekent dat een model dat je slechts uitprobeert in een live pad kan staan zonder een enkel storingspunt te worden. Het punt om dat op orde te hebben voordat een van beide Granite-modellen op een gehost endpoint verschijnt, is dat de vergelijking dan één modelstring kost in plaats van één migratie.

Dus welke

Kies Granite 4.2 3B wanneer de werklast redeneerwerk is, wanneer de machine klein is, of wanneer de invoer langer is dan 131K tokens. Kies Granite Switch 4.1 8B wanneer de werklast een gekalibreerde beslissingswaarschijnlijkheid nodig heeft, een inline veiligheidsfilter, of spraak op hetzelfde endpoint als chat. Kies beide als je de GPU's hebt, want de overlap tussen beide is veel kleiner dan het gedeelde label "Granite 4.x" doet lijken — en kies geen van beide op basis van een benchmarkgetal dat IBM op IBM's kaart heeft gedraaid, want dat is de volledige publieke bewijsbasis voor beide.