Granite Switch 4.1 8B vs Granite 4.2 3B: Samma labb, två olika satsningar

Det första man bör veta om Granite Switch 4.1 8B och Granite 4.2 3B är att de inte egentligen är rivaler. De är två svar på olika frågor som råkar dela ett labb, en licens och ett versionsnummer, och det snabbaste sättet att slösa bort en vecka är att behandla det här som en direkt duell och utse en vinnare. IBM släppte Granite 4.2 3B den 25 augusti 2026 som en liten resonemangsmodell: tre tankelägen, verktygsanrop, 128K kontext som kan utökas till 512K. IBM släppte Granite Switch 4.1 8B den 14 oktober 2026 som en komposition: en fryst 8B-textmodell med två växlingsbara adaptrar och en talencoder hängd på den. Den ena är byggd för att tänka hårdare; den andra är byggd för att göra fler jobb från en och samma checkpoint.

Det andra man bör känna till är subtilare, och det är anledningen till att den här kombinationen är värd en artikel överhuvudtaget. Granite Switch-linjen är byggd på 4.1-generationens vikter, medan IBM:s konventionella linje redan har gått vidare till 4.2. Läs byggmanifestet för Granite Switch 4.1 8B och basen är ibm-granite/granite-4.1-8b. Läs modellkortet för Granite 4.2 3B och den är eftertränad från ibm-granite/granite-4.1-3b-base. Båda linjerna vilar på samma generation av förtränade vikter och gör motsatta saker med dem: 4.2 eftertränar hårdare för resonemang, Switch komponerar i sidled för bredd. Ingen av dem har ersatt den andra, vilket är anledningen till att reflexen "vilken är nyare" ger dig fel svar här.

Vad var och en faktiskt är

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B är inte en resonemangsmodell och försöker inte vara det. Dess bas är Granite 4.1 8B — 40 lager, dold storlek 4 096, 32 query-huvuden mot 8 KV-huvuden, ett fönster på 131 072 token — fryst, med två aktiverade LoRA-adaptrar ovanpå. guardian-core har rang 16 över uppmärksamhetsprojektionerna och finns för att upptäcka skada, jailbreaking, svordomar, våld, sexuellt innehåll, social snedvridning och oetiskt beteende. decision har rang 64 över alla sju projektioner och finns för att returnera en kalibrerad sannolikhetsfördelning över märkta alternativ i en enda framåtpassning. Lägg till Granite Speech 5.0 TurboCTC, en conformer-kodare med 470M parametrar, för transkribering. Sammansatt total: 8 776 400 896 parametrar mot en bas på 8 380 551 168 — en ökning med 4,72 %.

Dimensionerna där de faktiskt skiljer sig

• Storlek — Granite Switch 4.1 8B på 8,78B jämfört med Granite 4.2 3B på ungefär 3B. Nästan tre gånger så många vikter, vilket på en enda GPU är skillnaden mellan bekvämt och trångt.

• Kontext — 131 072 tokens mot 128K nativt med en utökningsväg till 512K. Nära vid basen, inte nära om du behöver långkontextregimen.

• Resonemang — inget tankeläge alls mot tre av dem. Granite Switch 4.1 8B svarar; Granite 4.2 3B resonerar först, valfritt.

• Strukturerad utdata — en kalibrerad softmax över märkta alternativ mot ett promptat svar. Endast en av dessa ger dig ett tal som du kan sätta ett tröskelvärde på.

• Modaliteter — text plus ljud som indata, text som utdata, jämfört med enbart text.

• Adapterkomposition — två växlingsbara aLoRA:er och en publik kompositör mot en enda monolitisk checkpoint.

• Utgåva — 14 oktober 2026 mot 25 augusti 2026, med sju veckor emellan, båda Apache-2.0.

Där Granite 4.2 3B är det självklara valet

Allt som behöver tänka innan det svarar, och allt som måste köras i liten skala. En 3B-modell som resonerar med ett kontrollerat antal tokens är ett annat verktyg än en 8B-modell som inte resonerar alls, och inom matematik, logik i flera steg och kod gör tänklägena verkligt arbete i stället för att bara dekorera resultatet. Läget med låg ansträngning är den underskattade delen: det ger dig en mellaninställning mellan "resonera fullt ut" och "resonera inte", vilket är precis vad du vill ha när en fråga är enkel men inte trivial och du betalar per token.

512K-förlängningen spelar roll av samma skäl, men i en annan riktning. Arbete med långa dokument – kod i repositoriskala, indata på flera hundra sidor – är där ett 131K-fönster börjar kräva chunkningsstrategier, och Granite Switch 4.1 8B dokumenterar ingen förlängningsväg bortom sina 131 072.

Fotavtryck är det tredje argumentet, och det är inte ett litet sådant. Tre miljarder parametrar är en modell i laptopklass. Du kan köra Granite 4.2 3B på platser där en 8,78B-checkpoint helt enkelt inte är ett alternativ, och det är en kapacitetsskillnad snarare än en preferens.

Där Granite Switch 4.1 8B är det självklara valet

När resultatet du behöver är en sannolikhet snarare än ett stycke. En resonemangsmodell kan promptas att välja alternativ B, och den ger dig bokstaven. Promptar är dock inte sannolikheter: du kan inte tillämpa ett tröskelvärde på en bokstav, du kan inte jämföra en bokstav mellan turer som en kalibrerad poäng, och du kan inte logga den som ett konfidensvärde. Den beslutsadaptern returnerar en softmax över etiketttokens direkt — det dokumenterade anropet ber vLLM om logprobs för exakt dessa id:n och exponentierar, vilket ger utdata av formen A: 0.982, B: 0.0035, C: 0.014. Det är en routing-primitiv, inte ett svar.

När säkerhetskontrollen behöver vara en komponent snarare än en policy. guardian-coreanvänder samma checkpoint, aktiverad av en kontrolltoken som chattmallen infogar när du skickar in ett adapter_name. Du sätter inte upp en andra modell för att granska indata; klassificeraren är ett läge i modellen du redan har laddat.

När du vill ha en slutpunkt istället för två, och särskilt när ljud är en av de två. Transkription delar slutpunkten med chatt och beslut, så en input_audio-innehållsdel i en vanlig chattkomplettering är allt som krävs. Granite 4.2 3B har ingen ljudväg.

Och när du vill komponera din egen variant. Composern är offentlig, adapterkatalogen är öppen, och byggmanifestet för den här checkpointen är incheckat bredvid vikterna – vilket innebär att rangerna, målmodulerna och kontrolltoken-id:na är läsbara i stället för att behöva härledas.

De ärliga förbehållen på båda sidor

Granite Switch 4.1 8B har ingen som helst oberoende utvärdering. Dess enda publicerade poäng är Decision Index, utgåva v0.3, offentlig snabb delmängd, med 42,9 totalt — Kunskap 29,1, Språk 48,9, Sökning 49,8, Verktyg 59,8, Konst 18,0 — och den körningen var IBMs egen, publicerad på IBMs modellkort, och har inte reproducerats av någon. Det finns ingen tredjepartspost på resultattavlan. Modellen är två dagar gammal på Hubben och har några dussin nedladdningar.

Dess talväg är smalare än vad rubriken antyder, och IBM säger det själva: encodern är endast engelskspråkig, transkriptionen kommer ut i gemener och utan skiljetecken, och encodern och språkmodellen är inte tränade tillsammans — det finns ingen tränad projektion som kopplar dem, så en feltranskription kan tyst ändra vad modellen svarar på. Granite 4.2 3B är å andra sidan sju veckor gammal snarare än två dagar, men dess utvärderingssiffror är också IBMs, och dess 512K-kontext är en förlängningsväg snarare än det inbyggda fönstret.

Ingen av dessa modeller har en egen post på resultattavlan. Det är en egenskap hos hela Granite 4.x-serien just nu, inte en kritik av någon av kontrollpunkterna.

Köra båda utan att köra två stackar

Den användbara iakttagelsen om den här kombinationen är att de två modellerna inte konkurrerar om samma förfrågan, så den realistiska driftsättningen är båda två, i sekvens: Granite 4.2 3B i tänkandeläge där det svåra är resonemang, Granite Switch 4.1 8B där det svåra är att poängsätta ett beslut eller transkribera ett röstmeddelande. Det är en arkitektur med två containrar, och det är värt att vara precis om var ett routningslager hjälper och var det inte gör det: ingen Granite-modell av någon generation finns i OrcaRouter-katalogen i dag, så vi är inte en hostad rutt till någon av dessa två checkpoints – Granite Switch 4.1 8B och Granite 4.2 3B är båda en nedladdning från Hugging Face plus en vLLM-container. Det plattformen förändrar är lagret ovanför dem. Fler än tvåhundra modeller ligger bakom en enda nyckel, leverantörens listpris förs vidare med 0 % påslag så en leverantörsprissänkning är live samma dag i stället för vid nästa kataloguppdatering, och automatisk failover innebär att en modell som du bara testar kan ligga i en aktiv väg utan att bli en enskild felpunkt. Poängen med att ha det på plats innan någon av Granite-modellerna dyker upp på en hostad slutpunkt är att jämförelsen då kostar en modellsträng i stället för en migrering.

Så vilken

Välj Granite 4.2 3B när arbetsbelastningen är resonerande, när maskinen är liten, eller när indata är längre än 131K token. Välj Granite Switch 4.1 8B när arbetsbelastningen kräver en kalibrerad beslutsannolikhet, en säkerhetsgranskning i linjen, eller tal på samma endpoint som chatten. Välj båda om du har GPU:erna, eftersom överlappningen mellan dem är mycket mindre än vad den gemensamma etiketten "Granite 4.x" antyder – och välj ingen av dem med stöd av ett benchmarkvärde som IBM körde på IBMs kort, eftersom det är hela den offentliga bevisbasen för båda.