Granite Switch 4.1 8B vs Granite 4.2 3B: stesso laboratorio, due scommesse diverse

La prima cosa da sapere su Granite Switch 4.1 8B e Granite 4.2 3B è che non sono davvero rivali. Sono due risposte a domande diverse che per caso condividono un laboratorio, una licenza e un numero di versione, e il modo più rapido per sprecare una settimana è trattarli come un testa a testa e scegliere un vincitore. IBM ha rilasciato Granite 4.2 3B il 25 agosto 2026 come piccolo modello di ragionamento: tre modalità di pensiero, tool calling, contesto da 128K estendibile a 512K. IBM ha rilasciato Granite Switch 4.1 8B il 14 ottobre 2026 come una composizione: un modello testuale 8B congelato con due adattatori commutabili e un encoder vocale collegato ad esso. Uno è costruito per pensare più a fondo; l'altro è costruito per svolgere più compiti da un unico checkpoint.

La seconda cosa da sapere è più sottile, ed è il motivo per cui vale la pena dedicare un pezzo a questo abbinamento. La linea Granite Switch è costruita sui pesi della generazione 4.1, mentre la linea convenzionale di IBM si è già spostata su 4.2. Leggi il manifest di build di Granite Switch 4.1 8B e la base è ibm-granite/granite-4.1-8b. Leggi la model card di Granite 4.2 3B e risulta post-addestrato a partire da ibm-granite/granite-4.1-3b-base. Entrambe le linee poggiano sulla stessa generazione di pesi pre-addestrati e ne fanno cose opposte: 4.2 esegue un post-addestramento più intenso per il ragionamento, Switch compone lateralmente per l'ampiezza. Nessuna delle due ha soppiantato l'altra, ed è per questo che qui il riflesso del «quale è più nuovo» ti dà la risposta sbagliata.

Cosa sia in realtà ognuno

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B non è un modello di ragionamento e non cerca di esserlo. La sua base è Granite 4.1 8B — 40 livelli, dimensione nascosta 4.096, 32 teste di query rispetto a 8 teste KV, una finestra di 131.072 token — congelata, con due adattatori LoRA attivati al di sopra. guardian-core è di rango 16 sulle proiezioni di attenzione ed esiste per rilevare danno, jailbreaking, volgarità, violenza, contenuti sessuali, pregiudizi sociali e comportamenti non etici. decision è di rango 64 su tutte e sette le proiezioni ed esiste per restituire una distribuzione di probabilità calibrata su opzioni etichettate in un'unica passata in avanti. Aggiungi Granite Speech 5.0 TurboCTC, un encoder conformer da 470M di parametri, per la trascrizione. Totale complessivo: 8.776.400.896 parametri rispetto a una base di 8.380.551.168 — un aumento del 4,72%.

Le dimensioni in cui effettivamente differiscono

• Dimensione — Granite Switch 4.1 8B a 8,78B composti contro Granite 4.2 3B a circa 3B. Quasi tre volte i pesi, il che su una singola GPU è la differenza tra l'essere comodi e l'essere stretti.

• Contesto — 131,072 token contro 128K nativi, con un percorso di estensione fino a 512K. Vicino alla base, non vicino se ti serve il regime a contesto lungo.

• Ragionamento — nessuna modalità di pensiero, in assoluto, contro tre di loro. Granite Switch 4.1 8B risponde; Granite 4.2 3B ragiona prima, facoltativamente.

• Output strutturato — un softmax calibrato sulle opzioni etichettate rispetto a una risposta generata da un prompt. Solo uno di questi ti fornisce un numero su cui puoi applicare una soglia.

• Modalità — testo più audio in input, testo in output, rispetto al solo testo.

• Composizione dell'adattatore — due aLoRAs commutabili e un composer pubblico rispetto a un unico checkpoint monolitico.

• Rilascio — 14 ottobre 2026 contro 25 agosto 2026, a sette settimane di distanza, entrambi Apache-2.0.

Dove Granite 4.2 3B è la scelta ovvia

Tutto ciò che deve riflettere prima di rispondere e tutto ciò che deve girare su scala ridotta. Un modello 3B che ragiona in un numero controllato di token è uno strumento diverso da un modello 8B che non ragiona affatto, e in matematica, logica a più passaggi e codice le modalità di pensiero fanno un lavoro reale invece di decorare l'output. La modalità a basso sforzo è la parte sottovalutata: ti offre un'impostazione intermedia tra "ragionare completamente" e "non ragionare", che è esattamente ciò che vuoi quando una query è semplice ma non banale e paghi per token.

L'estensione a 512K è importante per lo stesso motivo, ma in una direzione diversa. Il lavoro su documenti lunghi — codice su scala di repository, input di centinaia di pagine — è il contesto in cui una finestra da 131K inizia a richiedere strategie di chunking, e Granite Switch 4.1 8B non documenta un percorso di estensione oltre il suo 131.072.

L'impronta è il terzo argomento, e non è di poco conto. Un modello da tre miliardi di parametri è di classe laptop. Puoi eseguire Granite 4.2 3B in contesti in cui un checkpoint da 8,78B semplicemente non è un'opzione, e questa è una differenza di capacità, non una preferenza.

Dove Granite Switch 4.1 8B è la scelta ovvia

Quando l'output che ti serve è una probabilità anziché un paragrafo. Si può chiedere a un modello di ragionamento di scegliere l'opzione B, e ti darà la lettera. I prompt però non sono probabilità: non puoi applicare una soglia a una lettera, non puoi confrontare una lettera tra un turno e l'altro come punteggio calibrato e non puoi registrarla come valore di confidenza. decision adapter restituisce direttamente una softmax sui token etichetta — la chiamata documentata chiede a vLLM i logprob esattamente di quegli id e ne calcola l'esponenziale, producendo un output nella forma A: 0.982, B: 0.0035, C: 0.014. È una primitiva di routing, non una risposta.

Quando il controllo di sicurezza deve essere un componente anziché una policy. guardian-core utilizza lo stesso checkpoint, attivato da un token di controllo che il template della chat inserisce quando si passa un adapter_name. Non stai attivando un secondo modello per filtrare gli input; il classificatore è una modalità del modello che hai già caricato.

Quando vuoi un solo endpoint invece di due, e in particolare quando l'audio è uno dei due. La trascrizione condivide l'endpoint con chat e decisioni, quindi una input_audio parte di contenuto in un normale completamento chat è tutto ciò che serve. Granite 4.2 3B non ha un percorso audio.

E quando vuoi comporre la tua variante. Il composer è pubblico, il catalogo degli adapter è aperto, e il manifest di build per questo checkpoint è versionato accanto ai pesi — il che significa che i rank, i moduli target e gli ID dei token di controllo sono tutti leggibili anziché dedotti.

Le oneste avvertenze da entrambe le parti

Granite Switch 4.1 8B non ha alcuna valutazione indipendente. Il suo unico punteggio pubblicato è il Decision Index, edizione v0.3 public fast subset, a 42,9 nel complesso — Conoscenza 29,1, Linguaggio 48,9, Retrieval 49,8, Strumenti 59,8, Arti 18,0 — e quella esecuzione è stata di IBM stessa, pubblicata sulla scheda del modello di IBM, e non è stata riprodotta da nessuno. Non c'è alcuna voce in classifiche di terze parti. Il modello è sull'Hub da due giorni con qualche decina di download.

Il suo percorso vocale è più stretto di quanto suggerisca il titolo, e IBM stessa lo ammette: l'encoder è solo in inglese, la trascrizione esce in minuscolo e senza punteggiatura, e l'encoder e il modello linguistico non sono addestrati congiuntamente — non esiste una proiezione addestrata che li accoppi, quindi una trascrizione errata può cambiare silenziosamente ciò a cui il modello risponde. Granite 4.2 3B, nel frattempo, ha sette settimane invece di due giorni, ma anche i suoi numeri di valutazione sono di IBM, e il suo contesto da 512K è un percorso di estensione anziché la finestra nativa.

Nessuno di questi modelli ha una voce indipendente nella scoreboard. Al momento è una proprietà dell'intera linea Granite 4.x, non una critica a nessuno dei due checkpoint.

Eseguire entrambi senza eseguire due stack

L'osservazione utile su questo abbinamento è che i due modelli non competono per la stessa richiesta, quindi il deployment realistico è entrambi, in sequenza: Granite 4.2 3B in modalità thinking dove la parte difficile è il ragionamento, Granite Switch 4.1 8B dove la parte difficile è valutare una decisione o trascrivere una nota vocale. Questa è un'architettura a due container, e vale la pena essere precisi su dove un livello di routing aiuta e dove no: nessun modello Granite di nessuna generazione è oggi nel catalogo di OrcaRouter, quindi non siamo una rotta ospitata verso nessuno di questi due checkpoint — Granite Switch 4.1 8B e Granite 4.2 3B sono entrambi un download da Hugging Face più un container vLLM. Ciò che la piattaforma cambia è il livello sopra di essi. Oltre duecento modelli stanno dietro un'unica chiave, il prezzo di listino del provider viene passato con markup 0% quindi un taglio di prezzo del fornitore è attivo lo stesso giorno invece che al successivo aggiornamento del catalogo, e il failover automatico significa che un modello che stai solo provando può stare in un percorso live senza diventare un singolo punto di guasto. Il punto di avere questo in atto prima che uno dei due Granite compaia su un endpoint ospitato è che il confronto costa allora una stringa di modello invece di una migrazione.

Quindi quale

Scegli Granite 4.2 3B quando il carico di lavoro è di tipo ragionamento, quando la macchina è piccola o quando l'input supera i 131K token. Scegli Granite Switch 4.1 8B quando il carico di lavoro richiede una probabilità di decisione calibrata, un filtro di sicurezza in linea o la voce sullo stesso endpoint della chat. Scegli entrambi se hai le GPU, perché la sovrapposizione tra i due è molto minore di quanto lasci immaginare l'etichetta condivisa "Granite 4.x" — e non scegliere nessuno dei due sulla base di un numero di benchmark che IBM ha ottenuto sulla scheda di IBM, perché quella è l'intera base di prove pubbliche per entrambi.