Granite Switch 4.1 8B vs LFM2.5 2.6B Base: c'è davvero una scelta qui?

Questo è l'abbinamento del set che sembra meno un confronto ad armi pari, quindi affrontiamolo subito invece di fingere il contrario. Granite Switch 4.1 8B è un checkpoint composto da 8,78 miliardi di parametri pubblicato da IBM il 14 ottobre 2026: un Granite 4.1 8B congelato con due adapter commutabili e un encoder vocale, che svolge chat, scoring decisionale e trascrizione da un unico endpoint. LFM2.5 2.6B Base è un modello testuale pre-addestrato da 2,69 miliardi di parametri pubblicato da Liquid AI il 1° agosto 2026, progettato specificamente per il deployment on-device — e, cosa importante, la sua stessa model card dichiara che si tratta di un checkpoint base "consigliato solo per attività che richiedono un fine-tuning pesante". Confrontarli come se uno potesse sostituire l'altro è un errore di categoria. Confrontarli ti dice qualcosa di più utile: dove si colloca davvero il confine di ciascuno, e perché quasi nessuno sceglierà tra questi due.

Quindi non è una gara di confronto. È una mappa della decisione che prenderesti davvero — quella in cui hai un target edge e un target server, e stai cercando di capire quale modello va dove.

A cosa serve ciascuno

LFM2.5 2.6B Base è un'architettura ibrida, e l'ibrido è il punto. Trenta livelli, di cui 22 sono blocchi a convoluzione breve con doppio gate e 8 sono attenzione a query raggruppate — quindi la maggior parte dello stack è convoluzione anziché attenzione, ed è ciò che mantiene bassi l'impronta di memoria e il costo per token su hardware di piccole dimensioni. Dimensione nascosta 2.048, 32 teste di query contro 8 teste KV, un contesto di 131.072 token, un vocabolario di 128.000 token e un budget di pre-addestramento di 34 trilioni di token. Sedici lingue sono elencate: inglese, arabo, cinese, francese, tedesco, italiano, giapponese, coreano, portoghese, spagnolo, vietnamita, thai, indonesiano, hindi, russo e polacco. Liquid descrive la famiglia come pensata per la distribuzione su dispositivo e distribuisce il modello instruct gemello nei formati GGUF, ONNX e MLX insieme al checkpoint nativo.

Granite Switch 4.1 8B è l'istinto opposto applicato al problema opposto. Anziché ridurre il modello, mantiene un backbone testuale piuttosto grande e aggiunge capacità in modo laterale. La base è Granite 4.1 8B: 40 livelli, dimensione nascosta 4.096, 32 teste di query contro 8 teste KV, una finestra di 131.072 token, un vocabolario di 100.352 token. Su questa base si trovano guardian-core, un adattatore LoRA attivato di rango 16 sulle proiezioni di attenzione che rileva danni, jailbreaking, volgarità, violenza, contenuti sessuali, bias sociale e comportamenti non etici; decision, un adattatore di rango 64 su tutte e sette le proiezioni che restituisce una softmax calibrata sui token di opzione etichettati in un singolo passaggio in avanti; e Granite Speech 5.0 TurboCTC, un encoder conformer non autoregressivo da 470 milioni di parametri per la trascrizione. Il totale composto è di 8.776.400.896 parametri contro una base di 8.380.551.168 — un aumento del 4,72%.

La dimensione che decide: instruct versus base

La differenza più grande in assoluto tra questi due checkpoint non è la dimensione o l'architettura. È che uno è un modello finito e l'altro è materiale grezzo.

Granite Switch 4.1 8B viene fornito pronto per l'invocazione. Gli adapter sono già integrati, i token di controllo sono collegati tramite il template della chat, le ricette di invocazione per l'adattatore decisionale sono documentate con codice funzionante, e la scheda elenca le versioni esatte di Transformers e vLLM che richiede. Lo scarichi, lo esegui, e svolge i tre compiti.

LFM2.5 2.6B Base non fa nulla di tutto ciò, per scelta progettuale. Le indicazioni fornite da Liquid stessa dicono che questo checkpoint è destinato ad "assistenti specifici per una lingua (ad es., il giapponese) o specifici per un dominio (ad es., medico), all'addestramento su dati proprietari o alla sperimentazione di approcci innovativi di post-training" — e se quello che vuoi è un modello che risponda alle domande fin da subito, la scheda rimanda invece al modello gemello post-addestrato. Un checkpoint base non ha alcun comportamento di instruction-following da confrontare, né allineamento, né disciplina di template di chat. Metti i due sulla stessa valutazione e il modello Granite sembrerà drasticamente migliore per una ragione che non ha nulla a che vedere con quale sia il modello migliore: uno è stato post-addestrato e l'altro no.

• Parametri — 8,78B composti vs 2,69B.

• Livelli — 40 blocchi transformer densi contro 30 ibridi (22 short-convolution a doppio gate + 8 GQA).

• Contesto — 131.072 token vs 131.072 token. Perfettamente alla pari, il che è insolito e degno di nota.

• Vocabolario — 100,355 (tre id riservati per gli adattatori) vs 128,000.

• Modalità — testo e audio in input, testo in output rispetto a solo testo.

• Tipo di checkpoint — composto, post-addestrato, pronto all'uso rispetto a una base pre-addestrata per il fine-tuning.

• Licenza — Apache-2.0 rispetto alla licenza LFM 1.0, che non è Apache. Questa distinzione ha rilevanza commerciale ed è facile trascurarla.

• Evidenza pubblicata — un Decision Index eseguito dal fornitore con un punteggio complessivo di 42,9, nessuna valutazione indipendente, rispetto all'assenza di un benchmark pubblico comparabile per il checkpoint di base.

Cosa ti dà 2,69 miliardi che 8,78 miliardi non possono darti

Portabilità, e non è un vantaggio marginale. Un modello da 2,69B con 22 dei suoi 30 layer costruiti da convoluzioni brevi è progettato per vivere su un dispositivo — un laptop, un SoC di classe smartphone, un box embedded — e Liquid distribuisce varianti quantizzate GGUF, ONNX e MLX esattamente per questo. Un checkpoint composto da 8,78B con un encoder vocale da 470M è un artefatto lato server. Gira su una GPU, in un container, dietro un endpoint.

Ciò significa che le forme di deployment non si sovrappongono: una riguarda il caso in cui la richiesta non può lasciare il dispositivo, l'altra il caso in cui può farlo. Se il vincolo è "nessuna rete", il confronto è finito prima ancora di iniziare, e nessuna quantità di composizione lo cambia. Aggiungi il punto sulla licenza — LFM 1.0 anziché Apache-2.0 — e il checkpoint 2.6B è quello che sceglieresti quando intendi fare fine-tuning del tuo modello sui tuoi dati e distribuirlo in un prodotto, mentre Granite Switch è quello che scegli quando vuoi tre capacità oggi con una licenza permissiva.

Che cosa ti offre la composizione che 2,69B non può darti?

Tre job da un solo endpoint, e una probabilità invece di una risposta.

L'adattatore decisionale è la parte che non ha equivalente dall'altra parte. Dato uno stato e una domanda con opzioni etichettate, restituisce un softmax calibrato su quelle etichette in un singolo forward pass — la chiamata documentata chiede a vLLM i logprobs esattamente degli id dei token delle etichette tramite logprob_token_ids e ne calcola l'esponenziale, producendo un output del tipo A: 0.982, B: 0.0035, C: 0.014. I prompt ti danno un token; questo ti dà un numero su cui puoi applicare una soglia, calcolare la media e il logaritmo. C'è anche una complicazione documentata che vale la pena conoscere prima di costruirci sopra: vLLM limita logprob_token_ids a 128 id per richiesta, quindi una domanda con più di 128 opzioni richiede che i suoi id etichetta siano suddivisi in gruppi di 128, una richiesta con prompt identico per blocco, con i risultati concatenati e un singolo softmax applicato all'insieme completo delle etichette. Poiché i logprobs restituiti coprono l'intero vocabolario, il valore di ciascuna etichetta è indipendente da quale blocco l'ha richiesto, quindi il risultato suddiviso in blocchi è matematicamente identico a una chiamata senza limite.

Il parlato sullo stesso endpoint è il secondo. Invia una input_audio parte di contenuto in una normale chat completion e l'encoder da 470M la trascrive prima di inserire la trascrizione nel contesto. Le avvertenze di IBM sono specifiche e vale la pena ripeterle: solo in inglese, output in minuscolo e senza punteggiatura, e l'encoder e il modello linguistico non sono addestrati congiuntamente — non esiste una proiezione addestrata che li accoppi, quindi una trascrizione errata può cambiare silenziosamente ciò a cui il modello risponde. Un modello edge senza alcun percorso audio ha un problema diverso, non l'assenza di problemi.

E l'adattatore di sicurezza è il terzo: un classificatore di harm e jailbreak che si appoggia allo stesso checkpoint, attivato da un token di controllo che il template della chat inserisce quando si passa un adapter_name, invece di un secondo modello da distribuire e da pagare.

Dove si inserisce un router quando la risposta è «entrambi»

La versione realistica di questo confronto si chiude con entrambi i modelli nello stesso prodotto. LFM2.5 2.6B Base, fine-tuned, sul dispositivo, che gestisce ciò che non può uscire da lì; Granite Switch 4.1 8B, self-hosted, che gestisce decisioni e trascrizione lato server. Questa è un'architettura a due livelli, e la domanda operativa che solleva è che cosa accade sulla giuntura — un modello on-device che fallisce, un server saturo, una richiesta che deve ricadere su qualcos'altro. Nessuno dei due checkpoint è oggi nel catalogo OrcaRouter, quindi non siamo noi la via per ottenerne uno; il punto in cui diventiamo rilevanti è la catena di fallback che sta dietro di essi. Una sola chiave API copre oltre 200 modelli hosted con failover automatico, il DSL di routing ti permette di comporre più modelli in un'unica chiamata invece di costruire a mano il fan-out, e il prezzo di listino del provider viene passato senza alcun ricarico, così un taglio di prezzo del fornitore è attivo lo stesso giorno. img src="4.png" alt="Uno screenshot del catalogo modelli di OrcaRouter, con l'intestazione 210 modelli, 16 provider, una chiave API, una fattura, con facet di modalità che mostrano 173 per testo, 12 per immagini, 5 per embedding, 10 per video e 10 per TTS, una barra laterale di filtri per modalità di input, lunghezza del contesto, prezzo di input, stato, livello di accesso, serie e parametri supportati, e un elenco di schede modello dal più recente che inizia con OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol e Anthropic Claude Sonnet 5.5 con le loro tariffe per milione di token in input e output." /> Quello è lo strato che rende un'architettura a due livelli sostenibile anziché fragile, e vale la pena averlo in piedi prima che il livello edge inizi a fallire sul campo.

Il verdetto, per quello che è

Scegli LFM2.5 2.6B Base se hai intenzione di fare fine-tuning, se l'inferenza deve avvenire sul dispositivo, o se un ingombro di 2,69B è il vincolo rigido. Scegli Granite Switch 4.1 8B se hai bisogno di una distribuzione decisionale calibrata, di un classificatore di sicurezza inline, o di trascrizione dallo stesso endpoint della chat, e se un container con GPU è accettabile. La sovrapposizione tra questi due casi d'uso è quasi nulla, ed è per questo che la risposta onesta a "quale vince" è che la domanda è mal posta — e che la cosa più utile da portare a casa è che un checkpoint base da 2,69B e un modello instruct composto da 8,78B non sono due punti su un'unica linea di qualità. Sono due prodotti diversi che, per caso, hanno conteggi di parametri adiacenti.