Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: Due modi per far stare un agente in 24 GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

I numeri sono abbastanza vicini da creare confusione. Bolt è un checkpoint da 74 miliardi di parametri con 9 miliardi attivi per token, memorizzato a circa due bit per peso di esperto, in un file da 24 GB. LFM2.5-24B-A2B è un checkpoint da 24 miliardi di parametri con 2,45 miliardi attivi per token, a precisione ordinaria. Entrambi sono mixture of experts. Entrambi funzionano senza rete. Dietro un pitch che suona simile, quasi ogni scelta ingegneristica è diversa.

Che cos'è realmente LFM2.5-24B-A2B

Il checkpoint di Liquid AI è il membro più grande e più recente della famiglia LFM2.5, nonché l'ultimo di quella famiglia ancora da rilasciare. I suoi pesi sono stati pubblicati su Hugging Face all'inizio di ottobre e l'azienda lo ha annunciato il 13 ottobre 2026, quindi è più o meno recente quanto Bolt e non ha accumulato molti risultati indipendenti neppure lui.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

È solo testo, e pensa sempre prima di rispondere — la traccia di ragionamento non è opzionale. Liquid lo posiziona contro modelli di una taglia e mezza più grandi su compiti agentici, e pubblica un punteggio LiveClaw di 48,09 contro 38,19 per Qwen3.6-35B-A3B a sostegno di ciò. È un confronto di parte su un benchmark scelto dal fornitore e va letto come tale, ma il conteggio dei parametri attivi di cui si vanta è verificabile nella configurazione del modello stesso.

Che cos'è davvero Bolt

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

La compressione è aggressiva in un modo che il conteggio dei parametri di Bolts nasconde. Il top-K degli esperti è sceso da 22 nel modello padre a 9, che è quasi lo stesso top-K del top-4 di LFM2.5 nonostante il modello porti tre volte i parametri. La torre di visione è stata riattaccata in seguito dal modello padre, quindi Bolt accetta immagini e video dove LFM2.5-24B-A2B accetta solo testo, e ha ereditato una finestra di contesto da 256K, doppia rispetto a quella di Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Il contrasto delle specifiche, entrambi i lati su una riga

• Parametri totali e attivi — Bolt: 74B totali, 9B attivi per token. LFM2.5-24B-A2B: 24,0B totali, 2,45B attivi per token.

• Backbone — Bolt: blocchi spazio-stato Mamba-2 intercalati con miscela di esperti e attenzione. LFM2.5-24B-A2B: trenta blocchi a convoluzione breve con doppio gate più dieci strati di attenzione a query raggruppate.

• Instradamento — Bolt: top-9 esperti dopo la compressione, in calo dai 22 del modello padre. LFM2.5-24B-A2B: 64 esperti per blocco, top-4.

• Precisione memorizzata — Bolt: esperti IQ2-XXS a 2,0625 bit per elemento, layer Mamba a NVFP4, embedding e output a Q8_0. LFM2.5-24B-A2B: pesi a precisione piena, con GGUF, FP8, ONNX e diverse larghezze di bit MLX pubblicati come modelli fratelli dal fornitore.

• Contesto — Bolt: fino a 262.144 token. LFM2.5-24B-A2B: 131.072 token.

• Modalità — Bolt: testo, immagini e video in ingresso, testo in uscita. LFM2.5-24B-A2B: testo in ingresso, testo in uscita.

• Licenza — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, gratuita per uso commerciale al di sotto di 10 milioni di dollari di fatturato annuo e licenza commerciale a pagamento al di sopra.

• Intelligence Index — Bolt: 21, misurato da Artificial Analysis. LFM2.5-24B-A2B: non esiste un profilo Artificial Analysis per questo checkpoint, quindi non c'è alcun punteggio indipendente comparabile e questo articolo non ne inventerà uno.

• Prezzo pubblicato — Bolt: nessuno da nessuna parte, e nessun endpoint ospitato. LFM2.5-24B-A2B: $0,10 per milione di token di input con una tariffa di $0,05 per la cache, e $1,00 per milione di output, sull'endpoint ospitato di Liquid, con $2 di credito iniziale.

Quest'ultimo abbinamento è il dato più netto del confronto, e va nella direzione che la maggior parte delle persone non si aspetta: il modello con l'ingombro minore è quello che ha un prezzo, e il modello con l'ingombro maggiore è quello che non ce l'ha. Bolt non può essere provato senza acquistare hardware. LFM2.5 può essere provato questo pomeriggio per un errore di arrotondamento.

Velocità, e quanto attentamente leggere i numeri

Nessuno dei due modelli dispone di una misurazione indipendente del datacenter. Questo è lo stato onesto delle prove e limita ciò che si può affermare.

Per LFM2.5-24B-A2B, Liquid dichiara 184 token al secondo su un Apple M5 Max e 114 su un AMD Ryzen AI Max+ 395, e sostiene un'inferenza fino a 1,7× più veloce rispetto a MoE comparabili on-device. Si tratta di cifre del fornitore su silicio di classe laptop, non riprodotte da nessun altro, e non dicono nulla su ciò che il modello fa su una GPU da datacenter con molte richieste concorrenti.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Ciò che è strutturale anziché misurato: Bolt legge 9 miliardi di parametri per token e LFM2.5 ne legge 2,45 miliardi. A parità di larghezza di banda della memoria, un MoE legge all'incirca in proporzione ai suoi parametri attivi, e i pesi degli esperti a basso numero di bit aiutano ulteriormente riducendo i byte spostati per parametro. LFM2.5 ha l'insieme attivo più piccolo di un fattore 3,7, ed è in esecuzione a precisione più elevata per peso, quindi il traffico di byte per token è il punto da esaminare. Questo è un argomento secondo cui il modello di Liquid dovrebbe essere più veloce, non una misurazione che lo sia.

Quale scaricare

La divisione qui non è capacità contro capacità, perché non stanno tentando lo stesso compito. Bolt è un agente multimodale che legge screenshot e pilota un browser su scala 74B, compresso finché non rientra. LFM2.5-24B-A2B è un agente testuale progettato per rispondere velocemente su una macchina senza alcuna GPU discreta.

Scegli Bolt quando l'agente deve vedere — WebArena, PDF, fotogrammi video — o quando il carico di lavoro viene eseguito offline su una macchina che ha già al suo interno un acceleratore di classe Blackwell, e quando accetti di essere la prima persona a misurarne il throughput. Scegli LFM2.5-24B-A2B quando il compito è testuale, la macchina è un laptop, la latenza conta più della profondità di ragionamento, e il punto è proprio che il modello entra nella memoria unificata insieme al resto delle tue applicazioni.

Le due cose che cambierebbero la risposta: un benchmark indipendente eseguito su entrambi, e qualsiasi hosting pubblicato per Bolt. Nessuna delle due esiste oggi.

Eseguirli accanto a un modello ospitato

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Un agente locale da 24B su un laptop gestisce il lavoro di routine: routing, riassunti, formattazione delle chiamate agli strumenti, il novanta per cento dei turni che non hanno mai avuto bisogno di un modello di grandi dimensioni. I turni che invece ne hanno bisogno devono comunque andare da qualche parte, ed è qui che un router si guadagna il suo posto. OrcaRouter espone oltre 200 modelli dietro un'unica chiave al prezzo di listino del fornitore con 0 per cento di ricarico aggiunto, così un taglio di prezzo del fornitore è attivo dalla nostra parte lo stesso giorno, e il suo DSL di routing ti permette di descrivere una composizione — un modello economico per la prima passata, una regola di escalation, un fallback — come un'unica chiamata anziché come codice applicativo. Il failover automatico tra fornitori significa che un problema di capacità a monte viene ritentato anziché presentato ai tuoi utenti.

Chiunque costruisca su un executor locale sa che quella divisione del lavoro è il motivo per cui un piccolo checkpoint resta sostenibile: il modello piccolo gestisce il volume, e al modello costoso si accede senza un secondo contratto o un secondo SDK.

Cosa lo risolverebbe

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Fino ad allora, la scelta è una decisione di budget di memoria più che una decisione basata sui benchmark. Un modello ti chiede di possedere una GPU con 24 GB di potenza di calcolo di classe Blackwell e in cambio ti offre la visione e 74B di ragionamento distillato. L’altro richiede un laptop, costa pochi centesimi all’ora per essere provato sui server di qualcun altro e rinuncia alla vista e a metà della finestra di contesto per arrivarci.

Ciò che i numeri non possono dirti è se qualcosa sia andato storto sul campo: gli incidenti documentati di IA e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il grado di gravità, il livello di confidenza e il flag di contestazione.