Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Due modi per far entrare un agente in 24GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Non è uno scandalo. È quello che significa eseguire un harness da soli, ed è il motivo per cui questo confronto è incentrato su ciò che è verificabile anziché su un punteggio testa a testa. I due modelli sono anche, in un certo senso, due risposte alla stessa domanda, risolta partendo da estremi opposti.

Il vincolo rispetto al quale entrambi i modelli sono stati costruiti

Entrambi sono modelli da 24 gigabyte. Nessuno dei due laboratori lo dice esattamente con quelle parole, e il numero arriva in modo diverso in ciascun caso.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B è da 24B in totale con 2,45B attivi, e la memoria è una funzione del file che scegli piuttosto che dell'architettura. Il repository GGUF pubblicato offre Q4_K_M a 14,53GB, un QAD-Q4_0 consapevole della quantizzazione a 13,58GB, Q5_K_M a 17,03GB, Q6_K a 19,69GB e Q8_0 a 25,49GB. Il 24 nel suo nome è un conteggio di parametri, non un ingombro; l'ingombro è un menu.

Questa distinzione conta molto. Bolt ha esattamente una configurazione di rilascio per l’inferenza, e non c’è nulla da quantizzare perché il modello è arrivato già quantizzato. LFM2.5-24B-A2B ha un checkpoint BF16 nativo da 47,96 GB che non eseguiresti su un laptop e una serie di build della community e di prima parte che invece eseguiresti, con la qualità lasciata al tuo giudizio.

Di cosa è fatto realmente ognuno di essi

• Parametri — Bolt: 74B totali, 9B attivi per token. LFM2.5-24B-A2B: 24B totali, 2,45B attivi per token.

• Architettura — Bolt: livelli state-space di Mamba-2 interlacciati con mixture-of-experts e attention, routing LatentMoE, più un encoder visivo C-RADIO v4-H. LFM2.5-24B-A2B: 40 livelli — trenta blocchi di convoluzione breve a doppio gate e dieci blocchi di attention con query raggruppate — con 64 esperti per blocco MoE e routing top-4.

• Provenance — Bolt: compressed from N​emotron 3.5 Super VL 120B-A12B by router-guided architecture search, then quantised with quantisation-aware distillation. LFM2.5-24B-A2B: trained directly, from a 33-trillion-token pre-training run through a two-phase mid-training stage and a five-stage post-training pipeline that ends in reinforcement learning inside agent harnesses.

• Input — Bolt: testo, immagini e video in ingresso, testo in uscita. LFM2.5-24B-A2B: solo testo. Questa è la linea di demarcazione più netta tra i due, ed è una differenza architetturale, non di messa a punto.

• Contesto — Bolt: 262.144 token. LFM2.5-24B-A2B: 131.072 token, raddoppiato rispetto ai 32.768 della generazione precedente insieme a un'espansione del vocabolario da 65.000 a 128.000 token.

• Lingue — LFM2.5-24B-A2B ne nomina sedici, tra cui arabo, coreano, thai, hindi e russo. La model card di Bolt indica l'inglese e i linguaggi di programmazione come principali, con spagnolo, francese, tedesco, italiano e giapponese anch'essi supportati.

• Licenza — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: la LFM Open License 1.0. Nessuna delle due è Apache 2.0, ed entrambe sono abbastanza permissive per un uso commerciale e abbastanza poco note da meritare dieci minuti di un avvocato.

• Supporto runtime al rilascio — entrambi elencano llama.cpp, vLLM e i rispettivi formati edge; LFM2.5-24B-A2B include inoltre build MLX e ONNX e cita SGLang.

Le tabelle di benchmark, leggi con attenzione.

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

La tabella di Liquid AI per LFM2.5-24B-A2B riporta LiveClaw a 48,09 contro 38,19 per Qwen3.6 35B-A3B, AutomationBench a 27,69 contro 8,72 e ToolSandbox a 80,71 contro 75,02, mentre concede GPQA Diamond a 74,42, HLE a 7,40 e SWE-Bench Verified a 51,00 a modelli più grandi. Il suo valore AA-Omniscience è negativo, meno 24,90, il che nella valutazione di quel benchmark significa che viene penalizzato per risposte errate ma sicure di sé, invece di essere valutato solo sull'accuratezza.

Entrambe le tabelle concordano sulla forma del risultato anche là dove le cifre differiscono: ciascun modello è forte nell'uso agentico degli strumenti rispetto alle sue dimensioni e più debole nel recupero a forte intensità di conoscenza. Nessuno dei due ha una voce su Artificial Analysis, e nessuno dei due ha un endpoint ospitato, quindi non esiste un numero di terze parti per sciogliere la parità né un modo per confrontarli in A/B sul proprio traffico senza scaricarli entrambi.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Quale macchina vuole ciascuno

Le storie hardware si sovrappongono meno di quanto suggerisca l'inquadratura dei 24GB.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B è il più portatile dei due sulla carta e lo dichiara: build MLX per Apple Silicon, ONNX per runtime multipiattaforma, GGUF per l'inferenza su CPU, FP8 per il serving su GPU e un drafter DSpark indicato come prossimamente disponibile. Una build quantizzata da 13,58 GB lascia più margine su una scheda da 24 GB rispetto all'unico file da 22,02 GB di Bolt più il suo proiettore di visione da 1,73 GB.

Quell'ultimo calcolo è il fulcro pratico. I pesi e il proiettore di Bolt consumano 23,75 GB dei 24 GB da cui il modello prende il nome, lasciando che contesto e concorrenza si contendano ciò che resta. LFM2.5-24B-A2B a Q4 o QAD-Q4 lascia circa dieci gigabyte per lo stesso scopo. Se il tuo carico di lavoro è lavoro di agenti a lungo orizzonte con un ampio contesto recuperato, l'impronta attiva e memorizzata più piccola non è un premio di consolazione.

Dove si colloca il livello di routing

Nessuno dei due modelli è qualcosa che serviamo, e vale la pena dirlo chiaramente invece di abbellirlo: il catalogo OrcaRouter non include Bolt né LFM2.5-24B-A2B, quindi qui non c'è alcun endpoint per nessuno dei due e nessun prezzo da confrontare. Ciò che entrambi hanno in comune è che sono la metà locale di uno stack, e le metà locali non sono quasi mai da sole — un agente che esegue un modello da 24GB sulla macchina davanti a sé cerca comunque qualcosa di più grande quando il compito lo supera.

Questa è la parte di cui ci occupiamo noi. Una sola chiave per oltre 200 modelli ospitati al prezzo di listino del provider, senza alcun ricarico aggiunto, failover automatico così un provider che vacilla a metà richiesta viene ritentato invece di essere segnalato a chi è in attesa, e un DSL di routing che esprime una catena di fallback come configurazione anziché come codice applicativo. Se stai scegliendo tra questi due checkpoint, la decisione viene presa sul tuo hardware e nel tuo harness — e le escalation, le query laterali e le valutazioni che vi ruotano attorno sono la parte che passa attraverso un gateway.

Come scegliere senza un tabellone condiviso

Quattro domande lo risolvono più in fretta di quanto farebbe qualsiasi tabella.

L'agente ha bisogno di vedere? Se legge screenshot, PDF o video, Bolt è l'unico dei due che può farlo, e la questione è chiusa. Se lavora con testo e chiamate agli strumenti, la capacità multimodale è un peso che ti porti dietro per nulla.

Di quanto contesto ha davvero bisogno un turno? Un quarto di milione di token rispetto a 131.072 è una differenza concreta per il lavoro su scala di repository o di documenti, ed è l'unica dimensione in cui la compressione di Bolt ha fatto guadagnare qualcosa che non compare in nessuna colonna di benchmark.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

E a quali numeri credi? Entrambi i laboratori hanno pubblicato tabelle in cui il proprio modello vince la maggior parte delle righe. La posizione onesta è che ciascuno è forte all'interno di un gruppo di pari che ha selezionato, che il disaccordo tra le due tabelle su baseline identiche è un promemoria della varianza dell'harness, e che un numero di benchmark proveniente dal laboratorio che ha creato il modello è un'affermazione sulla capacità più che una sua misurazione.

La risposta breve

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Entrambi rilasciati a quattro giorni di distanza l'uno dall'altro nell'ottobre 2026 — LFM2.5-24B-A2B il 13 ottobre, Bolt il 15 ottobre — il che significa che nessuno dei due ha ancora uno storico indipendente, nessuno dei due è stato misurato contro l'altro su hardware condiviso, e chiunque dichiari un vincitore sta leggendo le tabelle dei fornitori anziché un benchmark. Scaricali entrambi, esegui il tuo set di valutazione e tieni quello che porta a termine il lavoro. È l'unico confronto qui che non è già stato pubblicato da uno dei due laboratori.

Quel divario tra ciò che un tabellone dei punteggi misura e ciò che un deployment incontra nella pratica è il motivo per cui il registro conta: i fallimenti documentati dell'IA e gli incidenti degli agenti relativi ai modelli di questa classe sono raccolti in the OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.