Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Twee manieren om een agent in 24GB te laten passen

Here is a problem for anyone comparing these two. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Nemotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Dat is geen schandaal. Het is hoe het eruitziet wanneer je zelf een harness draait, en het is de reden dat deze vergelijking is opgebouwd rond wat verifieerbaar is in plaats van rond een onderlinge score. De twee modellen zijn in zekere zin ook antwoorden op dezelfde vraag, maar dan opgelost vanaf tegenovergestelde kanten.

De beperking waartegen beide modellen zijn gebouwd

Het zijn beide modellen van 24 gigabyte. Geen van beide labs zegt dat in precies die bewoordingen, en het getal komt in elk geval op een andere manier tot stand.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B is 24B totaal met 2,45B actief, en het geheugen is een functie van het bestand dat je kiest, niet van de architectuur. De gepubliceerde GGUF-repository biedt Q4_K_M op 14,53GB, een kwantisatiebewuste QAD-Q4_0 op 13,58GB, Q5_K_M op 17,03GB, Q6_K op 19,69GB en Q8_0 op 25,49GB. De 24 in de naam is een parameteraantal, geen geheugenvoetafdruk; de geheugenvoetafdruk is een menu.

Dat onderscheid maakt veel uit. Bolt heeft precies één uitleverconfiguratie voor inferentie, en er valt niets te kwantiseren omdat het model al gekwantiseerd aankwam. LFM2.5-24B-A2B heeft een native BF16-checkpoint van 47,96GB dat je niet op een laptop zou draaien, en een reeks community- en first-party-builds die je wél zou draaien, waarbij de kwaliteit aan jouw beoordeling wordt overgelaten.

Waar elk van hen eigenlijk van gemaakt is

• Parameters — Bolt: 74B totaal, 9B actief per token. LFM2.5-24B-A2B: 24B totaal, 2,45B actief per token.

• Architectuur — Bolt: Mamba-2 state-space-lagen afgewisseld met mixture-of-experts en attention, LatentMoE-routering, plus een C-RADIO v4-H vision-encoder. LFM2.5-24B-A2B: 40 lagen — dertig dubbel-gated kort-convolutieblokken en tien grouped-query attention-blokken — met 64 experts per MoE-blok en top-4-routering.

• Herkomst — Bolt: gecomprimeerd uit Nemotron 3.5 Super VL 120B-A12B door router-geleide architectuurzoektocht, daarna gekwantiseerd met kwantisatiebewuste distillatie. LFM2.5-24B-A2B: direct getraind, vanuit een pre-trainingstraject van 33 biljoen tokens via een tweefasige mid-trainingfase en een vijfstaps post-trainingspijplijn die eindigt in reinforcement learning binnen agent-harnassen.

• Invoer — Bolt: tekst, afbeeldingen en video erin, tekst eruit. LFM2.5-24B-A2B: alleen tekst. Dit is de allermoeilijkste scheidslijn tussen de twee, en die is architectonisch in plaats van een verschil in tuning.

• Context — Bolt: 262.144 tokens. LFM2.5-24B-A2B: 131.072 tokens, verdubbeld ten opzichte van de 32.768 van de vorige generatie, samen met een uitbreiding van het vocabulaire van 65.000 naar 128.000 tokens.

• Talen — LFM2.5-24B-A2B noemt zestien talen, waaronder Arabisch, Koreaans, Thais, Hindi en Russisch. In de modelkaart van Bolt worden Engels en programmeertalen als primair genoemd, met ook ondersteuning voor Spaans, Frans, Duits, Italiaans en Japans.

• Licentie — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: de LFM Open License 1.0. Geen van beide is Apache 2.0, en beide zijn permissief genoeg voor commercieel werk en onbekend genoeg om een advocaat er tien minuten naar te laten kijken.

• Runtime-ondersteuning bij release — beide vermelden llama.cpp, vLLM en hun respectievelijke edge-formaten; LFM2.5-24B-A2B wordt bovendien geleverd met MLX- en ONNX-builds en noemt SGLang.

Lees de benchmarktabellen aandachtig.

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

De tabel van Liquid AI voor LFM2.5-24B-A2B rapporteert LiveClaw op 48,09 tegenover 38,19 voor Qwen3.6 35B-A3B, AutomationBench op 27,69 tegenover 8,72, en ToolSandbox op 80,71 tegenover 75,02, terwijl het GPQA Diamond op 74,42, HLE op 7,40 en SWE-Bench Verified op 51,00 toegeeft aan grotere modellen. Het AA-Omniscience-cijfer is negatief, min 24,90, wat in de puntentelling van die benchmark betekent dat het wordt bestraft voor zelfverzekerde foute antwoorden in plaats van alleen op nauwkeurigheid te worden beoordeeld.

Beide tabellen zijn het eens over de vorm van het resultaat, zelfs waar de cijfers verschillen: elk model is sterk in agentisch toolgebruik ten opzichte van zijn grootte en zwakker op kennisintensieve recall. Geen van beide heeft een vermelding in Artificial Analysis, en geen van beide heeft een gehoste endpoint, dus er is geen cijfer van derden om de knoop door te hakken en geen manier om ze A/B te testen op je eigen verkeer zonder beide te downloaden.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Welke machine ieder wil

De hardwareverhalen overlappen minder dan de 24GB-framing doet vermoeden.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B is de draagbaardere van de twee op papier en zegt dat ook: MLX-builds voor Apple Silicon, ONNX voor platformonafhankelijke runtimes, GGUF voor CPU-inference, FP8 voor GPU-serving, en een DSpark-drafter die als binnenkort beschikbaar staat vermeld. Een gekwantiseerde build van 13,58 GB laat meer ruimte over op een kaart van 24 GB dan Bolts enkele bestand van 22,02 GB plus zijn visieprojector van 1,73 GB.

Die laatste rekensom is het praktische kernpunt. De gewichten en projector van Bolt verbruiken 23,75 GB van de 24 GB waarnaar het model is vernoemd, waardoor context en gelijktijdigheid om het restant moeten strijden. LFM2.5-24B-A2B op Q4 of QAD-Q4 laat ongeveer tien gigabyte over voor hetzelfde doel. Als je workload langetermijn-agentwerk met een grote opgehaalde context betreft, is de kleinere actieve en opgeslagen voetafdruk geen troostprijs.

Waar de routeringslaag past

Geen van beide modellen is iets wat wij aanbieden, en het is de moeite waard dat ronduit te zeggen in plaats van het op te smukken: de OrcaRouter-catalogus bevat noch Bolt noch LFM2.5-24B-A2B, dus er is hier voor geen van beide een endpoint en geen prijs om te vergelijken. Wat beide gemeen hebben, is dat ze de lokale helft van een stack zijn, en lokale helften zijn bijna nooit alleen — een agent die een 24GB-model draait op de machine vóór zich, grijpt nog steeds naar iets groters wanneer de taak het te boven gaat.

Dat is het deel dat wij wel afhandelen. Eén sleutel voor meer dan 200 gehoste modellen tegen de lijstprijs van de provider, zonder dat er opslag wordt toegevoegd, automatische failover zodat een provider die midden in een verzoek hapert opnieuw wordt geprobeerd in plaats van doorgegeven aan wie dan ook wacht, en een routing-DSL die een fallbackketen als configuratie uitdrukt in plaats van als applicatiecode. Als je tussen deze twee checkpoints kiest, wordt de beslissing op je eigen hardware en in je eigen testomgeving genomen — en de escalaties, zijvragen en evaluaties eromheen zijn het deel dat via een gateway gaat.

Hoe te kiezen zonder een gedeeld scorebord

Vier vragen beslechten het sneller dan welke tabel dan ook.

Moet de agent kunnen zien? Als hij screenshots, pdf's of video leest, is Bolt de enige van de twee die dat kan, en dan is de vraag beantwoord. Als hij met tekst en tool-aanroepen werkt, is de multimodale capaciteit ballast die je voor niets meedraagt.

Hoeveel context heeft een beurt eigenlijk nodig? Een kwart miljoen tokens tegenover 131.072 is een wezenlijk verschil voor werk op repository- of documentschaal, en het is de enige dimensie waarop Bolts compressie iets opleverde dat in geen enkele benchmarkkolom opduikt.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

En wiens cijfers geloof je? Beide labs hebben tabellen gepubliceerd waarin hun eigen model de meeste rijen wint. Het eerlijke standpunt is dat elk sterk is binnen een door zichzelf gekozen peergroep, dat de onenigheid tussen de twee tabellen op identieke baselines een herinnering is aan variantie in de meetopstelling, en dat een benchmarkcijfer van het lab dat het model heeft gebouwd een claim over capaciteit is, niet een meting ervan.

Het korte antwoord

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Beide uitgebracht binnen vier dagen na elkaar in oktober 2026 — LFM2.5-24B-A2B op 13 oktober, Bolt op 15 oktober — wat betekent dat geen van beide al een onafhankelijke staat van dienst heeft, dat geen van beide tegen de ander is gemeten op gedeelde hardware, en dat iedereen die een winnaar claimt, de leverancierstabellen leest in plaats van een benchmark. Download beide, draai je eigen evaluatieset, en houd degene die het werk afmaakt. Dat is de enige vergelijking hier die nog niet door een van de twee labs is gepubliceerd.

Die kloof tussen wat een scorebord meet en wat een deployment in de praktijk tegenkomt, is de reden dat het register ertoe doet: de gedocumenteerde AI-fouten en agentincidenten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.