Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Två sätt att få plats med en agent i 24GB

Here is a problem for anyone comparing these two. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Nemotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Det där är ingen skandal. Det är så det ser ut när man kör en harness själv, och det är anledningen till att den här jämförelsen är skriven kring det som går att verifiera i stället för kring en direkt jämförelsepoäng. De två modellerna är också, på sätt och vis, svar på samma fråga lösta från varsitt håll.

Begränsningen som båda modellerna byggdes mot

Båda är modeller med 24 gigabyte. Inget av labben säger det med exakt de orden, och siffran kommer fram på olika sätt i vart och ett av fallen.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B har 24B totalt med 2,45B aktiva, och minnet är en funktion av filen du väljer snarare än av arkitekturen. Det publicerade GGUF-repositoriet erbjuder Q4_K_M på 14,53 GB, en kvantiseringsmedveten QAD-Q4_0 på 13,58 GB, Q5_K_M på 17,03 GB, Q6_K på 19,69 GB och Q8_0 på 25,49 GB. 24:an i namnet är ett parameterantal, inte ett fotavtryck; fotavtrycket är en meny.

Den skillnaden avgör mycket. Bolt har exakt en leveranskonfiguration för inferens, och det finns inget att kvantisera eftersom modellen kom kvantiserad. LFM2.5-24B-A2B har en nativ BF16-checkpoint på 47,96 GB som du inte skulle köra på en bärbar dator, och en uppsättning community- och förstapartsbyggen som du skulle köra, med kvaliteten lämnad åt din bedömning.

Vad var och en faktiskt är gjord av

• Parametrar — Bolt: 74B totalt, 9B aktiva per token. LFM2.5-24B-A2B: 24B totalt, 2,45B aktiva per token.

• Arkitektur – Bolt: Mamba-2-tillståndsrymdslager varvade med mixture-of-experts och attention, LatentMoE-routing, plus en C-RADIO v4-H-vision-encoder. LFM2.5-24B-A2B: 40 lager – trettio dubbelgrindade kortkonvolutionsblock och tio grouped-query-attention-block – med 64 experter per MoE-block och top-4-routing.

• Härkomst — Bolt: komprimerad från Nemotron 3.5 Super VL 120B-A12B genom routerstyrd arkitektursökning, sedan kvantiserad med kvantiseringsmedveten destillation. LFM2.5-24B-A2B: tränad direkt, från en förträningskörning på 33 biljoner tokens genom ett tvåfasigt mellanträningssteg och en femstegs efterträningspipeline som avslutas med förstärkningsinlärning i agentharnessar.

• Indata — Bolt: text, bilder och video in, text ut. LFM2.5-24B-A2B: endast text. Detta är den enskilt svåraste gränsen mellan de två, och den är arkitektonisk snarare än en justeringsskillnad.

• Kontext — Bolt: 262 144 tokens. LFM2.5-24B-A2B: 131 072 tokens, dubbelt så många som föregående generations 32 768, tillsammans med en utökning av ordförrådet från 65 000 till 128 000 tokens.

• Språk — LFM2.5-24B-A2B anger sexton, inklusive arabiska, koreanska, thailändska, hindi och ryska. Bolts modellkort anger engelska och programmeringsspråk som primära, med spanska, franska, tyska, italienska och japanska som också stöds.

• Licens — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. Ingen av dem är Apache 2.0, och båda är tillräckligt tillåtande för kommersiellt arbete och tillräckligt obekanta för att förtjäna en jurists tio minuter.

• Körtidsstöd vid lansering — båda listar llama.cpp, vLLM och deras respektive edge-format; LFM2.5-24B-A2B levererar dessutom MLX- och ONNX-byggen och nämner SGLang.

Benchmark-tabellerna, noga lästa

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

Liquid AIs tabell för LFM2.5-24B-A2B rapporterar LiveClaw på 48,09 mot 38,19 för Qwen3.6 35B-A3B, AutomationBench på 27,69 mot 8,72 och ToolSandbox på 80,71 mot 75,02, samtidigt som den erkänner sig besegrad av större modeller vad gäller GPQA Diamond på 74,42, HLE på 7,40 och SWE-Bench Verified på 51,00. Dess siffra för AA-Omniscience är negativ, minus 24,90, vilket i den benchmarkens poängsättning innebär att den straffas för självsäkra felaktiga svar snarare än bedöms enbart utifrån träffsäkerhet.

Båda tabellerna är överens om resultatets form även där siffrorna skiljer sig: varje modell är stark på agentisk verktygsanvändning i förhållande till sin storlek och svagare på kunskapstung återkallning. Ingen av dem har en post i Artificial Analysis, och ingen av dem har en hostad slutpunkt, så det finns inget tredjepartstal som kan skilja dem åt och inget sätt att A/B-testa dem på din egen trafik utan att ladda ner båda.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Vilken maskin var och en vill ha

Hårdvaruhistorierna överlappar mindre än vad 24GB-inramningen antyder.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B är den av de två som på pappret är mest portabel och uppger det själv: MLX-byggen för Apple Silicon, ONNX för plattformsoberoende körtider, GGUF för CPU-inferens, FP8 för GPU-servering och en DSpark-utkastmodell listad som kommande. En kvantiserad build på 13,58 GB lämnar mer marginal på ett 24 GB-kort än Bolts enda fil på 22,02 GB plus dess 1,73 GB visionsprojektor.

Den sista aritmetiken är den praktiska knäckfrågan. Bolts vikter och projektor förbrukar 23,75 GB av de 24 GB som modellen är döpt efter, vilket lämnar kontext och samtidighet att konkurrera om återstoden. LFM2.5-24B-A2B vid Q4 eller QAD-Q4 lämnar ungefär tio gigabyte för samma ändamål. Om din arbetsbelastning är långsiktigt agentarbete med en stor hämtad kontext, är det mindre aktiva och lagrade fotavtrycket inte ett tröstpris.

Var routinglagret passar in

Ingen av modellerna är något vi tillhandahåller, och det är värt att säga det rakt ut i stället för att försköna det: OrcaRouter-katalogen har inte Bolt eller LFM2.5-24B-A2B, så det finns ingen endpoint här för någon av dem och inget pris att jämföra. Vad båda har gemensamt är att de är den lokala halvan av en stack, och lokala halvor är nästan aldrig ensamma — en agent som kör en 24GB-modell på maskinen framför sig sträcker sig fortfarande efter något större när uppgiften överstiger den.

Det är den delen vi hanterar. En nyckel för 200+ hostade modeller till leverantörens listpris utan påslag, automatisk redundansväxling så att en leverantör som strular mitt i en begäran får ett nytt försök i stället för att visas för den som väntar, och ett DSL för routning som uttrycker en fallback-kedja som konfiguration i stället för som applikationskod. Om du väljer mellan dessa två checkpoints fattas beslutet på din egen hårdvara och i din egen testrigg – och eskaleringarna, sidofrågorna och utvärderingarna runt omkring är den del som går genom en gateway.

Hur man väljer utan en gemensam resultattavla

Fyra frågor avgör det snabbare än någon tabell skulle göra.

Behöver agenten kunna se? Om den läser skärmbilder, PDF-filer eller video är Bolt den enda av de två som kan det, och då är frågan avgjord. Om den arbetar i text och verktygsanrop är den multimodala förmågan en vikt du bär på helt i onödan.

Hur mycket kontext behöver en tur egentligen? En kvarts miljon tokens mot 131 072 är en verklig skillnad för arbete i kodförråds- eller dokumentskala, och det är den enda dimensionen där Bolts komprimering gav något som inte syns i någon benchmark-kolumn.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

Och vems siffror tror du på? Båda labben har publicerat tabeller där deras egen modell vinner de flesta raderna. Den ärliga hållningen är att var och en är stark inom en jämförelsegrupp som den själv valt, att oenigheten mellan de två tabellerna om identiska baslinjer är en påminnelse om variansen i testramverket, och att en benchmarksiffra från labbet som byggde modellen är ett påstående om förmåga snarare än en mätning av den.

Det korta svaret

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Båda släpptes inom fyra dagar från varandra i oktober 2026 – LFM2.5-24B-A2B den 13 oktober, Bolt den 15 oktober – vilket innebär att ingen av dem har en oberoende historik ännu, ingen av dem har mätts mot den andra på delad hårdvara, och den som utser en vinnare läser leverantörstabellerna snarare än ett benchmark. Ladda ner båda, kör din egen utvärderingsuppsättning och behåll den som slutför arbetet. Det är den enda jämförelsen här som inte redan har publicerats av ett av de två labben.

Den där klyftan mellan vad en resultattavla mäter och vad en driftsättning möter är anledningen till att registret är viktigt: de dokumenterade AI-felen och agentincidenterna kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.