Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Duas maneiras de encaixar um agente em 24GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Isso não é um escândalo. É o que é rodar um harness por conta própria, e é por isso que esta comparação foi escrita em torno daquilo que é verificável, e não em torno de uma pontuação de confronto direto. Os dois modelos também são, de certo modo, respostas à mesma pergunta resolvida a partir de extremos opostos.

A restrição em relação à qual ambos os modelos foram construídos

Ambos são modelos de 24 gigabytes. Nenhum dos dois laboratórios diz isso exatamente com essas palavras, e o número chega de forma diferente em cada caso.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

O LFM2.5-24B-A2B tem 24B no total, com 2,45B ativos, e a memória é uma função do arquivo que você escolhe, não da arquitetura. O repositório GGUF publicado oferece Q4_K_M a 14,53GB, um QAD-Q4_0 com reconhecimento de quantização a 13,58GB, Q5_K_M a 17,03GB, Q6_K a 19,69GB e Q8_0 a 25,49GB. O 24 em seu nome é uma contagem de parâmetros, não uma pegada; a pegada é um menu.

Essa distinção decide muita coisa. O Bolt tem exatamente uma configuração de distribuição para inferência, e não há nada para quantizar porque o modelo já chegou quantizado. O LFM2.5-24B-A2B tem um checkpoint nativo em BF16 de 47,96 GB que você não executaria em um laptop e um conjunto de builds da comunidade e oficiais que você executaria, com a qualidade deixada ao seu critério.

Do que cada um é realmente feito

• Parâmetros — Bolt: 74B no total, 9B ativos por token. LFM2.5-24B-A2B: 24B no total, 2,45B ativos por token.

• Arquitetura — Bolt: camadas de espaço de estados Mamba-2 intercaladas com mistura de especialistas e atenção, roteamento LatentMoE, além de um codificador de visão C-RADIO v4-H. LFM2.5-24B-A2B: 40 camadas — trinta blocos de convolução curta com portas duplas e dez blocos de atenção de consulta agrupada — com 64 especialistas por bloco MoE e roteamento top-4.

• Provenance — Bolt: compressed from N​emotron 3.5 Super VL 120B-A12B by router-guided architecture search, then quantised with quantisation-aware distillation. LFM2.5-24B-A2B: trained directly, from a 33-trillion-token pre-training run through a two-phase mid-training stage and a five-stage post-training pipeline that ends in reinforcement learning inside agent harnesses.

• Entradas — Bolt: texto, imagens e vídeo como entrada, texto como saída. LFM2.5-24B-A2B: apenas texto. Esta é a linha mais difícil entre os dois, e é arquitetural, não uma diferença de ajuste.

• Contexto — Bolt: 262.144 tokens. LFM2.5-24B-A2B: 131.072 tokens, o dobro dos 32.768 da geração anterior, junto com uma expansão do vocabulário de 65.000 para 128.000 tokens.

• Idiomas — LFM2.5-24B-A2B lista dezesseis, incluindo árabe, coreano, tailandês, hindi e russo. A ficha técnica do modelo da Bolt nomeia inglês e linguagens de programação como principais, com espanhol, francês, alemão, italiano e japonês também suportados.

• Licença — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: a LFM Open License 1.0. Nenhuma delas é Apache 2.0, e ambas são permissivas o suficiente para trabalho comercial e desconhecidas o suficiente para merecerem dez minutos de um advogado.

• Suporte de runtime no lançamento — ambos listam llama.cpp, vLLM e seus respetivos formatos edge; LFM2.5-24B-A2B adicionalmente oferece builds MLX e ONNX e nomeia SGLang.

As tabelas de benchmark, leia com atenção

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

A tabela da Liquid AI para o LFM2.5-24B-A2B reporta LiveClaw em 48,09 contra 38,19 do Qwen3.6 35B-A3B, AutomationBench em 27,69 contra 8,72, e ToolSandbox em 80,71 contra 75,02, enquanto fica atrás de modelos maiores em GPQA Diamond (74,42), HLE (7,40) e SWE-Bench Verified (51,00). Sua pontuação em AA-Omniscience é negativa, menos 24,90, o que, na pontuação desse benchmark, significa que ele é penalizado por respostas erradas dadas com confiança, em vez de ser pontuado apenas pela exatidão.

Ambas as tabelas concordam quanto à forma do resultado, mesmo onde os números divergem: cada modelo é forte em uso de ferramentas agênticas em relação ao seu tamanho e mais fraco em recall com uso intensivo de conhecimento. Nenhum dos dois tem uma entrada na Artificial Analysis, e nenhum dos dois tem um endpoint hospedado, então não há um número de terceiros para desempatar nem como fazer A/B entre eles no seu próprio tráfego sem baixar os dois.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Qual máquina cada um quer

As histórias de hardware se sobrepõem menos do que o enquadramento de 24 GB sugere.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B é o mais portátil dos dois no papel e diz isso mesmo: builds MLX para Apple Silicon, ONNX para runtimes multiplataforma, GGUF para inferência em CPU, FP8 para serviço em GPU, e um drafter DSpark listado como em breve. Uma build quantizada de 13,58 GB deixa mais folga em uma placa de 24 GB do que o único arquivo de 22,02 GB do Bolt mais o seu projetor de visão de 1,73 GB.

Essa última aritmética é o ponto crucial na prática. Os pesos e o projetor do Bolt consomem 23,75 GB dos 24 GB que dão nome ao modelo, deixando contexto e concorrência para disputar o restante. O LFM2.5-24B-A2B em Q4 ou QAD-Q4 deixa cerca de dez gigabytes para o mesmo propósito. Se sua carga de trabalho for trabalho de agente de longo horizonte com um grande contexto recuperado, a menor pegada ativa e armazenada não é um prêmio de consolação.

Onde a camada de roteamento se encaixa

Nenhum dos modelos é algo que servimos, e vale a pena dizer isso claramente em vez de embelezar: o catálogo OrcaRouter não inclui Bolt ou LFM2.5-24B-A2B, portanto não há endpoint aqui para nenhum deles nem preço para comparar. O que ambos têm em comum é que são a metade local de uma pilha, e metades locais quase nunca estão sozinhas — um agente que executa um modelo de 24GB na máquina à sua frente ainda recorre a algo maior quando a tarefa o excede.

Essa é a parte de que cuidamos. Uma única chave para mais de 200 modelos hospedados ao preço de tabela do provedor sem nenhum markup adicionado, failover automático para que um provedor que oscila no meio da requisição seja tentado novamente em vez de ser exposto a quem está esperando, e uma DSL de roteamento que expressa uma cadeia de fallback como configuração em vez de código de aplicação. Se você está escolhendo entre esses dois checkpoints, a decisão é tomada no seu próprio hardware e no seu próprio harness — e os escalonamentos, consultas secundárias e avaliações em torno disso são a parte que passa por um gateway.

Como escolher sem um placar compartilhado

Quatro perguntas resolvem isso mais rápido do que qualquer tabela resolveria.

O agente precisa enxergar? Se ele lê capturas de tela, PDFs ou vídeo, o Bolt é o único dos dois que consegue, e a questão está resolvida. Se ele trabalha com texto e chamadas de ferramentas, a capacidade multimodal é um peso que você carrega sem necessidade.

Quanto contexto uma rodada realmente precisa? Um quarto de milhão de tokens contra 131.072 é uma diferença real para trabalho em escala de repositório ou de documento, e é a única dimensão em que a compressão do Bolt rendeu algo que não aparece em nenhuma coluna de benchmark.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

E em quais números você acredita? Ambos os laboratórios publicaram tabelas nas quais o próprio modelo vence a maioria das linhas. A posição honesta é que cada um é forte dentro de um grupo de pares que ele mesmo selecionou, que a discordância entre as duas tabelas em baselines idênticos é um lembrete sobre a variância do harness, e que um número de benchmark do laboratório que criou o modelo é uma alegação sobre capacidade, e não uma medição dela.

A resposta curta

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Ambos foram lançados com quatro dias de diferença em outubro de 2026 — LFM2.5-24B-A2B em 13 de outubro, Bolt em 15 de outubro — o que significa que nenhum dos dois tem um histórico independente ainda, nenhum foi medido contra o outro em hardware compartilhado, e quem afirma haver um vencedor está lendo as tabelas do fabricante, não um benchmark. Baixe os dois, execute seu próprio conjunto de avaliação e fique com aquele que concluir o trabalho. Essa é a única comparação aqui que ainda não foi publicada por um dos dois laboratórios.

Essa lacuna entre o que um placar mede e o que uma implantação enfrenta é a razão pela qual o registro importa: as falhas de IA documentadas e os incidentes com agentes envolvendo modelos dessa classe estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e indicador de contestação.