Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: Dos formas de encajar un agente en 24 GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Eso no es un escándalo. Es lo que parece cuando uno mismo ejecuta un arnés, y es la razón por la que esta comparación está escrita en torno a lo que es verificable y no en torno a una puntuación de enfrentamiento directo. Además, en cierto sentido, los dos modelos son respuestas a la misma pregunta resuelta desde extremos opuestos.

La restricción contra la que se construyeron ambos modelos

Ambos son modelos de 24 gigabytes. Ninguno de los dos laboratorios lo dice con exactamente esas palabras, y la cifra llega de manera diferente en cada caso.

Bolt tiene 74B en total, con 9B activos. A la búsqueda de arquitectura Star Elastic de N​VIDIA se le dio un único presupuesto que debía cumplir —por debajo de 24GB con tamaño de lote 1 y contexto de 128K—, y el checkpoint resultante es lo que produjo esa restricción, con pesos de expertos a 2,0625 bits por elemento. El límite de memoria es la entrada de diseño, y el número de parámetros es la salida.

LFM2.5-24B-A2B tiene 24B en total con 2.45B activos, y la memoria es una función del archivo que elijas, no de la arquitectura. El repositorio GGUF publicado ofrece Q4_K_M con 14.53GB, un QAD-Q4_0 consciente de la cuantización con 13.58GB, Q5_K_M con 17.03GB, Q6_K con 19.69GB y Q8_0 con 25.49GB. El 24 de su nombre es una cantidad de parámetros, no una huella; la huella es un menú.

Esa distinción decide mucho. Bolt tiene exactamente una configuración de distribución para inferencia, y no hay nada que cuantizar porque el modelo llegó cuantizado. LFM2.5-24B-A2B tiene un checkpoint nativo en BF16 de 47,96 GB que no ejecutarías en un portátil y un conjunto de compilaciones de la comunidad y de primera parte que sí ejecutarías, y la calidad queda a tu criterio.

De qué está hecho realmente cada uno

• Parámetros — Bolt: 74B en total, 9B activos por token. LFM2.5-24B-A2B: 24B en total, 2.45B activos por token.

• Arquitectura — Bolt: capas de espacio de estados Mamba-2 intercaladas con mezcla de expertos y atención, enrutamiento LatentMoE, además de un codificador de visión C-RADIO v4-H. LFM2.5-24B-A2B: 40 capas — treinta bloques de convolución corta con doble compuerta y diez bloques de atención con consultas agrupadas — con 64 expertos por bloque MoE y enrutamiento top-4.

• Procedencia — Bolt: comprimido a partir de Nemotron 3.5 Super VL 120B-A12B mediante búsqueda de arquitectura guiada por enrutador, y luego cuantizado con destilación consciente de la cuantización. LFM2.5-24B-A2B: entrenado directamente, a partir de una ejecución de preentrenamiento de 33 billones de tokens, pasando por una etapa de entrenamiento intermedio de dos fases y un pipeline de postentrenamiento de cinco etapas que termina en aprendizaje por refuerzo dentro de arneses de agentes.

• Entradas — Bolt: entrada de texto, imágenes y video, salida de texto. LFM2.5-24B-A2B: solo texto. Esta es la línea más difícil de trazar entre ambos, y es arquitectónica, no una diferencia de ajuste.

• Contexto — Bolt: 262.144 tokens. LFM2.5-24B-A2B: 131.072 tokens, el doble que los 32.768 de la generación anterior, junto con una ampliación del vocabulario de 65.000 a 128.000 tokens.

• Idiomas — LFM2.5-24B-A2B menciona dieciséis, entre ellos árabe, coreano, tailandés, hindi y ruso. La tarjeta de modelo de Bolt menciona el inglés y los lenguajes de programación como principales, y también son compatibles el español, el francés, el alemán, el italiano y el japonés.

• Licencia — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: la LFM Open License 1.0. Ninguna es Apache 2.0, y ambas son lo suficientemente permisivas para el trabajo comercial y lo suficientemente desconocidas como para merecer diez minutos de un abogado.

• Compatibilidad de runtime en el lanzamiento: ambos incluyen llama.cpp, vLLM y sus respectivos formatos edge; LFM2.5-24B-A2B además se distribuye con compilaciones de MLX y ONNX y menciona SGLang.

Las tablas comparativas, leídas con atención

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

La tabla de Liquid AI para LFM2.5-24B-A2B reporta LiveClaw con 48,09 frente a 38,19 de Qwen3.6 35B-A3B, AutomationBench con 27,69 frente a 8,72, y ToolSandbox con 80,71 frente a 75,02, mientras que cede GPQA Diamond con 74,42, HLE con 7,40 y SWE-Bench Verified con 51,00 a modelos más grandes. Su cifra de AA-Omniscience es negativa, −24,90, lo que, según la puntuación de ese benchmark, significa que se le penaliza por respuestas incorrectas seguras en lugar de puntuarlo solo por su precisión.

Ambas tablas coinciden en la forma del resultado incluso donde los dígitos difieren: cada modelo es fuerte en el uso agéntico de herramientas en relación con su tamaño y más débil en el recuerdo intensivo en conocimiento. Ninguno tiene una entrada en Artificial Analysis, y ninguno tiene un endpoint alojado, así que no hay un número de terceros para desempatar ni forma de compararlos A/B con tu propio tráfico sin descargar ambos.

Sí existe una cifra independiente para Bolt: un Índice de Inteligencia de 21, cuarto de 67 modelos en su clase, en el mismo panel que puntúa los modelos densos con los que compite. Liquid AI reporta 184 tokens por segundo en un Apple M5 Max para LFM2.5-24B-A2B, y N​VIDIA reporta 83.99 tokens por segundo para Bolt en una máquina RTX Spark que ejecuta llama.cpp con su drafter LiLiCorr adjunto. Esas dos velocidades son las cifras más útiles que publicó cualquiera de los dos laboratorios, y no son comparables — hardware diferente, formatos diferentes, configuraciones de drafter diferentes.

Qué máquina quiere cada uno

Las historias del hardware se solapan menos de lo que sugiere el encuadre de los 24GB.

Bolt está diseñado para el propio stack de edge de N​VIDIA: portátiles RTX Spark que llegarán el 16 de octubre, PC con GeForce RTX, DGX Spark, DGX Station y estaciones de trabajo RTX PRO, con el checkpoint cuantizado para llama.cpp en Spark y vLLM en DGX, y el checkpoint BF16 designado para Ampere, Hopper y Blackwell. El drafter es una descarga separada de 1,13B, y la receta de referencia de vLLM fija una compilación nightly, un paquete de kernel de un repositorio de proveedor y un recuento de secuencias servidas de uno.

LFM2.5-24B-A2B es el más portátil de los dos sobre el papel y lo dice: compilaciones MLX para Apple Silicon, ONNX para entornos de ejecución multiplataforma, GGUF para inferencia en CPU, FP8 para servicio en GPU y un drafter DSpark listado como próximamente. Una compilación cuantizada de 13,58 GB deja más margen en una tarjeta de 24 GB que el único archivo de 22,02 GB de Bolt más su proyector de visión de 1,73 GB.

Ese último cálculo es el quid práctico. Los pesos y el proyector de Bolt consumen 23,75 GB de los 24 GB que dan nombre al modelo, dejando que el contexto y la concurrencia compitan por el resto. LFM2.5-24B-A2B en Q4 o QAD-Q4 deja aproximadamente diez gigabytes para el mismo propósito. Si tu carga de trabajo es trabajo de agentes de horizonte prolongado con un gran contexto recuperado, la menor huella activa y almacenada no es un premio de consolación.

Dónde encaja la capa de enrutamiento

Ninguno de los dos modelos es algo que sirvamos, y vale la pena decirlo sin rodeos en lugar de adornarlo: el catálogo de OrcaRouter no incluye Bolt ni LFM2.5-24B-A2B, así que aquí no hay endpoint para ninguno de los dos ni precio que comparar. Lo que ambos tienen en común es que son la mitad local de un stack, y las mitades locales casi nunca están solas — un agente que ejecuta un modelo de 24 GB en la máquina que tiene delante sigue recurriendo a algo más grande cuando la tarea lo supera.

Esa es la parte que sí gestionamos. Una sola clave para más de 200 modelos alojados al precio de lista del proveedor sin recargo añadido, conmutación por error automática de modo que un proveedor que falla a mitad de una solicitud se reintenta en lugar de mostrarse a quien esté esperando, y un DSL de enrutamiento que expresa una cadena de respaldo como configuración en lugar de como código de aplicación. Si estás eligiendo entre estos dos puntos de control, la decisión se toma en tu propio hardware y en tu propio entorno de pruebas — y las escalaciones, consultas secundarias y evaluaciones en torno a ella son la parte que pasa por una puerta de enlace.

Cómo elegir sin un marcador compartido

Cuatro preguntas lo resuelven más rápido que cualquier tabla.

¿El agente necesita ver? Si lee capturas de pantalla, PDF o vídeo, Bolt es el único de los dos que puede hacerlo, y la pregunta está resuelta. Si trabaja con texto y llamadas a herramientas, la capacidad multimodal es un peso que estás cargando para nada.

¿Cuánto contexto necesita realmente un turno? Un cuarto de millón de tokens frente a 131.072 es una diferencia real para trabajo a escala de repositorio o de documento, y es la única dimensión en la que la compresión de Bolt aportó algo que no aparece en ninguna columna de benchmark.

¿Cuál es la máquina? Una GPU NVIDIA discreta con 24 GB y tolerancia a una versión nightly fijada de vLLM favorece a Bolt. Un Mac, o una flota mixta donde la misma compilación tiene que ejecutarse en más de un lugar, favorece al modelo que incluye MLX y ONNX junto a su GGUF.

¿Y en qué números crees? Ambos laboratorios han publicado tablas en las que su propio modelo gana en la mayoría de las filas. La postura honesta es que cada uno es sólido dentro de un grupo de referencia que él mismo seleccionó, que la discrepancia entre ambas tablas en líneas base idénticas es un recordatorio sobre la varianza del entorno de evaluación, y que una cifra de referencia proveniente del laboratorio que creó el modelo es una afirmación sobre su capacidad, más que una medición de esta.

La respuesta corta

Bolt te da visión, un contexto de un cuarto de millón de tokens y la compresión más ajustada que se haya lanzado a este tamaño, y te lo cobra en dos gigabytes y medio de margen y una receta obligatoria de NVIDIA. LFM2.5-24B-A2B te da portabilidad, un conjunto de trabajo más pequeño y dieciséis idiomas, y te lo cobra en modalidad y contexto.

Ambos se lanzaron con cuatro días de diferencia en octubre de 2026 —LFM2.5-24B-A2B el 13 de octubre, Bolt el 15 de octubre—, lo que significa que ninguno tiene aún un historial independiente, que ninguno se ha medido contra el otro en hardware compartido y que cualquiera que afirme un ganador está leyendo las tablas del proveedor en lugar de un benchmark. Descarga ambos, ejecuta tu propio conjunto de evaluación y quédate con el que termine el trabajo. Esa es la única comparación aquí que aún no ha publicado uno de los dos laboratorios.

Esa brecha entre lo que mide un marcador y lo que encuentra un despliegue es la razón por la que el registro importa: los fallos de IA documentados y los incidentes de agentes en torno a modelos de esta clase se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza e indicador de disputa.