Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Ambos caben en 24 GB; solo uno te dice cuánto te costó

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Lo que cada modelo realmente es

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B es denso. Los 27 mil millones de parámetros se leen para cada token, y la sección de arquitectura de la tarjeta del modelo describe una pila de 64 capas organizada como dieciséis repeticiones de tres bloques de atención lineal con compuerta seguidos de un bloque de atención completa con compuerta, con predicción multitoken entrenada a lo largo de múltiples pasos y un contexto nativo de 262.144 tokens extensible a un millón. Entiende imágenes y video de forma nativa, y expone control de pensamiento por solicitud mediante un ajuste de esfuerzo de razonamiento y un indicador que conserva el contexto de razonamiento entre turnos.

Distintas filosofías de producción, y ambos se distribuyen como pesos abiertos bajo licencias suficientemente permisivas: OpenMDW-1.1 para Bolt, Apache 2.0 para Qwen3.8-27B.

Dos compresiones, una de las cuales está documentada.

Esta es la parte de la comparación que lo decide todo.

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 en 2 bits frente a 88,83 en 16 bits, una pérdida de 2,40 puntos.

• Terminal-Bench 2.1 — 50.98 frente a 53.93, una pérdida de 2.95.

• BrowseComp — 66.75 frente a 70.00, una pérdida de 3.25.

• AA-LCR razonamiento de contexto largo — 64.06 frente a 67.38, una pérdida de 3.32.

• HLE sin herramientas — 25.30 frente a 28.73, una pérdida de 3.43.

• Precisión de AA-Omniscience — 16,90 frente a 21,80, una pérdida de 4,90.

Y dos filas que van en sentido contrario: en la no alucinación de AA-Omniscience, el modelo comprimido obtiene 61,27 frente a 56,14 del de precisión completa, y en WebArena vision ambos están a la par, con menos de un punto de diferencia. Esos son números de proveedor, no reproducidos, y aun así siguen siendo la descripción más completa que cualquier laboratorio ha publicado de lo que una compresión de 24GB le hizo a su propio modelo.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Esa asimetría es la versión honesta de este enfrentamiento. Bolt te dice su precio. Qwen3.8-27B te hace pagar uno que tienes que estimar tú mismo.

El panel independiente, y qué cubre y qué no cubre

Artificial Analysis mide Qwen3.8-27B a nivel de modelo completo en su configuración de razonamiento máxima: un Intelligence Index de 34, primero de 141 modelos del panel; alrededor de 41 tokens de salida por segundo, lo que lo sitúa en el puesto 51 de 63; y un costo de $0.50 por millón de tokens de entrada y $3.00 por millón de tokens de salida en la combinación de proveedores que rastrea, que considera particularmente caro para un modelo de pesos abiertos de ese tamaño. También señala que el modelo es muy verboso, con 200 millones de tokens generados durante la ejecución del índice.

El mismo panel puntúa a Bolt con un Índice de Inteligencia de 21, cuarto de 67 modelos de su clase, con la velocidad y el costo no disponibles, ya que no hay una API pública que lo sirva. Trece puntos es una brecha amplia y se mide de la misma manera para ambos, lo que la convierte en la afirmación individual más fiable de este artículo. También viene con una advertencia que importa más de lo que parece: el propio resumen comparativo del panel califica a Qwen3.8-27B como notablemente lento y muy verboso, así que el modelo que gana en inteligencia es aquel por el que esperas más tiempo.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

The vendor table on Q​wen's side

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Esos números no son comparables con la tabla de Bolt. Distintos arneses, distintas fechas de evaluación, distintas selecciones de línea base y, en el caso de Bolt, un grupo de línea base elegido en parte para encajar en 24 GB a cuatro bits. La única afirmación honesta es que las puntuaciones de agente publicadas de Qwen3.8-27B son superiores a las puntuaciones de agente publicadas de Bolt, que ambos conjuntos de números provienen de los laboratorios que crearon los modelos y que ninguno de los dos laboratorios ha ejecutado el conjunto de benchmarks del otro.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Alquilar uno, y la latencia que conlleva

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B se puede descargar y llamar, y esa combinación es la razón por la que este enfrentamiento tiene siquiera una respuesta práctica. Ofrecemos qwen/qwen3.8-27b en nuestra propia infraestructura a $0.33 por millón de tokens de entrada y $2.40 por millón de salida. La entrada del catálogo indica un contexto de 262.144 tokens con entrada de texto, imagen y video, y publicar a esa tarifa es posible de nuestro lado porque OrcaRouter transfiere el precio de lista del proveedor sin añadir ningún margen — si un proveedor recorta un precio, el cambio está activo aquí el mismo día en lugar de en el siguiente ciclo de facturación.

La latencia, sin embargo, merece citarse con honestidad en lugar de hacerlo de forma halagadora. Durante los siete días que terminaron el 16 de octubre de 2026, nuestro propio endpoint para este modelo reportó un tiempo p50 hasta el primer token de 10,00 segundos y un p95 de 10,00 segundos, una velocidad de salida de 515 tokens por segundo y una tasa de error del 2,1 %. La serie diaria explica el agregado: 1,42 segundos el 10 de octubre, 1,65 el 11, 2,83 el 12, luego 10,00 el 13 y el 15, y 1,91 el 14. Dos de los seis días alcanzaron el límite superior de nuestra ventana de medición y tres no.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Cómo se resuelve esto en realidad

No hay ningún ganador que entregar, porque los dos modelos no compiten por el mismo espacio.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Si tu restricción es la capacidad por dólar y la red está disponible, Qwen3.8-27B va por delante por trece puntos en el único índice que midió ambas cosas, a una tarifa publicada, bajo una licencia que tu equipo legal ya ha visto antes. La versión local de cuatro bits es una tercera vía razonable, y es aquella en la que deberías esperar hacer tu propia evaluación en lugar de heredar la tabla de otra persona.

La parte que ambos modelos dejan en tus manos es la misma: ninguno cuenta con una prueba comparativa independiente frente al otro, ningún laboratorio ha medido el modelo del otro, y las opiniones que circulan sobre ellos desde el primer día son interpretaciones de las fichas de los proveedores. Descarga ambos, ejecuta tus propias tareas y quédate con el que termine. Ese es el único resultado de esta comparación que no habrá sido publicado por uno de los dos laboratorios que los crearon.

Lo que los números no pueden decirte es si algo de esto ha salido mal sobre el terreno: los incidentes de IA documentados y los fallos de agentes en torno a los modelos de esta clase se recopilan en el Archivo de Incidentes de IA de OrcaRouter, donde cada entrada incluye sus propias fuentes, su gravedad, su grado de confianza y su indicador de disputa.