NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB en un bolsillo frente a 4× H100 en un rack

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Lo que hace que valga la pena compararlos de todos modos es que coinciden en el mecanismo y discrepan en la escala. Ambos son modelos de Mixture-of-Experts creados para intercambiar tamaño total por coste por token. Ambos comprimen los tokens visuales antes de que el modelo de lenguaje tenga que pensar en ellos. Ambos apuestan a que el futuro del trabajo de visión-lenguaje son muchos modelos en muchos lugares en lugar de un único modelo grande detrás de una API. Simplemente hicieron sus apuestas con tres órdenes de magnitud de diferencia en hardware.

La coincidencia de parámetros activos

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

La contribución de OpenBMB a ese problema es Lookahead Expert Scheduling, que es lo que permite que un modelo de 3B activos mantenga sus expertos residentes sin saturar el bus de memoria: la razón por la que puede ejecutarse en 3 GB en lugar de necesitar una estación de trabajo. La implementación reside en un fork, llama.cpp-omni, y la afirmación que se le atribuye es prudente: el primer modelo MoE de código abierto que se ejecuta sin problemas en el dispositivo sin comprometer el rendimiento. Que "sin comprometer" se sostenga frente a un modelo de 120B no es algo que la ficha aborde, y no debería: un modelo que se ejecuta en un teléfono no compite en precisión con uno que necesita cuatro H100. Compite en el simple hecho de estar disponible.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Dos respuestas diferentes a «los tokens son caros»

Ambos equipos atacaron el mismo cuello de botella —la cantidad de tokens visuales que cuesta una imagen— y llegaron a lugares distintos.

MiniCPM-V 4.7 35B-A3B lo hace dentro del codificador de visión, con una compresión temprana derivada de LLaVA-UHD v4, y luego usa una compresión mixta de tokens visuales de 4× y 16× según lo que necesite la imagen. El detalle fino recibe la ruta costosa; un recibo recibe la barata. La compresión ocurre antes de que intervenga el modelo de lenguaje, que es lo que hace posibles las cifras en dispositivo.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

Esas son filosofías incompatibles y ambas son correctas para su despliegue. Si tienes 3 GB, comprimes. Si tienes 4× H100, conservas el detalle y pagas por el contexto.

Lo que los números pueden y no pueden decirte

Esta es la postura honesta de ambas partes.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

La ficha de MiniCPM-V 4.7 35B-A3B presenta sus resultados de benchmark como gráficos del proveedor en lugar de una tabla numérica, por lo que no hay cifra que citar ni lista de referencia que inspeccionar. La afirmación específica más fuerte en la ficha es comparativa y direccional —una puntuación general más alta en menos tiempo de inferencia que Qwen3.6 35B-A3B en modo Instruct—, lo cual es una afirmación sobre la eficiencia dentro de su propia clase de peso, no sobre la capacidad frente a un modelo doce veces su tamaño.

Así que no existe una tabla comparativa de estos dos en cifras de benchmark, y no se puede construir. Cualquiera que presente una está combinando un gráfico de proveedor con una tabla de proveedor y llamando al resultado una medición.

El detalle de implementación que decide más proyectos que la precisión

MiniCPM-V 4.7 35B-A3B se lanzó con soporte desde el primer día para silicio de Rockchip, Houmo, Intel, AMD y Arm, junto con SGLang, vLLM, llama.cpp y Ollama, y cuantización en GGUF, BNB, AWQ, GPTQ y FP8. También se integra con SWIFT y LLaMA-Factory para el ajuste fino. Esa lista es el verdadero producto. Un modelo que se ejecuta en el acelerador que ya compraste, en el formato de cuantización que tu entorno de ejecución ya admite, es un modelo que puedes lanzar este trimestre.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

El argumento a favor de ejecutar ambos

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

¿Cuál, decidido por dónde están los píxeles?

Elige MiniCPM-V 4.7 35B-A3B si la inferencia tiene que ocurrir donde están los datos —en un teléfono, en un vehículo, en una planta de fabricación, en una clínica donde la imagen no puede salir del edificio— o si tus usuarios están sin conexión, o si el coste por llamada de un VLM alojado es lo que está matando la economía unitaria. Su licencia es Apache-2.0, su menú de cuantización es amplio y su lista de compatibilidad con silicio es deliberadamente larga.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Si hay dudas, la pregunta decisiva no es la exactitud. Es si se permite que la imagen salga del dispositivo. Esa respuesta elige el modelo antes de consultar cualquier benchmark.

La ficha de MiniCPM-V 4.7 35B-A3B es la fuente de las afirmaciones sobre el dispositivo — los más de 13 tokens por segundo, la huella de aproximadamente 3 GB, la lista de silicio del día 0 y los formatos de cuantización —, y todos ellos son resultados reportados por el propio modelo. Lee la lista de silicio antes de decidirte, porque «compatible» ahí significa que existe una ruta de ejecución, no que tu placa específica haya sido evaluada con benchmarks.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Los benchmarks envejecen y los precios se mueven; el historial de fallos no: los incidentes de IA documentados y los fallos de agentes detrás de los modelos de esta clase se recopilan en the OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, severidad, grado de confianza y marca de disputa.