NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB no bolso contra 4× H100 num rack

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

O que os torna dignos de comparação, de todo modo, é que concordam quanto ao mecanismo e discordam quanto à escala. Ambos são modelos de mistura de especialistas criados para trocar tamanho total por custo por token. Ambos comprimem tokens visuais antes que o modelo de linguagem precise pensar neles. Ambos apostam que o futuro do trabalho de visão e linguagem está em muitos modelos em muitos lugares, em vez de um único modelo grande por trás de uma API. Eles apenas fizeram suas apostas a três ordens de magnitude de distância em hardware.

A coincidência do parâmetro ativo

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

A contribuição da OpenBMB para esse problema é o Lookahead Expert Scheduling, que é o que permite a um modelo com 3B ativos manter seus especialistas residentes sem sobrecarregar o barramento de memória — o motivo pelo qual ele consegue rodar em 3 GB em vez de precisar de uma estação de trabalho. A implementação está em um fork, o llama.cpp-omni, e a alegação que o acompanha é cautelosa: o primeiro modelo MoE de código aberto a rodar suavemente no dispositivo sem comprometer o desempenho. Se o "sem comprometer" se sustenta diante de um modelo de 120B não é algo que o card aborda, e não deveria — um modelo que roda em um celular não está competindo com um que precisa de quatro H100s em precisão. Ele está competindo por estar lá, simplesmente.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Duas respostas diferentes para "tokens são caros"

Ambas as equipes atacaram o mesmo gargalo — o número de tokens visuais que uma imagem custa — e chegaram a lugares diferentes.

O MiniCPM-V 4.7 35B-A3B faz isso dentro do codificador de visão, com compressão precoce derivada do LLaVA-UHD v4, e depois usa compressão mista de tokens visuais de 4× e 16× dependendo do que a imagem precisa. Detalhes finos seguem o caminho caro; um recibo segue o barato. A compressão acontece antes de o modelo de linguagem entrar em cena, e é isso que torna possíveis os números no dispositivo.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

Essas são filosofias incompatíveis, e ambas estão corretas para a respectiva implantação. Se você tem 3 GB, você comprime. Se você tem 4× H100, você mantém o detalhe e paga pelo contexto.

O que os números podem e não podem lhe dizer

Aqui está a posição honesta de ambos os lados.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

O card do MiniCPM-V 4.7 35B-A3B apresenta os resultados de benchmark como gráficos do fornecedor, e não como uma tabela numérica, portanto não há número a citar nem lista de baselines a inspecionar. A afirmação específica mais forte no card é comparativa e direcional — uma pontuação geral mais alta em menos tempo de inferência do que o Qwen3.6 35B-A3B no modo Instruct — o que é uma afirmação sobre eficiência dentro da sua própria classe de peso, não sobre capacidade contra um modelo doze vezes maior.

Portanto, uma tabela comparativa desses dois com base em números de benchmark não existe e não pode ser construída. Quem apresentar uma está combinando um gráfico de fabricante com uma tabela de fabricante e chamando o resultado de medição.

O detalhe de implantação que decide mais projetos do que a precisão

MiniCPM-V 4.7 35B-A3B foi lançado com suporte desde o primeiro dia para silício Rockchip, Houmo, Intel, AMD e Arm, juntamente com SGLang, vLLM, llama.cpp e Ollama, e quantização em GGUF, BNB, AWQ, GPTQ e FP8. Também se integra com SWIFT e LLaMA-Factory para ajuste fino. Essa lista é o verdadeiro produto. Um modelo que funciona no acelerador que você já comprou, no formato de quantização que seu runtime já suporta, é um modelo que você pode lançar neste trimestre.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

O argumento a favor de executar ambos

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Qual deles, decidido por onde os pixels estão

Escolha o MiniCPM-V 4.7 35B-A3B se a inferência tiver que acontecer onde os dados estão — num telefone, num veículo, num chão de fábrica, numa clínica onde a imagem não pode sair do edifício — ou se os seus usuários estiverem offline, ou se o custo por chamada de um VLM hospedado for o que está matando a economia unitária. A sua licença é Apache-2.0, o seu menu de quantização é amplo, e a sua lista de suporte de silício é deliberadamente longa.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Se você estiver em dúvida, a pergunta decisiva não é a precisão. É se a imagem tem permissão para sair do dispositivo. Essa resposta define o modelo antes de qualquer benchmark ser consultado.

A ficha do MiniCPM-V 4.7 35B-A3B é a fonte das afirmações sobre execução no dispositivo — os mais de 13 tokens por segundo, a pegada de aproximadamente 3 GB, a lista de silício do day-0 e os formatos de quantização — todos os quais são resultados relatados pelo próprio modelo. Leia a lista de silício antes de se comprometer, porque "suportado" ali significa que existe um caminho de execução, não que a sua placa específica tenha sido avaliada em benchmark.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Os benchmarks envelhecem e os preços mudam; o registro de falhas não: os incidentes de IA documentados e as falhas de agentes por trás dos modelos desta classe estão reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.