NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB in tasca contro 4× H100 in un rack

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Ciò che li rende comunque degni di essere confrontati è che concordano sul meccanismo e sono in disaccordo sulla scala. Entrambi sono modelli Mixture-of-Experts costruiti per scambiare dimensione totale con costo per token. Entrambi comprimono i token visivi prima che il modello linguistico debba pensarci. Entrambi scommettono che il futuro del lavoro visione-linguaggio sia molti modelli in molti luoghi, anziché un unico grande modello dietro una sola API. Hanno semplicemente piazzato le loro scommesse su hardware separati da tre ordini di grandezza.

La coincidenza dei parametri attivi

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

Il contributo di OpenBMB a quel problema è Lookahead Expert Scheduling, ed è ciò che consente a un modello da 3B attivi di mantenere i suoi esperti residenti senza saturare il bus di memoria — il motivo per cui può girare in 3 GB invece di richiedere una workstation. L'implementazione vive in un fork, llama.cpp-omni, e l'affermazione che vi è collegata è cauta: il primo modello MoE open source a girare fluidamente sul dispositivo senza compromettere le prestazioni. Se "senza compromettere" regga il confronto con un modello da 120B non è qualcosa che la scheda affronta, e non dovrebbe — un modello che gira su un telefono non compete in accuratezza con uno che richiede quattro H100. Compete sull'esserci, e basta.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Due risposte diverse a “i token sono costosi”

Entrambi i team hanno affrontato lo stesso collo di bottiglia — il numero di token visivi che costa un'immagine — e sono arrivati a risultati diversi.

MiniCPM-V 4.7 35B-A3B lo fa all'interno dell'encoder visivo, con una compressione precoce derivata da LLaVA-UHD v4, e poi utilizza una compressione mista dei token visivi 4× e 16× a seconda delle esigenze dell'immagine. I dettagli fini seguono il percorso costoso; una ricevuta segue quello economico. La compressione avviene prima che il modello linguistico venga coinvolto, ed è ciò che rende possibili i numeri on-device.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

Quelle sono filosofie incompatibili ed entrambe sono corrette per il loro contesto di utilizzo. Se hai 3 GB, comprimi. Se hai 4× H100, mantieni il dettaglio e paghi il costo del contesto.

Cosa i numeri possono e non possono dirti

Ecco la posizione onesta su entrambi i lati.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

La scheda di MiniCPM-V 4.7 35B-A3B presenta i suoi risultati di benchmark sotto forma di grafici del fornitore anziché di una tabella numerica, quindi non c'è alcun valore da citare né un elenco di baseline da esaminare. L'affermazione specifica più forte nella scheda è comparativa e direzionale — un punteggio complessivo più alto in meno tempo di inferenza rispetto a Qwen3.6 35B-A3B in modalità Instruct — il che è un'affermazione sull'efficienza all'interno della propria classe di peso, non sulla capacità rispetto a un modello dodici volte più grande.

Quindi una tabella di confronto tra questi due sui numeri dei benchmark non esiste e non può essere costruita. Chiunque ne presenti una sta combinando un grafico di un fornitore con una tabella di un fornitore e chiamando il risultato una misurazione.

Il dettaglio di deployment che determina più progetti di quanto non faccia l’accuratezza

MiniCPM-V 4.7 35B-A3B è stato rilasciato con supporto day-0 per l'hardware Rockchip, Houmo, Intel, AMD e Arm, insieme a SGLang, vLLM, llama.cpp e Ollama, e con quantizzazione in GGUF, BNB, AWQ, GPTQ e FP8. Si integra inoltre con SWIFT e LLaMA-Factory per il fine-tuning. Quell'elenco è il vero prodotto. Un modello che gira sull'acceleratore che hai già acquistato, nel formato di quantizzazione che il tuo runtime già supporta, è un modello che puoi rilasciare questo trimestre.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

L'argomento a favore dell'esecuzione di entrambi

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Quale, deciso da dove si trovano i pixel

Scegli MiniCPM-V 4.7 35B-A3B se l'inferenza deve avvenire dove si trovano i dati — su un telefono, in un veicolo, in un reparto di fabbrica, in una clinica dove l'immagine non può uscire dall'edificio — oppure se i tuoi utenti sono offline, o se il costo per chiamata di un VLM ospitato è ciò che sta uccidendo l'economia unitaria. La sua licenza è Apache-2.0, il suo menu di quantizzazione è ampio e la sua lista di supporto hardware è volutamente lunga.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Se hai dubbi, la domanda decisiva non è l'accuratezza. È se all'immagine è consentito lasciare il dispositivo. Quella risposta sceglie il modello prima che venga consultato qualsiasi benchmark.

La scheda di MiniCPM-V 4.7 35B-A3B è la fonte delle dichiarazioni on-device — i 13 e più token al secondo, l'ingombro di circa 3 GB, l'elenco dei chip day-0 e i formati di quantizzazione — tutti risultati riportati dal modello stesso. Leggi l'elenco dei chip prima di procedere, perché "supportato" lì significa che esiste un percorso runtime, non che la tua scheda specifica sia stata sottoposta a benchmark.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

I benchmark invecchiano e i prezzi si muovono; il registro dei fallimenti no: gli incidenti documentati di IA e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti presso l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, gravità, grado di confidenza e flag di controversia.