NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB i fickan mot 4× H100 i ett rack

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Vad som ändå gör dem värda att jämföra är att de är eniga om mekanismen och oeniga om skalan. Båda är Mixture-of-Experts-modeller byggda för att byta total storlek mot kostnad per token. Båda komprimerar visuella tokens innan språkmodellen behöver tänka på dem. Båda satsar på att framtiden för arbete inom vision och språk är många modeller på många platser snarare än en enda stor modell bakom ett enda API. De har bara placerat sina satsningar tre storleksordningar ifrån varandra när det gäller hårdvara.

Det aktiva parametersammanfallet

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

OpenBMB:s bidrag till det problemet är Lookahead Expert Scheduling, vilket är det som låter en 3B-aktiv modell hålla sina experter residenta utan att överbelasta minnesbussen — anledningen till att den kan köra i 3 GB istället för att behöva en arbetsstation. Implementationen finns i en fork, llama.cpp-omni, och påståendet som är kopplat till den är försiktigt: den första öppen källkods-MoE-modellen som körs smidigt på enheten utan att kompromissa med prestanda. Huruvida "utan att kompromissa" håller mot en 120B-modell är inte något som kortet tar upp, och det bör det inte — en modell som körs på en telefon tävlar inte med en som behöver fyra H100s när det gäller noggrannhet. Den konkurrerar genom att överhuvudtaget finnas.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Två olika svar på "tokens är dyra"

Båda teamen gav sig på samma flaskhals – antalet visuella tokens som en bild kostar – och landade på olika ställen.

MiniCPM-V 4.7 35B-A3B gör det inuti visionskodaren, med tidig komprimering härledd från LLaVA-UHD v4, och använder sedan blandad 4×- och 16×-komprimering av visuella tokens beroende på vad bilden behöver. Fin detalj får den dyra vägen; ett kvitto får den billiga. Komprimeringen sker innan språkmodellen är inblandad, vilket är det som gör siffrorna på enheten möjliga.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

De är oförenliga filosofier och båda är korrekta för sin respektive driftsättning. Om du har 3 GB komprimerar du. Om du har 4× H100 behåller du detaljrikedomen och betalar för kontext.

Vad siffrorna kan och inte kan berätta för dig

Här är den ärliga positionen på båda sidor.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

MiniCPM-V 4.7 35B-A3B:s modellkort presenterar sina benchmarkresultat som tillverkarens diagram snarare än en numerisk tabell, så det finns ingen siffra att återge och ingen baslinjelista att granska. Det starkaste specifika påståendet i modellkortet är jämförande och riktningsgivande – en högre totalpoäng på kortare inferenstid än Qwen3.6 35B-A3B i Instruct-läge – vilket är ett påstående om effektivitet inom sin egen viktklass, inte om förmåga gentemot en modell som är tolv gånger så stor.

Så en jämförelsetabell mellan dessa två utifrån benchmarkvärden finns inte och kan inte skapas. Den som presenterar en kombinerar ett leverantörsdiagram med en leverantörstabell och kallar resultatet för en mätning.

Detaljen i driftsättningen som avgör fler projekt än vad noggrannheten gör

MiniCPM-V 4.7 35B-A3B levererades med stöd från dag ett för kisel från Rockchip, Houmo, Intel, AMD och Arm, tillsammans med SGLang, vLLM, llama.cpp och Ollama, samt kvantisering i GGUF, BNB, AWQ, GPTQ och FP8. Den integreras också med SWIFT och LLaMA-Factory för finjustering. Den listan är den verkliga produkten. En modell som körs på acceleratorn du redan har köpt, i det kvantiseringsformat som din runtime redan stöder, är en modell du kan leverera det här kvartalet.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

Argumentet för att köra båda

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Vilken, avgjord av var pixlarna ligger

Välj MiniCPM-V 4.7 35B-A3B om inferensen måste ske där data finns — på en telefon, i ett fordon, på ett fabriksgolv, på en klinik där bilden inte kan lämna byggnaden — eller om dina användare är offline, eller om kostnaden per anrop för en hostad VLM är det som dödar enhetsekonomin. Dess licens är Apache-2.0, dess utbud av kvantiseringar är brett, och dess lista över kiselstöd är medvetet lång.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Om du är osäker är den avgörande frågan inte noggrannhet. Det handlar om huruvida bilden får lämna enheten. Det svaret väljer modellen innan något prestandatest har konsulterats.

MiniCPM-V 4.7 35B-A3B:s modellkort är källan till påståendena om körning på enheten — de 13-plus tokens per sekund, det ungefär 3 GB stora minnesavtrycket, silicon-listan för dag 0 och kvantiseringsformaten — vilka alla är modellens egna rapporterade resultat. Läs silicon-listan innan du bestämmer dig, eftersom "supported" där betyder att det finns en runtime-väg, inte att ditt specifika kort har benchmarkats.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Benchmarks åldras och priser förändras; felhistoriken gör det inte: de dokumenterade AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omtvistad status.