NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB in een zak tegenover 4× H100 in een rack

Een van deze draait op een iPhone. De andere draait op vier H100's. Dat is de hele vergelijking, en al het overige is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's eerste Mixture-of-Experts-model in de MiniCPM-V-lijn, en de claim op de modelkaart is specifiek genoeg om te controleren: meer dan 13 tokens per seconde op een iPhone 17 Pro Max met ongeveer 3 GB geheugen, waarbij de run als soepel wordt beschreven in plaats van als een demo. N​VIDIA N​emotron 3.5 Super VL is een vision-language-model met 120B in totaal en 12B actief, waarvan de kaart het deploymentbereik op 4× H100 of 2× GB200 stelt. Beide hebben open gewichten. Beide zijn vision-language-modellen. Het zijn geen opties voor dezelfde beslissing.

Wat ze toch de moeite van het vergelijken waard maakt, is dat ze het eens zijn over het mechanisme en van mening verschillen over de schaal. Beide zijn Mixture-of-Experts-modellen die zijn gebouwd om totale omvang in te ruilen voor kosten per token. Beide comprimeren visuele tokens voordat het taalmodel erover hoeft na te denken. Beide wedden erop dat de toekomst van vision-language-werk vele modellen op vele plekken is, in plaats van één groot model achter één API. Ze hebben hun inzet alleen drie ordes van grootte uit elkaar geplaatst qua hardware.

De actieve-parametercoïncidentie

NVIDIA Nemotron 3.5 Super VL is in totaal 120B, met 12B actief per token — een Mamba-2–Transformer hybride MoE met een C-RADIO vision-encoder en 512 gerouteerde experts per MoE-laag, en ondersteunt tot 1M tokens aan context. MiniCPM-V 4.7 35B-A3B is in totaal 35B met 3B actief. Ze verschillen een factor vier in totale omvang en een factor vier in actieve rekenkracht, maar hebben hetzelfde architectonische instinct: houd het aantal parameters hoog voor kennis en de kosten per token laag voor snelheid.

OpenBMB's bijdrage aan dat probleem is Lookahead Expert Scheduling, waardoor een model met 3B actieve parameters zijn experts resident kan houden zonder de geheugenbus te overbelasten — de reden dat het in 3 GB kan draaien in plaats van een workstation nodig te hebben. De implementatie bevindt zich in een fork, llama.cpp-omni, en de claim die eraan hangt is zorgvuldig geformuleerd: het eerste open-source MoE-model dat soepel op het apparaat draait zonder concessies te doen aan prestaties. Of "zonder concessies te doen" standhoudt tegenover een 120B-model, is niet iets wat de kaart behandelt, en dat zou ook niet moeten — een model dat op een telefoon draait, concurreert niet op nauwkeurigheid met een model dat vier H100s nodig heeft. Het concurreert op het simpele feit dat het er überhaupt is.

• Totaal / actieve parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Implementatiedoel — N​emotron 3.5 Super VL: 4× H100 of 2× GB200, geserveerd via vLLM of SGLang. MiniCPM-V 4.7 35B-A3B: telefoon, laptop, edge-box — iOS, Android en HarmonyOS worden allemaal genoemd.

• Geheugen aan de kleinste kant — N​emotron 3.5 Super VL: niet van toepassing. MiniCPM-V 4.7 35B-A3B: ongeveer 3 GB.

• Context — N​emotron 3.5 Super VL: tot 1M tokens, video tot twee minuten. MiniCPM-V 4.7 35B-A3B: niet het verkoopargument van het model; de kaart zet footprint en snelheid voorop.

• Licentie — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Twee verschillende antwoorden op "tokens zijn duur"

Beide teams pakten dezelfde bottleneck aan — het aantal visuele tokens dat een afbeelding kost — en kwamen op verschillende plekken uit.

MiniCPM-V 4.7 35B-A3B doet dit in de vision-encoder, met vroege compressie afgeleid van LLaVA-UHD v4, en gebruikt vervolgens gemengde 4×- en 16×-compressie van visuele tokens, afhankelijk van wat de afbeelding nodig heeft. Fijne details krijgen het dure pad; een kassabon krijgt het goedkope. De compressie gebeurt voordat het taalmodel eraan te pas komt, wat de cijfers op het apparaat mogelijk maakt.

Nemotron 3.5 Super VL begint helemaal niet met tokencompressie. Het antwoord is context: 1M tokens, zodat je het detail kunt behouden in plaats van het weg te gooien, en een hybride Mamba-2-laag om te voorkomen dat de kosten van een zeer lange sequentie exploderen. Het eigen videopad van het model is standaard royaal ingesteld — 2 FPS en 256 frames, terugvallend naar 1 FPS en 128 frames bij 1080p — wat een samplingantwoord is, geen compressieantwoord.

Dat zijn onverenigbare filosofieën en beide zijn correct voor hun inzet. Als je 3 GB hebt, comprimeer je. Als je 4× H100 hebt, behoud je het detail en betaal je voor context.

Wat de cijfers je wel en niet kunnen vertellen

Hier is het eerlijke standpunt over beide kanten.

N​emotron 3.5 Super VL's benchmarktabel is breed en door de leverancier verzameld via NeMo Gym: GPQA-Diamond 89,52, SWE-bench Verified 71,10, MMLongBench-Doc 62,82, OCRBench v2 met 68,12 Engels en 59,15 Chinees, CharXiv-redenering 80,82, V* 85,60. N​VIDIA koos de baselines. Niets ervan is onafhankelijk gereproduceerd.

De modelkaart van MiniCPM-V 4.7 35B-A3B presenteert de benchmarkresultaten als grafieken van de leverancier in plaats van een numerieke tabel, dus er is geen getal om aan te halen en geen lijst met baselines om te inspecteren. De sterkste specifieke claim op de modelkaart is vergelijkend en directioneel — een hogere totaalscore in minder inferentietijd dan Qwen3.6 35B-A3B in Instruct-modus — wat een claim is over efficiëntie binnen zijn eigen gewichtsklasse, niet over capaciteit ten opzichte van een model dat twaalf keer zo groot is.

Er bestaat dus geen vergelijkingstabel van deze twee op basis van benchmarkcijfers, en die kan ook niet worden gemaakt. Wie er toch een presenteert, combineert een leveranciersgrafiek met een leverancierstabel en noemt het resultaat een meting.

Het deploymentdetail dat meer projecten bepaalt dan nauwkeurigheid doet

MiniCPM-V 4.7 35B-A3B werd geleverd met day-0-ondersteuning voor Rockchip, Houmo, Intel, AMD en Arm-silicon, naast SGLang, vLLM, llama.cpp en Ollama, en kwantisatie in GGUF, BNB, AWQ, GPTQ en FP8. Het integreert ook met SWIFT en LLaMA-Factory voor fine-tuning. Die lijst is het echte product. Een model dat draait op de accelerator die je al hebt gekocht, in het kwantisatieformaat dat je runtime al ondersteunt, is een model dat je dit kwartaal kunt uitbrengen.

Het runtimeverhaal van Nemotron 3.5 Super VL is smaller en dieper: vLLM bij vllm/vllm-openai:v0.32.0 en SGLang bij lmsysorg/sglang:v0.5.20, met EAGLE speculatieve decoding op topk 1 en Multi-Token Prediction ingebouwd in de architectuur. Twee runtimes, beide eersteklas, beide gespecificeerd tot de exacte versie. Dat is wat een datacenterimplementatie wil — een gevalideerd pad, geen menu.

Als je hardware kiest om bij het model te passen, neem dan MiniCPM-V 4.7 35B-A3B. Als je het model kiest om bij hardware te passen die je al hebt, neem dan N​emotron 3.5 Super VL en volg de versies van de bijbehorende kaart exact.

Het pleidooi voor beide draaien

Het patroon dat in echte producten opduikt is geen keuze tussen deze twee. Het is een kleine VLM op het apparaat die het werk doet dat direct en lokaal moet gebeuren — een formulier lezen, een scène beschrijven, de frames eruit filteren waar niemand iets om geeft — en een grote VLM in het datacenter die het werk doet dat correct moet zijn. MiniCPM-V 4.7 35B-A3B is expliciet ontworpen voor de eerste rol. N​emotron 3.5 Super VL is ontworpen voor de tweede.

Die architectuur heeft een prijs, en die prijs is dat je nu twee modelstacks en een tekststack draait, met drie sets inloggegevens en drie sets faalwijzen. OrcaRouter is het onderdeel dat het tweede probleem wegneemt: 207 modellen achter één sleutel tegen de listprijs van de provider, zonder markup, zodat een prijswijziging van een leverancier dezelfde dag op je factuur terechtkomt, plus automatische failover wanneer een upstream verslechtert. Noch NVIDIA Nemotron 3.5 Super VL noch MiniCPM-V 4.7 35B-A3B staat in die catalogus — beide zijn open gewichten die je zelf host, en dat is juist de reden om voor een van beide te kiezen. Wat één sleutel je oplevert, zijn de omliggende tekst- en codemodellen, zodat de pipeline geen nieuw contract nodig heeft telkens wanneer je een fase toevoegt.

Welke, bepaald door waar de pixels zich bevinden

Kies MiniCPM-V 4.7 35B-A3B als de inferentie moet plaatsvinden waar de data zich bevindt — op een telefoon, in een voertuig, op een fabrieksvloer, in een kliniek waar de afbeelding het gebouw niet mag verlaten — of als je gebruikers offline zijn, of als de kosten per aanroep van een gehoste VLM de unit economics om zeep helpen. De licentie is Apache-2.0, het kwantisatiemenu is uitgebreid, en de lijst met ondersteunde chips is bewust lang.

Neem NVIDIA Nemotron 3.5 Super VL als het werk een lange context en veel redeneerwerk vereist: documenten met meerdere pagina's, gemengde lay-outs, grafieken die geïnterpreteerd moeten worden, videoclips van twee minuten, agentisch gebruik van tools. De context van 1M tokens en 12B actieve parameters zijn de reden dat het bestaat, en geen enkel on-device model kan daarvoor in de plaats komen.

Als je twijfelt, is de beslissende vraag niet nauwkeurigheid. Het is of de afbeelding het apparaat mag verlaten. Dat antwoord bepaalt de modelkeuze voordat er ook maar een benchmark wordt geraadpleegd.

De modelkaart van MiniCPM-V 4.7 35B-A3B is de bron voor de on-device-claims — de ruim 13 tokens per seconde, de ongeveer 3 GB voetafdruk, de day-0-siliciumlijst en de kwantisatieformaten — allemaal resultaten die het model zelf rapporteert. Lees de siliciumlijst voordat je je vastlegt, want "supported" betekent daar dat er een runtime-pad bestaat, niet dat jouw specifieke board is gebenchmarkt.

NVIDIA's Nemotron-ontwikkelaarspagina is waar de richtlijnen voor 4× H100 / 2× GB200 en de runtime-versies worden gepubliceerd, samen met de link naar het technische rapport achter de benchmarktabel. De versienummers op de kaart zijn om een goede reden exact: vLLM v0.32.0 en SGLang v0.5.20 met EAGLE topk 1 zijn de gevalideerde combinatie, en daarvan afwijken is hoe een werkende deployment een debugsessie wordt.

Het belangrijkere punt is dat het vakgebied van visie en taal niet langer naar één vorm convergeert. OpenBMB duwt een model met 3B actieve parameters richting je broekzak en N​VIDIA duwt een model met 12B actieve parameters over een miljoen tokens context, in dezelfde maand, onder licenties die allebei commercieel gebruik toestaan. Kiezen tussen hen is een deployment kiezen, en die deployment wordt bepaald door waar de pixels zich bevinden.

Benchmarks verouderen en prijzen veranderen; het faalregister niet: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding haar eigen bronnen, ernstniveau, betrouwbaarheidsklasse en betwistingsmarkering bevat.