MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: Den billigaste burken som faktiskt kör vardera

Båda är språk- och visionsmodeller med öppna vikter, båda är mixture-of-experts, och båda komprimerar visuella token innan språkmodellen ser dem. Valet mellan MiniCPM-V 4.7 35B-A3B och NVIDIA Nemotron 3.5 Super VL är därför inte ett beslut om arkitektur. Det är ett beslut om den minsta maskin du är villig att köpa, och om vad den maskinen ger dig i sidor per timme. Prisatt på det sättet hamnar de två modellerna i helt olika upphandlingssamtal: den ena körs från en nedladdning på 21 GB på hårdvara du förmodligen redan äger, den andra kräver fyra H100:or i BF16 eller en enda H200 i FP4. Den här artikeln gör matematiken som specifikationsbladen lämnar till dig – minnesnivå för minnesnivå, och sida för sida. Visionsstacken stannar på din hårdvara. Orkestreringen runt den behöver inte göra det. Se den hostade katalogen över 200 hostade modeller på en nyckel, listpris vidarebefordrat med 0 % påslag. De dokumenterade AI-misslyckandena och agentincidenterna bakom lanseringar som den här samlas i OrcaRouter AI Incident Archive där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstritt.

Två kvantiseringsstegar, två väldigt olika lägstanivåer

OpenBMB och NVIDIA löste samma problem – en modell som är för stor för enheten du vill köra den på – i motsatta riktningar. MiniCPM-V 4.7 35B-A3B håller en liten aktiv uppsättning kvar i minnet och strömmar in experter från lagring och levererar sedan hela paketet i alla GGUF-storlekar så att du kan välja din lägstanivå. Nemotron 3.5 Super VL håller hela modellen kvar i minnet och tränar i stället en 4-bitarsnivå (NVFP4) som minskar minnesbehovet ungefär fyra gånger utan någon kvantiseringsstraff i efterhand.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21,2 GB på disk. Får plats på ett konsument-GPU med 24 GB med knapp marginal, eller en Mac med 32 GB och plats över.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36,9 GB / 69,4 GB. Ett 48 GB-kort eller en arbetsstation på 96 GB, beroende på hur mycket kontext du vill ha tillsammans med vikterna.

• Nemotron 3.5 Super VL, BF16 – ungefär 231,8 GiB vikter fördelade på 64 shards. Nvidias eget serveringsrecept är tensor-parallellt 4 på 4x H100, eller TP2 på 2x GB200.

• Nemotron 3.5 Super VL, {{1}}NVFP4 – driftsätts på 1x DGX Spark, 1x H200, 2x H100 eller 1x GB200, enligt dess modellkort.{{/1}}

Den sista raden är siffran som förändrar inköpsdiskussionen. En 120B-modell på en H200 i stället för fyra H100 är inte en marginell besparing; det är skillnaden mellan en klusterreservation och en enda nod. Och eftersom NVIDIA gör 4-bitarsomvandlingen under träningen med kvantiseringsmedveten destillation i stället för i efterhand, hävdar företaget att det inte finns någon inferensoverhead — ett påstående som kortet framför men inte underbygger med en publicerad noggrannhetsskillnad mellan BF16 och NVFP4.

Sidor per timme, vilket är siffran som avgör allt

Genomströmning i tokens per sekund är ett dåligt mått på dokumentarbete, eftersom kostnaden för en sida domineras av hur många visuella tokens kodaren skickar ut innan språkmodellen säger ett ord. Det är här de två designerna skiljer sig mest åt, och där marknadsföringsspråket är minst användbart.

MiniCPM-V 4.7 35B-A3B komprimerar inne i visionstornet med en tidig komprimeringsteknik som OpenBMB tillskriver LLaVA-UHD v4, med blandad 4x- och 16x-nedsampling. Standard är 16x; 4x är detaljvägen, som väljs per bild. En tät textsida får den billiga vägen, ett komponentdiagram får den dyra. Komprimeringen sker innan språkmodellen är inblandad, vilket är precis det som gör en 35B-modell körbar på en telefon.

Nemotron 3.5 Super VL är inte först och främst inriktad på komprimering. Dess styrka är kontexten: upp till en miljon tokens, videoinmatning på upp till två minuter och ett hybridlager av Mamba-2-typ för att hindra att en mycket lång sekvens blir kvadratisk. Dess videorecept samplar som standard vid 2 FPS och 256 bildrutor, och går ned till 1 FPS och 128 bildrutor vid 1080p – en samplingspolicy snarare än ett komprimeringstrick, och en sådan som du kan justera uppåt om arbetsbelastningen har täta rörelser.

Den praktiska konsekvensen: MiniCPM-V 4.7 ger dig en fast, låg tokenkostnad per sida och kräver att du accepterar detaljförlusten; Nemotron 3.5 Super VL låter dig behålla detaljerna och kräver att du betalar för kontexten. För en genomgång av ett hundrasidigt kontrakt är den första billigare per sida, och den andra är bättre på den sida där klausulen står i en fotnot med 6 punkters textstorlek. För en två minuter lång kirurgisk video är det överhuvudtaget bara den andra som är relevant.

En av dessa utgåvor levereras med siffror; den andra med diagram.

Det här är den del av jämförelsen som inte kan åtgärdas med någon mängd hårdvaruberäkningar, så den hör hemma här i stället för att begravas i en fotnot.

NVIDIAs modellkort innehåller en benchmarktabell med ungefär fyrtio rader, och det är ovanligt öppenhjärtigt: det namnger baslinjerna, och flera rader visar att modellen förlorar. Mot Qwen3.5-122B-A10B anger dess egna siffror MMLU-ProX till 76,91 mot 83,2, tau2-bench telecom till 73,19 mot 87,2, OCRBench v2 kinesiska till 59,15 mot 67,3 och MathVision till 78,16 mot 83,3. Den vinner GPQA-Diamond med 89,52 mot 86,7, SWE-bench Pro med 51,78 mot 44,9 och CritPt med 10,86 mot 1,1. Varje siffra, inklusive baslinjerna, samlades in via NVIDIAs egen NeMo Gym-harness – kortet säger det rakt ut och publicerar reproducerbarhetsnoter. Körda av leverantören, ärligt märkta, med förlusterna kvar.

MiniCPM-V 4.7:s modellkort innehåller fem utvärderingsdiagram och ingen numerisk tabell. Jämförelsepåståendena är riktningsvisande: en högre totalpoäng på kortare inferenstid än Qwen3.6 35B-A3B i Instruct-läge, och betydande vinster jämfört med Qwen3.5 0.8B för 1B-varianten. Det finns ingen poäng per benchmark att citera, ingen baslinjelista att granska och ingen publicerad viktning för det sammansatta mått som plottas. Det är inte samma sak som en dålig modell – konstruktionen är dokumenterad i config.json och vikterna kan kontrolleras byte för byte – men det innebär att noggrannhetshalvan av denna jämförelse inte kan byggas. Den som presenterar en tabell med MiniCPM-V 4.7-poäng mot Nemotron 3.5 Super VL-siffror läser den ena leverantörens diagram som om det vore en mätning och den andras tabell som om den vore neutral.

Körningsvägarna, och vilken som biter dig senare

MiniCPM-V 4.7:s driftsättningsberättelse är en meny: SGLang, vLLM, llama.cpp och Ollama, en OpenVINO-väg för Intel CPU, GPU och NPU, finjustering via SWIFT och LLaMA-Factory, kvantisering i GGUF, BNB, AWQ, GPTQ och FP8, samt day-0-stöd som hävdas för Rockchip, Houmo, Intel, AMD och Arm-silikon tillsammans med iOS, Android och HarmonyOS. Bredden är produkten. Kostnaden för bredden är att ingen har validerat just din kombination, och den nuvarande uppströms llama.cpp-vägen har en aktiv defekt: bildmarkörspositioner beräknas felaktigt, så returnerade koordinater ligger systematiskt för lågt när du frågar var något finns. En testad fix är öppen och ej sammanslagen sedan den 20 oktober.

Nemotron 3.5 Super VL:s historia är smal och djup: vLLM på en låst image-tagg och SGLang på en låst tagg, med Multi-Token Prediction inbyggt i arkitekturen så att ingen separat drafter behövs. Kortet anger versioner eftersom versionerna är den validerade kombinationen. Att avvika från dem är det som gör att en fungerande driftsättning förvandlas till en felsökningssession.

Om du väljer hårdvara för att passa modellen, ta MiniCPM-V 4.7. Om du väljer en modell för att passa hårdvara du redan har, ta Nemotron 3.5 Super VL och följ versionerna på dess kort exakt.

Var en router hör hemma i en tvåboxsarkitektur

Mönstret som dyker upp i produktion är inte ett val mellan dessa två. Det är en liten modell på enheten eller den lokala datorn som utför arbete som måste vara omedelbart och privat, och en stor modell som hanterar arbete som måste vara korrekt. MiniCPM-V 4.7 35B-A3B är byggd för den första rollen; Nemotron 3.5 Super VL är byggd för den andra, med ett fönster på en miljon token och 12B aktiva parametrar för att hantera långa dokument och agentiska loopar.

Att köra båda innebär två modellstackar, två uppsättningar felbeteenden och – när man väl lägger till en textmodell för orkestreringen runt dem – tre. Det är där OrcaRouter hjälper utan att överdriva vad det är: ingen av checkpoints-modellerna finns i vår katalog, eftersom båda är öppna vikter som du själv hostar, men text- och kodmodellerna som omger dem gör det. En nyckel för över 200 hostade modeller, leverantörens listpris vidarebefordrat med 0 % påslag och automatisk failover när en uppströmsleverantör försämras. Synstacken stannar på din hårdvara; resten av pipeline behöver inte ett nytt avtal varje gång du lägger till ett steg.

Vad det kostar dig att ha fel om var och en

Köp den lilla lådan och upptäck att du behövde resonemang över långa dokument, och du har lagt några tusen dollar och en vecka. Köp fyra H100:or och upptäck att arbetsbelastningen bestod av kvitton, och du har lagt betydligt mer på kapacitet som du aldrig använder. Den asymmetrin är det verkliga argumentet för att börja på den billiga nivån och eskalera – och det är därför enhetslanseringen förtjänar den uppmärksamhet den får trots att dess benchmark-historia är tunnare.

Avgörandet, om du har båda lådorna tillgängliga, är var pixlarna finns. Bildrutor som inte får lämna byggnaden går till modellen som körs inuti den. Bildrutor som behöver en miljon tokens kontext och en resonemangsslinga går till den som byggdes för det, och du accepterar de fastlåsta runtime-versionerna som inträdespriset.