Moondream 3 vs MiniCPM-V 4.7: MoE-lagringskostnaden som ingen tar upp

Både Moondream 3 Preview och MiniCPM-V 4.7 är vision-language-modeller av mixture-of-experts-typ, och båda marknadsförs med ett litet antal aktiva parametrar som får dem att låta som om de får plats på blygsam hårdvara. Moondream 3 Preview aktiverar 2B av sina 9B parametrar per token. MiniCPM-V 4.7:s främsta variant, MiniCPM-V 4.7 35B-A3B, aktiverar omkring 3B av 35B. Läser man de två meningarna skulle man förvänta sig att Moondream-checkpointen är den enklare att driftsätta. Huruvida den är det beror helt och hållet på en fråga som ingen av lanseringsinläggen inleder med: var bor de sovande experterna?

Det är i den frågan som dessa två modeller verkligen går isär, och svaret är hela anledningen till att MiniCPM-V 4.7 existerar i den form den gör. Släppet – MiniCPM-V 4.7 35B-A3B och MiniCPM-V 4.7 1B från OpenBMB, publicerat 6 oktober 2026 – är uppbyggt kring att köra en 35B-MoE smidigt på en telefon utan att försämra den. Moondream 3 Preview, som Moondream släppte den 18 september 2025 och som nu är en del av Prime Intellect efter förvärvet i oktober 2026, valde den motsatta vägen: håll MoE:n liten och kör den på GPU:er med Photon, Moondreams egen inferensmotor. Inget av valen är fel. De är svar på olika begränsningar, och begränsningen du lyder under avgör jämförelsen åt dig.

Aktiva parametrar är ett beräkningsmått, inte ett lagringsmått

Det här är matematiken som gör MoE på enheten svårt, och OpenBMB säger det rakt ut i sitt eget modellkort: en MoE-modell kan ha långt fler totala parametrar än vad den aktiverar för en enskild token, men dess lagringskrav på enheten är inte begränsade till de aktiva parametrarna. Olika tokens väljer olika experter i olika lager, och enhetens minne kan ofta inte hålla alla.

• Moondream 3 Preview — 9B totalt, 2B aktiva. 24 lager, de första fyra täta, resten MoE feed-forward-block med 64 experter och 8 aktiverade per token. Dold dimension 2048, GeGLU inner-/gate-dimension 1024.

• MiniCPM-V 4.7 35B-A3B — 35B totalt, ungefär 3B aktiva. Den första MoE:n i MiniCPM-V-serien. 1B-varianten i samma släpp är dense, inte MoE, vilket har betydelse nedan.

• Missförhållandet — dividera aktiva med totala och Moondream 3 Preview ser ut som den lättare modellen med bred marginal. Dividera byte med byte och MiniCPM-V 4.7 35B-A3B är den som har fyra gånger så många vikter.

• Varför det inte avgör något — den residenta minnesmängden är det som begränsar enheten, och den residenta minnesmängden ligger närmare totalen än antalet aktiva. En 9B MoE får inte plats i det minne som en 2B dense-modell får plats i, oavsett vad routern aktiverar.

Så "2B active" är ett påstående om beräkningsmängden per token. Det är inte ett påstående om minnet du behöver, och att behandla det som ett är det enskilt vanligaste sättet på vilket team felaktigt dimensionerar en MoE-driftsättning.

OpenBMB angrep lagringsproblemet direkt

MiniCPM-V 4.7:s design kan bäst läsas som tre tekniker som riktar sig mot just den luckan. Lookahead Expert Scheduling använder förutsägelse av routning mellan lager för att förladda experter som nästa lager sannolikt vill använda, och prioriterar de framgångsrikt förhämtade bland dem som den faktiska routern valde — förutsägelsen styr endast förhämtning och schemaläggning, medan beräkningen fortfarande följer modellens ursprungliga routning på token-nivå och alla nödvändiga experter som förutsägelsen missade laddas och utvärderas som vanligt. Finfördelad lagervis kvantisering minskar lagringsutrymmet och minnestrafiken för expertvikter. DSpark spekulativ sampling är integrerad i körningen på enheten för att förbättra avkodningseffektiviteten ovanpå båda.

Det angivna resultatet är 13+ tokens per sekund med cirka 3 GB minne på en iPhone 17 Pro Max, vilket OpenBMB beskriver som den första öppen källkods-MoE-modellen som körs smidigt på enheten utan att kompromissa med prestandan. Jämförelsen är explicit och värd att notera för vad den är: i Instruct-läge når MiniCPM-V 4.7 35B-A3B en högre totalpoäng på kortare inferenstid än Qwen3.6 35B-A3B. Det är ett leverantörsrapporterat påstående inom samma storleksklass, och det är den mer användbara typen eftersom båda modellerna mäts i samma testramverk.

Resten av utrullningshistorien är ovanligt bred. iOS, Android och HarmonyOS stöds, med stöd från dag ett för chipplattformar från Rockchip, Houmo, Intel, AMD och Arm. Inferens körs på SGLang, vLLM, llama.cpp och Ollama; finjustering på SWIFT och LLaMA-Factory. GGUF-, BNB-, AWQ- och GPTQ-kvantiseringar levereras, plus FP8. 1B-varianten är återigen en separat historia – dense, inte MoE – och OpenBMB positionerar den som att fortsätta förbättra sig jämfört med MiniCPM-V 4.6 samtidigt som den avsevärt överträffar Qwen3.5 0.8B både i totalpoäng och inferenseffektivitet, vilket är den ärliga jämförelsen för en modell under 1B.

Moondreams svar var att flytta hårdvaran, inte vikterna

Moondream försökte inte få en 9B MoE att rymmas på en telefon. Den behöll arkitekturen och ändrade var den körs: Photon, dess inferensmotor, kompilerar varje modell till ett enda GPU-program med anpassade kärnor och körs lokalt på NVIDIA-GPU:er från Ampere och framåt samt på Apple Silicon-Macar, med samma API som Moondream Cloud.

Detta är en försvarbar strategi, och Prime Intellects förvärvsmeddelande förklarar varför den var attraktiv: Moondreams team byggde Photon och megakernel-kompilatorn bakom den, och Primes argument för att köpa företaget är att det är serving, inte arkitektur, som avgör en modells användbarhet. Genomströmningstalen i det inlägget – mer än 60 Moondream-inferenser per sekund på en enda H100, svar inom tiotals millisekunder, Moondream 3.1 vid 34 förfrågningar per sekund – är Primes egna och är nu säljmaterial, så märk dem därefter. Men riktningen är entydig: Moondreams satsning var att du hellre skulle ha en snabb GPU-backad modell än en i telefonstorlek.

Det finns en andra skillnad, och den finns inte alls med i modellkortet. Den hostade slutpunkten för Moondream 3 Preview, Moondream Cloud, stängs den 13 november 2026 efter förvärvet, och outnyttjade köpta krediter återbetalas. MiniCPM-V 4.7 har inget sådant beroende, eftersom det aldrig i första hand var en hostad produkt — det är en uppsättning vikter med en bred berättelse om driftsättning på enheten kopplad till sig. Om din utvärdering inkluderade bekvämligheten att anropa en slutpunkt, upphör den bekvämligheten på ena sidan av den här jämförelsen.

Uppgiftskapacitet: de två korten är ärliga om olika saker

Moondream 3 Previews fyra inbyggda färdigheter är query, caption, point och detect, och alla returnerar strukturerad utdata, och lanseringsinlägget handlar främst om detection och pointing. Färdigheten query körs i resonemangsläge som standard, med en dokumenterad reasoning=False-flagga för enkla frågor, och resonemangsspåren är förankrade – de refererar till specifika delar av bilden, vilket är varför Moondream kallar det visuellt resonemang med förankring snarare än resonemang i allmänhet. Kontexten är 32K tokens, upp från ungefär 2K i föregående generation, med en anpassad SuperBPE-tokenizer; lanseringsinlägget är uppriktigt om att efterträning inte fullt ut utnyttjar det långa fönstret och att de fulla 32K mest finns där för finjustering.

MiniCPM-V 4.7:s modellkort lyfter i stället fram effektivitet och bredd: enkelbilds-, flerbilds- och videoförståelse, med blandad 4x/16x-kompression av visuella token som låter dig avväga visuell detalj mot inferenskostnad per uppgift, samt tidig intra-ViT-kompression från LLaVA-UHD v4 som minskar beräkningen i de senare kodarlagren. Den levereras också med en finjusteringsmetod – Self-Replay Fine-Tuning – som syftar till att billigt utöka en modells förmågor samtidigt som den minskar glömskan av vad den redan kunde.

• Förankrad detektion och pekning – Moondream 3 Preview: inbyggda färdigheter i arkitekturen, strukturerade koordinater, förankrade resonemangsspår. MiniCPM-V 4.7: flerbilds- och videoförståelse är de angivna styrkorna; modellkortet framhäver inte detektion med öppen vokabulär.

• Video – MiniCPM-V 4.7 stöder videoinmatning, med ett dokumenterat exempel som använder 128 bildrutor. Moondream 3 Previews kort dokumenterar bildfunktioner med cachelagring av bildkodning för upprepade frågor om samma bild.

• Kontrollerbar detaljrikedom — MiniCPM-V 4.7: en parameter, downsample_mode, 16x som standard och 4x för finare detaljer, som väljs per anrop. Moondream 3 Preview: kanalkonkatenering för multi-crop i vision-encodern, där lanseringsinlägget noterar att encodern kan snubbla på mycket små teckensnitt.

• Licens — MiniCPM-V 4.7: Apache 2.0, båda varianterna. Moondream 3 Preview: Business Source License 1.1 med ett Additional Use Grant, som tillåter kommersiell användning och produktionsanvändning och förbjuder att erbjuda en hostad Moondream för allmänna ändamål. Moondream 3.1 övergick till Moondream Model License 1.0 med samma centrala begränsning formulerad tydligare.

Licensraden är ingen fotnot i den här jämförelsen. Om du tänker vara värd för modellen åt andra är Apache 2.0 och Moondreams source-available-villkor inte på långa vägar samma utgångsläge, och det gäller oavsett vilken av dem som får bättre resultat i benchmark på din uppgift.

Finjustering är dit båda korten pekar, av motsatta skäl.

Båda leverantörerna säger att basmodellen inte är produkten, vilket är uppfriskande och också en antydan om var värdet ligger.

Moondreams lanseringsinlägg listar träningsbarhet som ett av fyra mål, med motiveringen att verkliga vision-uppgifter kräver specialisering – att tolka en röntgenbild, att upptäcka människor i nöd i en folkmassa – och att även människor behöver träning för dessa. Företaget lanserade Lens för detta ändamål, och lanseringen av Moondream 3.1 gick längre: de publicerade benchmarkresultaten för 3.1 togs fram genom att finjustera per-uppgifts-LoRA:er på varje benchmarks egen träningssplit via Lens, och sedan införliva det de lärde sig i basvikterna genom on-policy-distillation, så att den nedladdningsbara checkpointen får bra resultat utan finjustering. Det är värt att läsa två gånger. Det är ett legitimt arbetsflöde och ett ovanligt transparent avslöjande, och det innebär också att de siffrorna inte är kalla siffror direkt ur lådan – de aktuella uppgifternas träningssplitar hade matats in i modellen.

OpenBMB:s motsvarighet är Self-Replay Fine-Tuning, inriktad på ett annat problem: att lägga till förmåga utan att glömma befintlig förmåga, till låg kostnad. Dess främsta budskap handlar om bibehållande snarare än högsta poäng.

Om du ska finjustera någon av modellerna är den praktiska skillnaden densamma som löper genom hela den här jämförelsen. Moondreams väg förutsätter en GPU och en hostad tjänst. MiniCPM-V 4.7:s förutsätter att du kan finjustera på de ramverk du redan använder och sedan distribuera till de enheter du redan riktar in dig mot, med en publicerad strategi för kvantisering på enheten som bär det hela vägen dit.

Där ett routningslager förtjänar sin plats

Ingen av modellerna här serveras via OrcaRouter – båda är checkpoints med öppna vikter som du hostar själv, och en av dem förlorar sin hostade slutpunkt nästa månad. Det gör den intressanta frågan till den som båda korten undviker: vad händer med de förfrågningar som din valda modell hanterar dåligt?

Standardlösningen är en andra modell, och den standardkostnad en andra modell medför är integration: ännu ett SDK, ännu ett autentiseringssystem, ännu en återförsökspolicy. Det är den sorts arbete som tyst slukar en sprint och sedan blir permanent underhåll. OrcaRouters modellfusion finns för den snävare varianten av det problemet – en panel av modeller som svarar tillsammans på de anrop där en enskild modells svar inte är tillräckligt pålitligt – och routnings-DSL:en för den bredare varianten, som låter dig komponera flera modeller till ett enda anrop så att en billig lokal modell hanterar den enkla majoriteten och något större tar resten.

Bakom en enda nyckel finns fler än 200 modeller till leverantörens listpris utan påslag, vilket innebär att en leverantörs prissänkning når dig samma dag i stället för vid nästa faktureringscykel, och redundansväxling mellan leverantörer sker automatiskt när en uppströms tjänst försämras. För en självhostad VLM ligger routningslagret ovanför modellen i stället för att ersätta den. Det är den ärliga beskrivningen av var den passar i den här jämförelsen, och för ett system där MiniCPM-V 4.7 35B-A3B finns på enheten och en hostad modell täcker missarna, är det delen som hindrar de två från att bli två system.

Vilken det blir, avgörs av den begränsning du faktiskt har.

Om modellen måste köras på enheten, är MiniCPM-V 4.7 35B-A3B svaret och det är inte ens nära. OpenBMB byggde hela släppet kring lagringsproblemet som hindrar en 35B MoE från att köras på en telefon – expertschemaläggning, lagervis kvantisering, spekulativ avkodning – och publicerade siffran som följer av det: 13+ tokens per sekund i cirka 3 GB. Inget i Moondream 3 Preview tar itu med det problemet, eftersom Moondream valde att inte ha det.

Om en GPU är inblandad och grundad detektion är uppgiften, Moondream 3 Preview det mer specialiserade instrumentet. Inbyggd detektering och pekning med strukturerade koordinater och granskningsbara grundade resonemangsspår är en annan typ av produkt än en allmän multimodal modell som också läser text i bilder, och om en människa granskar resultatet är spåret själva funktionen.

Om du står mellan de två, besluta inte utifrån benchmarktabellerna. Kör dina egna bilder genom båda med dina egna promptar och poängsätt resultaten, eftersom den enda siffran i den här jämförelsen som kommer att överleva kontakten med din arbetsbelastning är den du själv tar fram. Och kontrollera licensen före modellen, eftersom Apache 2.0 och en källtillgänglig licens med begränsning för hostade tjänster är ett helt annat beslut — ett av dem kan avsluta utvärderingen innan noggrannhetssiffrorna spelar någon roll.