Moondream 3 vs MiniCPM-V 4.7: De MoE-opslagfactuur die niemand aanhaalt

Zowel Moondream 3 Preview als MiniCPM-V 4.7 zijn mixture-of-experts vision-language-modellen, en beide worden aangeprezen met een klein aantal actieve parameters waardoor ze klinken alsof ze op bescheiden hardware passen. Moondream 3 Preview activeert 2B van zijn 9B parameters per token. De belangrijkste variant van MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, activeert ongeveer 3B van 35B. Lees die twee zinnen en je zou verwachten dat het Moondream-checkpoint het gemakkelijkst te implementeren is. Of dat zo is, hangt volledig af van een vraag die geen van beide lanceringsberichten vooropstelt: waar leven de slapende experts?

Die vraag is waar deze twee modellen echt uiteengaan, en het antwoord is de hele reden waarom MiniCPM-V 4.7 bestaat in de vorm die het heeft. De release — MiniCPM-V 4.7 35B-A3B en MiniCPM-V 4.7 1B, van OpenBMB, gepubliceerd op 6 oktober 2026 — is gebouwd rond het soepel draaien van een 35B MoE op een telefoon zonder dat dit ten koste gaat van de kwaliteit. Moondream 3 Preview, dat Moondream op 18 september 2025 uitbracht en dat na de overname in oktober 2026 nu deel uitmaakt van Prime Intellect, koos de tegenovergestelde weg: houd de MoE klein en draai hem op GPU's met Photon, Moondreams eigen inferentie-engine. Geen van beide keuzes is verkeerd. Het zijn antwoorden op verschillende beperkingen, en de beperking waarmee jij te maken hebt, bepaalt de vergelijking voor jou.

Actieve parameters zijn een rekengetal, geen opslaggetal

Dit is het rekenwerk dat on-device MoE moeilijk maakt, en OpenBMB spelt het uit in zijn eigen modelkaart: een MoE-model kan veel meer totale parameters hebben dan het activeert voor één token, maar de on-device opslagvereisten zijn niet beperkt tot die actieve parameters. Verschillende tokens selecteren verschillende experts in verschillende lagen, en het apparaatgeheugen kan ze vaak niet allemaal bevatten.

• Moondream 3 Preview — 9B totaal, 2B actief. 24 lagen, de eerste vier dense, de rest MoE feed-forward-blokken met 64 experts en 8 per token geactiveerd. Verborgen dimensie 2048, GeGLU inner/gate-dimensie 1024.

• MiniCPM-V 4.7 35B-A3B — 35B totaal, ongeveer 3B actief. De eerste MoE in de MiniCPM-V-serie. De 1B-variant in dezelfde release is dense, niet MoE, wat hieronder van belang is.

• De mismatch — deel actief door totaal en Moondream 3 Preview lijkt met een ruime marge het lichtere model. Deel bytes door bytes en MiniCPM-V 4.7 35B-A3B is degene die vier keer zoveel gewichten meetorst.

• Waarom het niets beslecht — de resident set is wat het apparaat beperkt, en de resident set ligt dichter bij het totaal dan het actieve aantal. Een 9B-MoE past niet in het geheugen waarin een 2B-dense model past, ongeacht wat de router activeert.

Dus "2B active" is een uitspraak over de rekenkracht per token. Het is geen uitspraak over het geheugen dat je nodig hebt, en het als zodanig behandelen is de meest voorkomende manier waarop teams een MoE-implementatie verkeerd dimensioneren.

OpenBMB pakte het opslagprobleem direct aan.

Het ontwerp van MiniCPM-V 4.7 kun je het beste lezen als drie technieken die precies op die kloof zijn gericht. Lookahead Expert Scheduling gebruikt voorspelling van routering over lagen heen om experts vooraf te laden die de volgende laag waarschijnlijk wil, en geeft prioriteit aan de succesvol voorgeladen experts onder degenen die de werkelijke router heeft geselecteerd — de voorspelling stuurt alleen het vooraf laden en de planning aan, terwijl de berekening nog steeds de oorspronkelijke token-level routering van het model volgt en elke vereiste expert die de voorspelling heeft gemist, wordt geladen en geëvalueerd zoals gebruikelijk. Fijnmazige kwantisering per laag verkleint de opslagvoetafdruk en het geheugenverkeer van expertgewichten. DSpark speculatieve sampling is geïntegreerd in het pad op het apparaat om de decodeerefficiëntie bovenop beide te verbeteren.

Het opgegeven resultaat is 13-plus tokens per seconde met ongeveer 3 GB geheugen op een iPhone 17 Pro Max, wat OpenBMB beschrijft als het eerste open-source MoE-model dat soepel on-device draait zonder in te leveren op prestaties. De vergelijking die het maakt is expliciet en het is de moeite waard die te zien voor wat ze is: in Instruct-modus behaalt MiniCPM-V 4.7 35B-A3B een hogere algehele score in minder inferentietijd dan Qwen3.6 35B-A3B. Dat is een door de leverancier gerapporteerde claim in dezelfde grootteklasse, en het is de nuttigere soort, omdat beide modellen op dezelfde meetopstelling worden gemeten.

De rest van het deploymentverhaal is ongewoon breed. iOS, Android en HarmonyOS worden ondersteund, met day-0-ondersteuning voor chipplatforms van Rockchip, Houmo, Intel, AMD en Arm. Inference draait op SGLang, vLLM, llama.cpp en Ollama; fine-tuning op SWIFT en LLaMA-Factory. GGUF-, BNB-, AWQ- en GPTQ-kwantisaties worden meegeleverd, plus FP8. De 1B-variant is opnieuw een aparte propositie — dense, geen MoE — en OpenBMB positioneert hem als een model dat MiniCPM-V 4.6 blijft overtreffen en tegelijk Qwen3.5 0.8B substantieel voorbijstreeft op zowel de totaalscore als de inferentie-efficiëntie, wat de eerlijke vergelijking is voor een model onder 1B.

Het antwoord van Moondream was om de hardware te verplaatsen, niet de gewichten.

Moondream probeerde geen 9B MoE op een telefoon te laten passen. Het behield de architectuur en veranderde waar deze draait: Photon, de inference-engine, compileert elk model tot één GPU-programma met aangepaste kernels, en draait lokaal op NVIDIA-GPU's vanaf Ampere en op Apple Silicon-Macs, met dezelfde API als Moondream Cloud.

Dit is een verdedigbare strategie en de overname-aankondiging van Prime Intellect zegt waarom het aantrekkelijk was: het team van Moondream bouwde Photon en de megakernel-compiler erachter, en het argument van Prime om het bedrijf te kopen is dat het serveren, niet de architectuur, bepaalt hoe nuttig een model is. De doorvoercijfers in dat bericht — meer dan 60 Moondream-inferenties per seconde op een enkele H100, antwoorden in tientallen milliseconden, Moondream 3.1 met 34 verzoeken per seconde — zijn van Prime zelf en zijn nu verkoopmateriaal, dus label ze dienovereenkomstig. Maar de richting is ondubbelzinnig: de gok van Moondream was dat je liever een snel GPU-ondersteund model hebt dan een model ter grootte van een telefoon.

Er is een tweede verschil, en het staat helemaal niet in de modelkaart. De gehoste endpoint van Moondream 3 Preview, Moondream Cloud, wordt na de overname op 13 november 2026 stopgezet, waarbij niet-bestede gekochte credits worden terugbetaald. MiniCPM-V 4.7 heeft geen dergelijke afhankelijkheid, omdat het nooit in de eerste plaats een gehost product was — het is een set gewichten met een breed verhaal over implementatie op het apparaat zelf. Als je evaluatie het gemak van het aanroepen van een endpoint omvatte, dan verloopt dat gemak aan één kant van deze vergelijking.

Taakcapaciteit: de twee kaarten zijn eerlijk over verschillende dingen.

De vier native vaardigheden van Moondream 3 Preview zijn query, caption, point en detect, die allemaal gestructureerde output retourneren, en de lanceringspost zet detectie en pointing voorop. De query-vaardigheid draait standaard in reasoning-modus, met een gedocumenteerde reasoning=False-flag voor eenvoudige vragen, en de reasoning-traces zijn gegrond — ze verwijzen naar specifieke delen van de afbeelding, daarom noemt Moondream het visueel redeneren met grounding in plaats van redeneren in het algemeen. De context bedraagt 32K tokens, tegen ongeveer 2K in de vorige generatie, met een aangepaste SuperBPE-tokenizer; de lanceringspost is openhartig dat post-training het lange venster niet volledig benut en dat de volledige 32K er vooral is voor fine-tuning.

De kaart van MiniCPM-V 4.7 is in plaats daarvan toonaangevend op het gebied van efficiëntie en breedte: begrip van één afbeelding, meerdere afbeeldingen en video, met gemengde 4x/16x visuele-tokencompressie waarmee je per taak visuele details kunt afwegen tegen inferentiekosten, en vroege intra-ViT-compressie van LLaVA-UHD v4 die de berekening in de latere encoderlagen vermindert. Het biedt ook een fine-tuningmethode — Self-Replay Fine-Tuning, gericht op het goedkoop uitbreiden van de mogelijkheden van een model terwijl het vergeten van wat het al wist wordt verminderd.

• Grounded detectie en aanwijzen — Moondream 3 Preview: native vaardigheden in de architectuur, gestructureerde coördinaten, grounded redeneersporen. MiniCPM-V 4.7: multi-image- en videobegrip zijn de genoemde sterke punten; de kaart zet niet in op open-vocabularydetectie.

• Video — MiniCPM-V 4.7 ondersteunt video-invoer, met een gedocumenteerd voorbeeld met 128 frames. De kaart van Moondream 3 Preview documenteert beeldvaardigheden met caching van beeldcodering voor herhaalde query's op hetzelfde beeld.

• Beheersbaar detail — MiniCPM-V 4.7: een downsample_mode-parameter, standaard 16x en 4x voor fijner detail, per aanroep gekozen. Moondream 3 Preview: multi-crop-kanaalconcatenatie in de vision-encoder, waarbij de lanceringspost opmerkt dat de encoder kan struikelen over zeer kleine lettertypes.

• Licentie — MiniCPM-V 4.7: Apache 2.0, beide varianten. Moondream 3 Preview: Business Source License 1.1 met een Additional Use Grant, die commercieel en productiegebruik toestaat en het aanbieden van algemeen inzetbare gehoste Moondream verbiedt. Moondream 3.1 is overgestapt op de Moondream Model License 1.0 met dezelfde kernbeperking, helderder geformuleerd.

De licentieregel is geen voetnoot voor deze vergelijking. Als je van plan bent het model voor andere mensen te hosten, vormen Apache 2.0 en Moondreams source-available-voorwaarden niet in de verste verte hetzelfde uitgangspunt, en dat geldt ongeacht welke van de twee beter presteert op jouw taak.

Fine-tuning is waar beide kaarten naartoe wijzen, om tegenovergestelde redenen.

Beide leveranciers vertellen je dat het basismodel niet het product is, wat verfrissend is en ook een hint vormt naar waar de waarde zit.

De launchpost van Moondream noemt trainbaarheid als een van de vier doelen, op grond van het feit dat echte visiontaken specialisatie vereisen — het interpreteren van een röntgenfoto, mensen in nood in een menigte opsporen — en dat zelfs mensen daarvoor training nodig hebben. Het bedrijf bracht hiervoor Lens uit, en de lancering van Moondream 3.1 ging verder: de gepubliceerde 3.1-benchmarkscores werden geproduceerd door via Lens per taak LoRA's te fine-tunen op de eigen trainingssplit van elke benchmark, en vervolgens wat ze leerden terug te vouwen in de basisgewichten via on-policy distillatie, zodat het downloadbare checkpoint goed scoort zonder tuning. Dat is het waard om twee keer te lezen. Het is een legitieme workflow en een ongewoon transparante onthulling, en het betekent ook dat die cijfers geen koude out-of-the-box-cijfers zijn — de betreffende taken kregen hun trainingssplits aan het model gevoerd.

Het equivalent van OpenBMB is Self-Replay Fine-Tuning, gericht op een ander probleem: op goedkope wijze capaciteit toevoegen zonder bestaande capaciteit te vergeten. De belangrijkste claim ervan gaat over behoud in plaats van piekscore.

Als je een van beide modellen gaat fine-tunen, is het praktische verschil hetzelfde verschil dat door deze hele vergelijking heen loopt. Het pad van Moondream gaat uit van een GPU en een gehoste service. Dat van MiniCPM-V 4.7 gaat ervan uit dat je kunt fine-tunen op de frameworks die je al gebruikt en vervolgens kunt implementeren op de apparaten die je al op het oog hebt, met een gepubliceerd verhaal over kwantisatie op het apparaat om het daar te brengen.

Waar een routeringslaag zijn plaats verdient

Geen van beide modellen hier wordt via OrcaRouter aangeboden — het zijn beide open-weight checkpoints die je zelf host, en een van beide verliest volgende maand zijn gehoste endpoint. Daardoor is de interessante vraag juist degene die beide kaarten ontwijken: wat gebeurt er met de verzoeken die je gekozen model slecht afhandelt?

Het standaardantwoord is een tweede model, en de standaardkosten van een tweede model zijn integratie: nog een SDK, nog een authenticatieschema, nog een retry-beleid. Het is het soort werk dat geruisloos een sprint opslokt en daarna permanent onderhoud wordt. De modelfusie van OrcaRouter bestaat voor de nauwere versie van dat probleem — een panel van modellen dat samen antwoordt op de aanroepen waar het antwoord van één model alleen niet betrouwbaar genoeg is — en de routerings-DSL voor de bredere versie, waarmee je meerdere modellen in één aanroep kunt samenstellen, zodat een goedkoop lokaal model de gemakkelijke meerderheid afhandelt en iets groters het residu voor zijn rekening neemt.

Achter één sleutel bevinden zich meer dan 200 modellen tegen de lijstprijs van de provider, zonder dat er een markup wordt toegevoegd, wat betekent dat een prijsverlaging van een leverancier je dezelfde dag bereikt in plaats van bij de volgende factureringscyclus, en failover tussen providers is automatisch wanneer een upstream verslechtert. Voor een zelfgehoste VLM zit de routeringslaag boven het model in plaats van het te vervangen. Dat is de eerlijke beschrijving van waar het past in deze vergelijking, en voor een systeem waarbij MiniCPM-V 4.7 35B-A3B op het apparaat staat en een gehost model de missers opvangt, is het het onderdeel dat voorkomt dat de twee twee systemen worden.

Welke, bepaald door de beperking die je daadwerkelijk hebt

Als het model op het apparaat moet draaien, MiniCPM-V 4.7 35B-A3B is het antwoord, en het is niet eens close. OpenBMB bouwde de hele release rond het opslagprobleem dat verhindert dat een 35B MoE op een telefoon draait — expertplanning, laagsgewijze kwantisatie, speculatief decoderen — en publiceerde het getal dat daaruit volgt: meer dan 13 tokens per seconde in ongeveer 3 GB. Niets in Moondream 3 Preview pakt dat probleem aan, omdat Moondream ervoor koos het niet te hebben.

Als er een GPU in het spel is en grounded detection de taak is, Moondream 3 Preview is het meer gespecialiseerde instrument. Native detect en point met gestructureerde coördinaten en inspecteerbare grounded reasoning-traces vormen een ander product dan een algemeen multimodaal model dat ook tekst in afbeeldingen leest, en als een mens de output beoordeelt, is de trace het kenmerk.

Als je tussen de twee moet kiezen, beslis dan niet op basis van de benchmarktabellen. Laat je eigen afbeeldingen met je eigen prompts door beide modellen gaan en beoordeel de outputs, want het enige cijfer in deze vergelijking dat contact met jouw workload zal overleven, is het cijfer dat je zelf produceert. En controleer de licentie vóór het model, want Apache 2.0 en een source-available licentie met een beperking voor gehoste diensten zijn een totaal andere beslissing — een van beide kan de evaluatie beëindigen voordat de nauwkeurigheidscijfers er nog toe doen.