MiniCPM-V 4.7 vs Gemma 4 12B: de een levert benchmarks, de ander een afbeelding ervan

Open de modelkaart van MiniCPM-V 4.7 en scrol naar de evaluatiesectie. Je vindt er drie afbeeldingen: een frontiergrafiek van prestaties versus inferentietijd, een algemene visie-taalvergelijking en een algemene taalvergelijking. Je zult er geen tabel vinden. Open nu de kaart van Gemma 4 12B en scrol naar dezelfde plek. Je vindt er MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision en een foutpercentage voor documentparsering, elk met een getal dat je in een spreadsheet kunt kopiëren. Beide modellen zijn open-weight, beide zijn Apache 2.0, beide worden gepositioneerd als multimodale modellen die op hardware van jou passen — en slechts één ervan laat je zijn werk controleren. De gedocumenteerde AI-fouten en agentincidenten achter releases zoals deze zijn verzameld in het OrcaRouter AI Incident Archive, waarbij elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-vlag heeft.

Die asymmetrie is de eigenlijke vergelijking. MiniCPM-V 4.7, uitgebracht door OpenBMB op 12 oktober 2026, en Gemma 4 12B, uitgebracht door G​oogle DeepMind op 3 juni 2026, zijn niet hetzelfde soort object, en het verschil is niet de grootte. Het is hoeveel van hun eigen claim elke leverancier bereid is in tekst te zetten.

Wat elke leverancier je in cijfers zal vertellen

De kaart van Gemma 4 12B publiceert de scores tegenover vijf zustermodellen en een voorganger, waarbij de gebruikte evaluatieharness per benchmark wordt genoemd. Voor specifiek de 12B Unified-variant meldt de leverancier 77,2 op MMLU Pro, 77,5 op AIME 2026 zonder hulpmiddelen, 72,0 op LiveCodeBench v6, 78,8 op GPQA Diamond, een Codeforces ELO van 1659, 69,0 op Tau2 gemiddeld over drie runs, 83,4 op MMMLU en — het cijfer dat het eerlijkst weergeeft wat een 12B-model is — 5,2 op Humanity's Last Exam zonder hulpmiddelen. Aan de visiekant meldt het 69,1 op MMMU Pro, 79,7 op MATH-Vision en een gemiddelde editafstand van 0,164 op OmniDocBench 1.5, waarbij lager beter is.

Dat zijn leverancierscijfers. Niemand die onafhankelijk is, hoeft het ermee eens te zijn, en bij een model dat zo breed is uitgerold, zullen sommige ervan geen stand houden bij contact met een andere harness. Maar ze zijn falsifieerbaar, en dat is de eigenschap die ertoe doet. Als je met je eigen evaluatie 62 haalt op MMLU Pro, weet je dat er iets mis is met je opstelling of met de kaart.

De kaart van MiniCPM-V 4.7 bevat vier numerieke beweringen in proza en helemaal geen benchmarktabel. De 35B-A3B-variant decodeert met 13 of meer tokens per seconde en gebruikt ongeveer 3 GB geheugen op een iPhone 17 Pro Max. Lookahead Expert Scheduling levert een 5× snelheidsverbetering op echte apparaten. De 1B-variant verslaat Qwen3.5 0.8B op de totale score en de inferentie-efficiëntie. En in Instruct-modus bereikt 35B-A3B een hogere totale score in minder inferentietijd dan Qwen3.6 35B-A3B. Al het andere — elke as van de vergelijking — staat in de plotafbeeldingen.

Dat is geen oneerlijkheid. Grafieken bevatten informatie, en een frontier-grafiek is misschien wel een betere samenvatting van een afweging tussen snelheid en kwaliteit dan een tabel met scores op verschillende benchmarks, gemeten bij verschillende batchgroottes. Maar een grafiek kan niet worden geciteerd, niet opnieuw worden afgeleid en niet met de grafiek van een andere leverancier worden vergeleken zonder dat iemand pixelposities afleest. Wanneer de enige openbare evaluatie van een model een afbeelding is, is de juiste houding om het model als ongemeten te beschouwen totdat iemand het meet.

De twee architecturen lossen verschillende problemen op.

Lees voorbij de evaluatiesecties; de ontwerpen lopen sterk uiteen, wat een nuttiger signaal is dan welke afzonderlijke score dan ook.

Gemma 4 12B werkt zonder encoder. Er is geen aparte vision tower en geen aparte audio-encoder: ruwe beeldpatches en audiogolfvormen worden via lichtgewicht lineaire lagen rechtstreeks in de embeddingruimte van het taalmodel geprojecteerd. Google's opgegeven reden is latentie en fine-tuning in één enkele pass — één model, één trainingsrun, alle modaliteiten. De keerzijde is dat het bedrijf erop gokt dat een decoder-only transformer goed genoeg kan leren zien zonder een speciale visuele front-end. De eigen MMMU Pro-score van 69,1, tegenover 76,9 voor het 31B-zusmodel dat wél over een visuele encoder van ongeveer 550M parameters beschikt, suggereert dat die gok iets kost bij fijn visueel redeneren.

MiniCPM-V 4.7 gaat de andere kant op. Het behoudt een toegewijde visietoren — 1152 verborgen breedte, 27 lagen, tegels van 980 pixels — en steekt zijn engineering in het goedkoop maken van die toren. De intra-ViT-vroege compressie, geleend van LLaVA-UHD v4, snijdt visuele tokens binnen de encoder weg in plaats van erna, en een gemengde 4×/16×-downsamplingschakelaar laat een aanroeper per verzoek kiezen tussen detail en kosten. Aan de taalkant is de 35B-A3B een mengsel van 256 experts dat 8 experts per token activeert, gelaagd in een 3:1-patroon van lineaire aandacht naar volledige aandacht over 40 lagen.

De praktische consequentie van dat ontwerp is dat het videopad van MiniCPM ongewoon expliciet is. De kaart vermeldt max_num_frames op 128, een stack_frames-parameter die subframes samenvoegt tot een raster tussen hoofdframes, en afzonderlijke richtlijnen voor het aantal slices voor afbeeldingen (36) versus video (1). Als je iets bouwt dat schermopnames of collegevideo's leest, is dat niveau van controle over wat er wordt gesampled precies de functie. Gemma 4 12B verwerkt ook video, als reeksen frames, maar de kaart documenteert het formaat in plaats van de sampling-economie.

De rijen die het daadwerkelijk beslissen

• Parameters — 35,21B totaal, 8 van 256 experts actief, plus een 1,55B dichte tegenhanger versus 11,95B dicht

• Modaliteiten in — tekst, afbeelding, video, met OCR en PDF-parsing expliciet vermeld versus tekst, afbeelding, video en native audio

• Context — 262,144 tokens vs 262,144 tokens op de 12B, 128K op de modellen uit de E-serie

• Licentie — Apache 2.0, gewichten downloadbaar vs Apache 2.0, gewichten downloadbaar

• Gepubliceerde evaluatie — frontier- en vergelijkingsgrafieken, vier prozabeweringen tegenover een volledige numerieke tabel voor acht zustermodellen

• Onafhankelijke evaluatie — geen Artificial Analysis-vermelding voor beide 4.7-varianten op het moment van schrijven versus een Artificial Analysis-pagina met intelligentiepositionering en doorvoer

• Geheugen bij BF16 — ruwweg 70 GB aan gewichten voor de 35B-A3B, ongeveer 3,1 GB voor de 1B vs. ongeveer 24 GB

• Gequantiseerde formaten geleverd — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 versus het upstream-checkpoint plus community-GGUF- en QAT-builds van G​oogle en derde partijen

• Door de leverancier genoemde servingpaden — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, met het bredere ecosysteem geleverd door de community

• On-deviceverhaal — iOS-, Android- en HarmonyOS-apps plus Rockchip-, Houmo-, Intel-, AMD- en Arm-ondersteuning vanaf dag één versus een ontwerp dat is geoptimaliseerd voor laptops en consumenten-GPU's

Drie workloads, drie antwoorden

Scherm- en documentbegrip op schaal. Dit is waar het ontwerp van MiniCPM-V 4.7 op is gericht en waar de documentatie ervan het sterkst is. De 4×-downsamplemodus, de instelling met 36 slices, de OCR- en PDF-parsing-cookbookvermeldingen en de expliciete frame-samplinginstellingen voor video beschrijven allemaal een pipeline om gerenderde inhoud om te zetten in gestructureerde tekst. Gemma 4 12B is hier ook geloofwaardig — de OmniDocBench-bewerkingsafstand van 0,164 is een echte document-parsingwaarde — maar de kaart van de leverancier behandelt documentparsing als één capaciteit onder vele in plaats van als het organiserende principe.

Alles wat gehoord moet worden. Gemma 4 12B verwerkt audio native, met CoVoST op 38,5 en FLEURS op 0,069 op zijn kaart. MiniCPM-V 4.7 doet dat niet. Het audiowerk van OpenBMB zit in de aparte MiniCPM-o-lijn, en de kaart van 4.7 vermeldt helemaal geen audiomodaliteit. Als je invoer spraak bevat, is de vergelijking bij voorbaat beslist — het ene model heeft een transcriptiestap ervoor nodig en het andere niet.

Een enkele consumenten-GPU met een vast budget. Gemma 4 12B op 4-bit past onder 8 GB en laat ruimte over voor context; de 35B-A3B op 4-bit past niet op één consumentenkaart en het prestatieverhaal van zijn eigen kaart gaat over telefoons die 3 GB resident houden, niet over een GPU met 70 GB aan expertgewichten om te pagen. Als de beperking "één kaart die je al bezit," is, dan is de 12B het antwoord en is de 1B-variant de enige MiniCPM die van toepassing is.

Het verschil dat een koper zou moeten inprijzen

Beide modellen zijn gratis te downloaden, dus de licentieregel is gelijkspel en de echte kosten zitten in alles daarna. Voor Gemma 4 12B heeft het ecosysteem vier en een halve maand gehad om bij te benen: gekwantiseerde builds van Google zelf, community-GGUF-conversies, QAT-checkpoints en onafhankelijke indexering waarmee je het op dezelfde schaal met honderd andere modellen kunt vergelijken. Voor MiniCPM-V 4.7 zit je acht dagen in een nieuwe architectuur — een nieuw model_type, een nieuwe attention-layout, een minimaal vereiste Transformers-versie — en de modelkaart van de leverancier zelf begint met een opmerking over CUDA-versiemismatches waardoor videodecodering via torchcodec stukloopt.

Dat is geen kritiek op het model. Het is de standaardheffing op het adopteren van iets in de eerste twee weken, en het is de reden waarom een stille release met alleen een evaluatie op basis van grafieken een slechte kandidaat is voor een productiepad en een goede kandidaat voor een zij-aan-zijtest. De manier om die test goedkoop te maken, is de huidige oplossing te laten blijven serveren terwijl je de nieuwkomer evalueert, wat een routingprobleem is in plaats van een modelleerprobleem.

OrcaRouter draait meer dan 200 gehoste modellen achter één OpenAI-compatibel endpoint met 0% markup, de lijstprijs van de provider wordt één-op-één doorgegeven, dus de kosten van het uitproberen van een tweede model zijn een configuratiewijziging in plaats van een tweede contract. De routing-DSL kan een primaire en een fallback in één enkele aanroep bevatten, en automatische failover houdt het primaire pad in leven wanneer een provider een slecht uur heeft. De dekkingsopmerking is hier het belangrijkste: onze catalogus bevat Gemma 4 26B-A4B en Gemma 4 31B, niet deze 12B, en bevat MiniCPM-V 4.7 helemaal niet. Beide modellen waar dit artikel over gaat, zijn checkpoints die je zelf draait — de router is wat eromheen zit, niet een manier om ze aan te roepen.

Wat zou het beslechten?

{{1}}De vergelijking is momenteel onevenwichtig op een manier die makkelijk te benoemen en makkelijk te verhelpen is. Gemma 4 12B heeft cijfers waarover je kunt discussiëren. MiniCPM-V 4.7 heeft beweringen die je alleen kunt accepteren of verwerpen: 13 tokens per seconde, 3 GB, 5× versnelling, beter dan een bij naam genoemde concurrent op een niet-genoemde totaalscore. Elk daarvan zou nuttiger zijn als rij in een tabel, en OpenBMB is duidelijk in staat er een te produceren — de eerdere kaarten van de familie bevatten standaard benchmarktabellen.{{/1}}

De nuttige houding is dus bewust asymmetrisch. Als je deze week een beslissing nodig hebt, is Gemma 4 12B het model waarvan je het gedrag kunt voorspellen op basis van gepubliceerde cijfers, en de audio-ondersteuning ervan is een capaciteit die geen enkele hoeveelheid geduld aan MiniCPM-V 4.7 zal toevoegen. Als je bouwt voor telefoons, voor HarmonyOS, voor een Rockchip-board, of voor het lezen van schermen en documenten waar het 4×-downsamplepad precies juist is, is de engineering van MiniCPM-V 4.7 specifieker voor jouw probleem dan alles wat G​oogle op dit formaat heeft uitgebracht — en de ontbrekende tabel is een reden om het zelf te meten in plaats van een reden om het af te wijzen.

Eén laatste punt dat ronduit gezegd moet worden, want het is het onderdeel dat in de framing van geen van beide leveranciers past. Geen van deze modellen dingt naar dezelfde koper als een frontier-API. Ze concurreren met de beslissing om helemaal geen model lokaal te draaien. Het sterkste argument voor Gemma 4 12B is dat vier maanden ecosysteem betekent dat het saaie pad werkt; het sterkste argument voor MiniCPM-V 4.7 is dat een 1B-model van 3 GB draait op plekken waar een 12B-model niet kan komen. Kies eerst de beperking, dan het model — de benchmarktabel zal, zodra die verschijnt, alleen maar modellen herschikken binnen een categorie die je al hebt gekozen.