MiniCPM-V 4.7 vs Gemma 4 12B: Den ena levererar benchmarkresultat, den andra levererar en bild av dem

Öppna modellkortet för MiniCPM-V 4.7 och scrolla till utvärderingsavsnittet. Där hittar du tre bilder: ett frontier-diagram över prestanda kontra inferenstid, en övergripande jämförelse mellan vision och språk samt en övergripande språkjämförelse. Du hittar ingen tabell. Öppna nu kortet för Gemma 4 12B och scrolla till samma ställe. Där hittar du MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision och en felprocent för dokumentparsning, var och en med en siffra som du kan kopiera till ett kalkylblad. Båda modellerna har öppna vikter, båda är Apache 2.0 och båda positioneras som multimodala modeller som ryms på hårdvara du äger – och bara en av dem låter dig kontrollera dess arbete. De dokumenterade AI-misslyckandena och agentincidenterna bakom lanseringar som den här samlas i OrcaRouter AI Incident Archive där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omtvistad status.

Den asymmetrin är den egentliga jämförelsen. MiniCPM-V 4.7, som släpptes av OpenBMB den 12 oktober 2026, och Gemma 4 12B, som släpptes av Google DeepMind den 3 juni 2026, är inte samma slags objekt, och skillnaden är inte storleken. Det handlar om hur mycket av sitt eget påstående varje leverantör är beredd att sätta i text.

Vad varje leverantör kommer att säga till dig, i siffror

Gemma 4 12B:s modellkort publicerar sina resultat mot fem syskonmodeller och en föregångare, med utvärderingsramverket namngivet per benchmark. Specifikt för 12B Unified-varianten rapporterar leverantören 77,2 på MMLU Pro, 77,5 på AIME 2026 utan verktyg, 72,0 på LiveCodeBench v6, 78,8 på GPQA Diamond, ett Codeforces-ELO på 1659, 69,0 på Tau2 i genomsnitt över tre körningar, 83,4 på MMMLU och — siffran som mest ärligt ramar in vad en 12B-modell är — 5,2 på Humanity's Last Exam utan verktyg. På visionsidan rapporterar den 69,1 på MMMU Pro, 79,7 på MATH-Vision och 0,164 i genomsnittligt redigeringsavstånd på OmniDocBench 1.5, där lägre är bättre.

Det där är leverantörssiffror. Ingen oberoende part måste hålla med om dem, och för en modell som är så här brett utplacerad kommer några av dem inte att överleva kontakten med en annan testmiljö. Men de är falsifierbara, vilket är egenskapen som spelar roll. Om du får 62 på MMLU Pro i din egen utvärdering vet du att något är fel med din konfiguration eller med kortet.

MiniCPM-V 4.7:s modellkort innehåller fyra numeriska påståenden i löptext och ingen benchmarktabell alls. 35B-A3B-varianten avkodar 13 eller fler tokens per sekund med cirka 3 GB minne på en iPhone 17 Pro Max. Lookahead Expert Scheduling ger en 5× snabbhetsökning på verkliga enheter. 1B-varianten slår Qwen3.5 0.8B i totalpoäng och inferenseffektivitet. Och i Instruct-läge uppnår 35B-A3B en högre totalpoäng på kortare inferenstid än Qwen3.6 35B-A3B. Allt annat – varje axel i jämförelsen – finns inuti diagrambilderna.

Det är inte oärlighet. Diagram bär information, och ett frontier-diagram är rimligen en bättre sammanfattning av en avvägning mellan hastighet och kvalitet än en tabell med poäng på olika benchmarks mätta vid olika batchstorlekar. Men ett diagram kan inte citeras, inte återhärledas och inte jämföras med en annan leverantörs diagram utan att någon läser av pixelpositioner. När den enda offentliga utvärderingen av en modell är en bild, är det korrekta förhållningssättet att betrakta modellen som omätt tills någon mäter den.

De två arkitekturerna löser olika problem

Läs förbi utvärderingsavsnitten, och designerna skiljer sig kraftigt åt, vilket är en mer användbar signal än någon enskild poäng.

Gemma 4 12B saknar encoder. Det finns inget separat visionstorn och ingen separat ljudencoder: råa bildpatcher och ljudvågformer projiceras direkt in i språkmodellens inbäddningsrymd via lätta linjära lager. Googles angivna skäl är latens och finjustering i ett enda pass – en modell, en träningskörning, alla modaliteter. Avvägningen är att företaget satsar på att en transformer med enbart decoder kan lära sig att se tillräckligt bra utan en dedikerad visuell front end. Dess egen MMMU Pro-siffra på 69,1, mot 76,9 för 31B-syskonet som faktiskt har en visionencoder på cirka 550M parametrar, tyder på att satsningen kostar något när det gäller finare visuell resonemangsförmåga.

MiniCPM-V 4.7 går motsatt väg. Den behåller ett dedikerat visionstorn – 1152 dold bredd, 27 lager, 980-pixelplattor – och lägger sin utvecklingsinsats på att göra tornet billigt. Den tidiga komprimeringen inom ViT, lånad från LLaVA-UHD v4, minskar antalet visuella tokens inuti kodaren i stället för efter den, och en blandad 4×/16× nedskalningsväxel låter anroparen välja mellan detalj och kostnad per begäran. På språksidan är 35B-A3B en blandning av 256 experter som aktiverar 8 experter per token, ordnad i ett 3:1-mönster av linjär uppmärksamhet till full uppmärksamhet över 40 lager.

Den praktiska konsekvensen av den designen är att MiniCPMs videoväg är ovanligt explicit. Modellkortet anger max_num_frames till 128, en stack_frames-parameter som komponerar delbildrutor till ett rutnät mellan huvudbildrutor, och separat vägledning för antal skivor för bilder (36) kontra video (1). Om du bygger något som läser skärminspelningar eller föreläsningsvideo är den nivån av kontroll över vad som samplas själva funktionen. Gemma 4 12B hanterar också video, som sekvenser av bildrutor, men dess modellkort dokumenterar formatet snarare än urvalsekonomin.

De rader som faktiskt avgör det

• Parametrar – 35,21B totalt, 8 av 256 experter aktiva, plus en tät syskonmodell på 1,55B jämfört med 11,95B tät

• Indatamodaliteter — text, bild, video, där OCR och PDF-tolkning anges särskilt, jämfört med text, bild, video och inbyggt ljud

• Kontext — 262,144 tokens mot 262,144 tokens på 12B, 128K på E-seriens syskonmodeller

Licens — Apache 2.0, vikter nedladdningsbara vs Apache 2.0, vikter nedladdningsbara

• Publicerad utvärdering – frontier- och jämförelsediagram, fyra påståenden i löptext mot en fullständig numerisk tabell för åtta syskonmodeller

• Oberoende utvärdering – ingen Artificial Analysis-post för någon av 4.7-varianterna vid tidpunkten för detta skrivande, jämfört med en Artificial Analysis-sida med intelligensplacering och genomströmning

• Minne vid BF16 – ungefär 70 GB vikter för 35B-A3B, cirka 3,1 GB för 1B jämfört med ungefär 24 GB

Kvantiserade format som levereras – GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 jämfört med den uppströms checkpointen samt community-GGUF- och QAT-byggen från G​oogle och tredje parter

• Serveringsvägar som namnges av leverantören — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, med ett bredare ekosystem som tillhandahålls av communityn

• Berättelsen om körning på enheten – iOS-, Android- och HarmonyOS-appar samt stöd från dag 0 för Rockchip, Houmo, Intel, AMD och Arm, jämfört med en design optimerad för bärbara datorer och konsument-GPU:er

Tre arbetsbelastningar, tre svar

Skärm- och dokumentförståelse i stor skala. Det är här MiniCPM-V 4.7:s design är inriktad och där dess dokumentation är starkast. Läget med 4× nedskalning, inställningen med 36 skivor, OCR- och PDF-tolkningsexemplen i kokboken samt de uttryckliga styrningarna för bildruteurval i video beskriver alla en pipeline för att omvandla renderat innehåll till strukturerad text. Gemma 4 12B är också trovärdig här – dess redigeringsavstånd på 0,164 i OmniDocBench är ett verkligt mått för dokumenttolkning – men leverantörens kort behandlar dokumenttolkning som en förmåga bland många snarare än som den organiserande principen.

Allt som behöver höra. Gemma 4 12B tar emot ljud inbyggt, med CoVoST på 38.5 och FLEURS på 0.069 i sitt modellkort. MiniCPM-V 4.7 gör det inte. OpenBMB:s ljudarbete ligger i den separata MiniCPM-o-serien, och 4.7-kortet listar ingen ljudmodalitet alls. Om din indata innehåller tal är jämförelsen över innan den ens börjat – den ena modellen behöver ett transkriberingssteg framför sig och den andra inte.

Ett enda konsumentgrafikkort med en fast budget. Gemma 4 12B i 4-bit får plats under 8 GB och lämnar utrymme för kontext; 35B-A3B i 4-bit får inte plats på ett konsumentgrafikkort, och dess eget modellkorts prestandaberättelse handlar om telefoner som håller 3 GB resident, inte om ett grafikkort med 70 GB expertvikter att sidväxla. Om begränsningen är "ett kort du redan äger" är 12B svaret och 1B-varianten är den enda MiniCPM som gäller.

Gapet som en köpare bör prissätta

Båda modellerna är gratis att ladda ner, så licensraden är ett oavgjort läge och den verkliga kostnaden är allt som kommer efter den. För Gemma 4 12B har ekosystemet haft fyra och en halv månad att komma ikapp: kvantiserade byggen från Google själva, GGUF-konverteringar från communityn, QAT-checkpoints och oberoende indexering som låter dig jämföra den med hundra andra modeller på samma skala. För MiniCPM-V 4.7 befinner du dig åtta dagar in i en ny arkitektur – en ny model_type, en ny attention-layout, en lägsta Transformers-version – och leverantörens eget modellkort inleds med en notis om att CUDA-versionsmismatcher bryter videodekodning via torchcodec.

Det är inte en kritik av modellen. Det är den sedvanliga kostnaden för att införa vad som helst under dess första fjorton dagar, och det är anledningen till att en tyst lansering med en utvärdering som enbart bygger på ett diagram är en dålig kandidat för en produktionsväg och en bra kandidat för ett sida-vid-sida-test. Sättet att göra det testet billigt är att låta den befintliga lösningen fortsätta betjäna medan du utvärderar nykomlingen, vilket är ett routingproblem snarare än ett modelleringsproblem.

OrcaRouter kör över 200 värdbaserade modeller bakom en enda OpenAI-kompatibel slutpunkt med 0 % påslag, leverantörens listpris som skickas rakt igenom, så kostnaden för att prova en andra modell är en konfigurationsändring snarare än ett andra avtal. Dess routing-DSL kan hålla en primär och en reserv i ett enda anrop, och automatisk failover håller den primära vägen vid liv när en leverantör har en dålig timme. Täckningsnoteringen är det viktiga här: vår katalog innehåller Gemma 4 26B-A4B och Gemma 4 31B, inte den här 12B, och den har inte MiniCPM-V 4.7 alls. Båda modellerna som den här artikeln handlar om är checkpoints som du kör själv – routern är det som ligger runt dem, inte ett sätt att anropa dem.

Vad skulle avgöra det?

Jämförelsen är för närvarande obalanserad på ett sätt som är lätt att konstatera och lätt att åtgärda. Gemma 4 12B har siffror som man kan diskutera. MiniCPM-V 4.7 har påståenden som man bara kan acceptera eller förkasta: 13 tokens per sekund, 3 GB, 5× snabbare, bättre än en namngiven konkurrent på en icke namngiven övergripande poäng. Vart och ett av dessa skulle vara mer användbart som en rad i en tabell, och OpenBMB är uppenbarligen kapabelt att ta fram en sådan – familjens tidigare kort innehöll standardiserade benchmark-tabeller.

Den användbara hållningen är alltså medvetet asymmetrisk. Om du behöver fatta ett beslut den här veckan är Gemma 4 12B modellen vars beteende du kan förutsäga utifrån publicerade siffror, och dess ljudstöd är en förmåga som inget mått av tålamod kan tillföra MiniCPM-V 4.7. Om du bygger för telefoner, för HarmonyOS, för ett Rockchip-kort eller för att läsa av skärmar och dokument där 4×-nedsamplingsbanan är exakt rätt, är tekniken i MiniCPM-V 4.7 mer specifik för ditt problem än något Google har levererat i den här storleken – och den saknade tabellen är ett skäl att mäta den själv snarare än ett skäl att avfärda den.

En sista sak som är värd att sägas rakt ut, eftersom det är den del som inte passar in i någon av leverantörernas inramning. Ingen av dessa modeller konkurrerar om samma köpare som ett frontier-API. De konkurrerar med beslutet att inte köra en modell lokalt alls. Gemma 4 12B:s starkaste argument är att fyra månaders ekosystem innebär att den tråkiga vägen fungerar; MiniCPM-V 4.7:s starkaste argument är att en 1B-modell på 3 GB körs någonstans dit en 12B inte kan nå. Välj begränsningen först, sedan modellen – benchmarktabellen, när den väl kommer, kommer bara att ordna om modeller inom en kategori som du redan har valt.