MiniCPM5-2B vs Gemma 4 12B: Rankningsledaren under 4B vs Googles 12B-generalist

Lanseringsmaterialet för MiniCPM5-2B innehåller en mening som låter som att den avgör alla diskussioner innan de ens har börjat: vid World Artificial Intelligence Conference den 19 juli kallade ModelBest och OpenBMB modellen för den högst rankade modellen under 4B parametrar på Artificial Analysis topplista, och dess öppna vikter har nu i tysthet publicerats på Hugging Face. Gemma 4 12B är Googles svar från en helt annan viktklass — en tät multimodal generalist på 11,95B parametrar utan encoder, släppt den 3 juni, som tar emot text, bild, ljud och video som indata och som communityt redan har kört i månader. Att jämföra dem är inte en övning i att ställa specifikationer mot varandra; det är ett beslut om vilken typ av enhet du riktar in dig på, eftersom en modell som leder sin storleksklass och en modell som helt enkelt är större besvarar olika hårdvarufrågor.

Tajmingen är anledningen till att den här jämförelsen finns överhuvudtaget. MiniCPM5-2B visades på WAIC i juli som en produkt – en berättelse om chipet lika mycket som om modellen, med nio siliconpartners från start i sin FlagOS-community – och vikterna utlovades ”inom en snar framtid”. Sju veckor senare dök openbmb/MiniCPM5-2B-repot upp på Hugging Face (OpenBMB:s ändringslogg daterar releasen till den 7 september), under Apache-2.0, utan åtkomstspärr, med BF16-checkpointen, GGUF, MLX, GPTQ, bas- och SFT-checkpoints och träningsdatamängderna – allt i samma samling. Inget pressmeddelande, inget lanseringsevent. I skrivande stund är modellkortet själva tillkännagivandet, och ingen oberoende benchmarkkörning har ännu publicerats – allt kvantitativt om 2B-modellen nedan är antingen ModelBest:s egen reproduktion eller hämtat från den Artificial Analysis-snapshot som citeras. Gemma 4 12B lanserades däremot genom Googles sedvanliga maskineri och har laddats ner miljontals gånger. Denna evidenslucka är en del av jämförelsen, inte en fotnot till den.

Vad förändrades just på varje sida

MiniCPM5-2B är den andra modellen i MiniCPM5-serien, efter MiniCPM5-1B som OpenBMB släppte med öppen källkod den 19 maj. Modellkortet beskriver en tät transformer med totalt 2 516 756 480 parametrar (1 981 982 720 non-embedding-parametrar – den siffra som gör att modellen klassas som ”2B-klass”), 42 lager med en hidden size på 2048, grouped-query attention med 16 query heads och endast 2 KV heads, samt ett vokabulär på 130 560. Det är en ren LlamaForCausalLM-arkitektur – modellkortet slår fast att varken anpassade kernels eller en fork av modellkoden behövs – och hela checkpointen levereras som en enda BF16-safetensors-shard. Det intressanta designvalet ligger i post-träningen: SFT på 400 miljarder tokens med deep-thinking-data, följt av On-Policy-destillation som destillerar sexton RL-expertmodeller – fem av dem agentiska – till ett enda litet tätt nätverk. Modellkortet tillskriver RL + OPD en genomsnittlig förbättring på 10,96 poäng på resonemangs- och allmänna uppgifter och 6,96 poäng på agentiska sådana – interna deltan, men de förklarar formen på den här modellen: en 2B byggd för att vara en agent på enheten, som nativt genererar XML-liknande verktygsanrop.

Gemma 4 12B intar en annan position i Googles modellutbud. Den är mellanbarnet i G​emma 4-familjen — ovanför de edge-fokuserade E2B- och E4B-modellerna, nedanför 26B MoE och 31B-frontiern — och den är den enda medlemmen som är byggd på en encoderfri design: råa bildpatchar och ljudvågformer projiceras direkt in i tokenrymden, så en enda tät modell hanterar text-, bild-, ljud- och videoinmatning utan ett separat encoder-torn att servera. Den erbjuder ett kontextfönster på 256K, verktygsanrop direkt ur lådan, ett valfritt resonemangspass och draftmodeller för multi-token-prediktion som accelererar avkodningen inifrån checkpointen. Den är Apache-2.0-licensierad, praktisk på hårdvara i 16GB-klassen (cirka 8GB med 4-bitars kvantisering), och dess Hugging Face-sida visar miljontals nedladdningar i månaden.

Rankningsanspråket, och den storleksklass som det utelämnar.

ModelBests rubrik för MiniCPM5-2B är ett Artificial Analysis Intelligence Index på 17, först bland modeller under 4B parametrar vid lanseringen. Två förbehåll hör hemma intill. Poängen återspeglar AAs v4.1-ögonblicksbild och är inte direkt jämförbar med indexvärden från tidigare ögonblicksbilder, och den är en siffra från lanseringstillfället som leverantören angav före någon oberoende omkörning. Den ärliga läsningen är snävare och fortfarande imponerande: vid sin release, enligt AAs dåvarande metodik, ledde denna 2,5B-modell hela sin storleksklass. Gemma 4 12B förekommer inte i den klassen, och på Artificial Analysis egna sidor idag indexerar den högre – runt 22 för reasoning-varianten och 13 för den icke-reasoning instruct-modellen, båda "väl över genomsnittet" för sin referensgrupp. Index från olika ögonblicksbilder går inte rent att ställa mot varandra, så betrakta det som riktning, inte precision: 12B-generalisten testar som den mer kapabla modellen, och 2B-modellen testar som den mest kapabla i sin storlek. Det är olika påståenden, och båda kan vara sanna.

Resultattavlan, ärligt märkt.

Läs dessa rader med sourcing i åtanke — MiniCPM5-2B:s siffror är ModelBest-kortets påståenden, en vecka gamla och ej reproducerade; Gemma 4 12B:s är Google-rapporterade och länge exponerade för gemenskapens användning.

• Storlek — MiniCPM5-2B: 2.52B totalt / 1.98B icke-inbäddning, tät. Gemma 4 12B: 11.95B, tät.

• Modalitet — MiniCPM5-2B: endast text. Gemma 4 12B: text-, bild-, ljud- och videoinmatning, encoderfri.

• Kontext — MiniCPM5-2B: 131,072 tokens i den medföljande konfigurationen. Gemma 4 12B: 256K nativt (vissa serveringskonfigurationer låser till 128K).

• Språk — MiniCPM5-2B: engelsk- och kinesiskcentrerat kort och data. Gemma 4 12B: 140+ språk.

• Släpp — MiniCPM5-2B: tillkännagavs den 19 juli 2026; vikterna publicerades den 6–7 september, tyst. Gemma 4 12B: lanserades den 3 juni 2026, med fullständiga lanseringsevalueringar.

• Bevis — MiniCPM5-2B: leverantörens kort plus AA v4.1 (Index 17, #1 sub-4B); ingen oberoende körning ännu. Gemma 4 12B: utvärderingar från lanseringen samt månader av community-användning och ~3,3 miljoner nedladdningar per månad.

Resultattavlan ovan är samma porträtt i sex rader: de två modellerna är oense om nästan varje dimension, och kolumnerna som avgör valet — modalitet, språk, enhetsklass — är de som inget benchmark-genomsnitt fångar.

Där 12B vinner: det som en textbaserad 2B inte kan fejka.

Börja med modalitet. Gemma 4 12B hanterar ljud, bilder och video inbyggt; MiniCPM5-2B är endast text. Alla produkter som transkriberar, tittar på en skärm eller tittar på video behöver en andra pipeline vid sidan av 2B-modellen, och då försvinner delvis fördelen med en ”liten modell”. Språk är den andra väggen: 140+ jämfört med en release som är centrerad kring engelska och kinesiska. För en produkt som betjänar en lång svans av språk är 2B-modellen inte en kandidat alls. Och så finns bevisen. Gemma 4 12B har laddats ner miljontals gånger, kvantiserats, finjusterats och använts i produktion i tre månader; dess felscenarier är dokumenterade och dess ekosystem sträcker sig över llama.cpp, Ollama, LM Studio, MLX, vLLM och SGLang. MiniCPM5-2B är ett en vecka gammalt repo vars huvudresultat – inklusive en leverantörsdriven 46,4 på SWE-bench Verified, vilket vore anmärkningsvärt för en 2,5B-tät modell om det överlever oberoende testning – inte har rörts av någon utanför labbet. Enbart på mognad är valet inte ens nära.

Där 2B är det enda alternativet

Inget av det spelar någon roll i den enhetsklass där en 12B helt enkelt inte får plats. En telefon, ett smart-cockpit-kort eller en liten edge-box med några gigabyte DRAM kan inte flytta vikterna hos en 11.95B-modell över minnesbussen i användbar hastighet – det är exakt den flaskhals som skulle kväva den. MiniCPM5-2B byggdes för den världen: vikter som får plats i enhetens minne, ett 128K-fönster för långa agentsessioner, nativt verktygsanrop utformat för interaktiv körning och anpassning från dag ett över nio chipfamiljer plus ARM. Om ditt mål är en NPU i telefonklass eller ett inbäddat kort, så konkurrerar Gemma 4 12B inte med MiniCPM5-2B; den går inte att distribuera där alls. Och om ditt mål kan bära 12B men bara precis – en bärbar dator med 16 GB – ger 2B dig marginal: snabbare latens per token, lägre strömförbrukning och möjligheten att köra en andra modell i samma fotavtryck.

Hur tar man reda på vilka anspråk som överlever?

Eftersom båda sidorna är open-weight och självhostningsbara, är det ärliga nästa steget mätning på din egen hårdvara snarare än ännu en avläsning av specifikationerna. Om du väger en MiniCPM5-2B mot en Gemma 4 12B på en arbetsbelastning du redan kör, är det också här ett routinglager visar sitt värde: att peka testvägen mot en ny självhostad checkpoint genom ett API med automatisk failover innebär att en obeprövad stack kan fastna eller loopa utan att ta ned produktionen, medan leverantörernas listpriser för vad du än jämför mot passerar vidare med 0 % påslag. Själva modellen är ett repo från igår, så utgångspunkten är att behandla den som ett experiment – men experimentet är billigt att köra, och de två timmar det tar att reproducera SWE-bench eller en del av ditt eget utvärderingsset på 2B:an är precis den bevisning den här jämförelsen saknar.

Domen

Välj Gemma 4 12B när din hårdvara har utrymme och din arbetsbelastning omfattar mer än bara text — en multimodal produkt, en flerspråkig publik, eller något där tre månader av community-beprövat beteende väger tyngre än en rankingkrona. Välj MiniCPM5-2B när din enhet inte alls kan bära en 12B, eller när en textkapabel, agentorienterad 2.5B på ett chip i telefonklass skulle låta dig lansera en produkt som en större modell gör omöjlig. {{1}}Rankingsledaren under 4B är en äkta bedrift och dess släpp med öppna vikter gör den testbar redan idag;{{/1}} den är bara, utifrån tillgängliga bevis, {{2}}inte en ersättning för en 12B-generalist{{/2}} {{3}}varhelst en 12B faktiskt kan köras.{{/3}}