UserRepGen-4B vs Gemma 4 12B: een 4B-specialist in een smal domein tegenover een 12B-generalist, en waarom de groottes liegen

Naast elkaar gezet, microsoft/UserRepGen-4B en Gemma 4 12B lijken een mismatch die al bij voorbaat vaststaat. Googles model met 11,95 miljard parameters leest tekst, afbeeldingen en audio, heeft een context van 256K tokens, gaat vergezeld van een technisch rapport en een lanceringsblog, en is sinds mei 2026 ongeveer 79.000 keer gedownload. Het model van Microsoft is een rank-64 LoRA op Qwen3.5-4B, geüpload op 14 oktober 2026 zonder enige aankondiging, en het doet precies één ding: het leest een afgerond gesprek tussen gebruiker en assistent en schrijft een JSON-beschrijving met twee velden terug van de persoon erin. Het kan geen gesprek voeren, geen vraag beantwoorden en geen afbeelding zien. Deze twee op capaciteit wegen is geen vergelijking, het is een categoriefout — en die categoriefout is juist het interessante deel, want het kleinere model is degene die een frontier-generalist verslaat in de taak waarvoor het is gebouwd.

Waar elk exemplaar eigenlijk voor is

De meest overzichtelijke manier om beide in je hoofd te houden, is dat Gemma 4 12B een assistent is en UserRepGen-4B een meetinstrument.

• Gemma 4 12B — het encoder-vrije multimodale lid van de Gemma 4-familie. Tekst, afbeelding en audio gaan erin; tekst komt eruit. Googles eigen kaart beschrijft het als "Unified", omdat het de speciale vision- en audio-encoders laat vallen die de rest van de familie gebruikt, en onbewerkte afbeeldingspatches en golfvormen rechtstreeks via lichtgewicht lineaire lagen in de embeddingruimte van de decoder projecteert. 48 lagen, een sliding window van 1.024 tokens, een vocabulaire van 262K, een context van 256K tokens. Apache 2.0, instruction-tuned varianten gepubliceerd naast de basis.

• UserRepGen-4B — een representatiegenerator. Invoer: een geautoriseerd gesprek met meerdere beurten, tot 8.192 tokens. Uitvoer: een JSON-object met een taakveld en een user_behavior-veld, beperkt tot 1.024 tokens, beoordeeld door een mens en vervolgens doorgegeven aan een afzonderlijke LLM die de gebruiker speelt in een simulatie. MIT voor Microsofts bijdrage, Apache 2.0 overgenomen van de Q​wen-ruggengraat. Alleen tekst, ondanks dat de checkpoint een vision-toren behoudt die hij nooit gebruikt.

Gemma 4 12B kan gevraagd worden te doen wat UserRepGen-4B doet — een gesprek lezen en de gebruiker erin beschrijven. Dat is precies de eerlijke manier om deze confrontatie aan te gaan, want Microsofts modelkaart meet een algemeen model dat precies dat doet, en het verliest.

Het enige reële getal dat hen verbindt

Er is geen gepubliceerde rechtstreekse vergelijking tussen deze twee, en er een verzinnen zou de gemakkelijke fout van een pagina als deze zijn. Wat de UserRepGen-4B-kaart wel publiceert, is een getrouwheidsevaluatie van 700 gesprekken op een schaal van 1 tot 10, waarbij elke generator met identieke aanroepen wordt beoordeeld. In die tabel: GPT-5.5, kant-en-klaar gebruikt als representatiegenerator, scoort 3,90 best-of-1 en 4,90 best-of-3. UserRepGen-4B scoort 4,95 en 6,02. De getrainde 4B-specialist verslaat een frontier-generalist die ordes van grootte groter is in deze specifieke taak.

Gemma 4 12B staat niet in die tabel, dus niemand weet waar het zou uitkomen. Maar de baseline waaraan het zou worden afgemeten, maakt de vorm van het antwoord duidelijk: een algemeen model dat wordt gevraagd een gebruiker te beschrijven, produceert iets wat plausibel en generiek is, en de trainingsmethode in UserRepGen-4B bestaat specifiek om daar voorbij te gaan. Een 12B zal zeer waarschijnlijk het 4B-model verslaan op algemeen redeneren en door dat model worden verslagen bij deze smalle taak.

Wat de voor de hand liggende vraag oproept waarom je Gemma 4 12B niet eenvoudigweg hetzelfde zou laten doen en één model op je schijf zou houden. Twee redenen, en de tweede is degene die ertoe doet.

Het eerste zijn de kosten op schaal. Het genereren van een representatie per gesprek is een batchtaak, en 12B parameters kosten voor dezelfde pass ongeveer drie keer zo veel als 4B parameters. Het tweede is dat de kloof in getrouwheid geen afstemmingsprobleem is — de eigen ablatiestudies van de kaart tonen aan dat gewone supervised fine-tuning op 4.64/5.68 uitkomt, terwijl zowel OPSD als GRPO, de twee reinforcement learning-methoden waar een competent team als eerste naar zou grijpen, onder dat niveau uitkomen op 4.46/5.60 en 3.57/4.59. Een algemeen model tot dit gedrag brengen is geen kwestie van een betere prompt of een zwaardere RL-run. Het is waarvoor de trainingsloop is gebouwd.

Beide zijn downloadbaar, en slechts één ervan is uitrolbaar.

Dit is waar de 4B-versus-12B-framing volledig uiteenvalt, omdat de twee releases zich aan tegenovergestelde uiteinden van het verpakkingsspectrum bevinden.

• Gemma 4 12B — een uitgebracht product met een werkend ecosysteem. Transformers-ondersteuning, een op instructies afgestemde variant, gekwantiseerde en edge-formaten die in de hele familie zijn gepubliceerd, een lanceringsblog, een technisch rapport op arXiv, en een gedocumenteerd traject van download tot serving.

• UserRepGen-4B — één enkel safetensors-bestand in bfloat16-indeling van 9.078.620.536 bytes. Geen GGUF, geen ONNX, geen MLX, geen enkele vorm van kwantisering. De kaart zegt het rechtstreeks: "Er zijn momenteel geen geoptimaliseerde of apparaatspecifieke formaten beschikbaar."

Dat verschil is niet toevallig. Gemma 4 12B is gebouwd om door anderen te worden gedraaid, en de elf en een half miljard parameters worden als een product uitgeleverd. UserRepGen-4B is gebouwd om een resultaat voor een paper te produceren, en de kaart ervan zegt nog steeds dat de citatie "in afwachting van bevestiging" is en verwijst naar het authenticeren "terwijl de repository privé is" — een regel die is overgebleven van een gefaseerde upload die niet is bijgewerkt. De een is af; de ander is af genoeg.

Als je eigenlijk een Gemma 4 via een API wilde

Het is de moeite waard om het ronduit te zeggen, want daar zit in de praktijk het merendeel van de lezers van een Gemma-vergelijking: OrcaRouter serveert Gemma 4 12B niet — er is geen modelpagina daarvoor in onze catalogus — en het serveert UserRepGen-4B ook niet. Twee andere leden van dezelfde Gemma 4-familie staan wel in de catalogus, en beide vermelden de lijstprijs van de provider zonder dat er iets bij komt: Gemma 4 26B A4B, de 25,2B mixture-of-experts-uitvoering met 3,8B actieve parameters over een context van 262.144 tokens, tegen $0,06 per miljoen inputtokens en $0,33 per miljoen outputtokens; en Gemma 4 31B, de dense 30,7B multimodale uitvoering, tegen $0,13 en $0,38. Als je specifiek de 12B voor lokaal werk wilde, is de download het antwoord en geen enkele API verandert dat.

Voor de simulatiekant is de eerlijke positie dezelfde. UserRepGen-4B is een checkpoint en een promptbestand — je draait het zelf, in je eigen omgeving, op gesprekken die je gemachtigd bent te verwerken. Het zou handig zijn als dat een aanroep naar een gehost endpoint was. Dat is vandaag niet het geval, niet bij ons en nergens anders.

Welke moet ik downloaden?

Als je een kleine multimodale assistent nodig hebt die documenten leest, naar audio luistert en op een laptop vragen beantwoordt, is Gemma 4 12B de aangewezen keuze, en de vergelijking met UserRepGen-4B is niet eens dicht genoeg in de buurt om relevant te zijn. Als je een gebruikerssimulator bouwt en je huidige aanpak is om een algemeen model te prompten om de gebruiker te beschrijven, is UserRepGen-4B het enige hier dat daarvoor is getraind, en het bewijs — door de leverancier gerapporteerd, afkomstig uit één lab, en steeds beoordeeld door GPT-5.4 mini — zegt dat de training het prompten verslaat. Wat het beeld zou veranderen, is de paper, of één onafhankelijke evaluatie van die 4,95 van buiten Microsoft. Geen van beide bestaat nog, en beide zijn het wachten waard voordat iemand een werkende pipeline ermee vervangt.

Vergelijkingen zoals deze zijn ook waar de faalmodi aan het licht komen: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze categorie zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistingsmarkering bevat.