UserRepGen-4B vs Qwen 3.8: Een zeven maanden oude 4B-fine-tune tegenover Alibaba's huidige vlaggenschip

Begin met het feit dat deze combinatie vreemd maakt. microsoft/UserRepGen-4B, geüpload op 14 oktober 2026 zonder aankondiging, is een fine-tune van Qwen3.5-4B — het checkpoint van februari 2026, een volledige generatie achter op het model waarmee het hier wordt vergeleken. Qwen 3.8 is de generatie van Alibaba uit augustus 2026, en tot de aangeboden modellen behoren Qwen3.8-Max, het vlaggenschip tegen $2,00 per miljoen inputtokens en $6,00 per miljoen output over een context van een miljoen tokens, Qwen3.8-27B tegen $0,33 en $2,40 over 262.144 posities, en Qwen3.8-Flash tegen $0,15 en $0,47. Microsoft keek naar die familie en ging één generatie terug voor een 4B-basis. Daarna publiceerde het een tabel waaruit bleek dat het resulterende model GPT-5.5 verslaat op het enige waarin het uitblinkt. Die combinatie is het hele artikel: wat een gerichte fine-tune je oplevert dat een nieuwer vlaggenschip niet biedt, en wat het je kost om dat te krijgen.

Ten eerste, waar "Qwen 3.8" een naam voor is

De moeite waard om vast te stellen vóór elke vergelijking, want de familienaam omvat verschillende zeer uiteenlopende artefacten en de prijzen lopen meer dan dertienvoudig uiteen. De drie leden die worden bediend, zijn degenen die van belang zijn voor een beslissing:

• Qwen3.8-Max — het vlaggenschip, native multimodaal voor tekst, beeld en video, 1M-token context, geleverd in drie wire-formats, waaronder een Anthropic-compatibel formaat. Het premiumniveau, voor wanneer correctheid bij moeilijke problemen zwaarder weegt dan kosten.

• Qwen3.8-27B — het open-weight dense model onder Apache 2.0, context van 262.144 tokens, met tekst-, afbeeldings- en video-invoer. Alibaba's eigen modelkaart vermeldt 90,3 op LiveCodeBench v6, 89,2 op GPQA Diamond, 84,3 op OSWorld-Verified en 79,0 op QwenSWEBench — door de leverancier gerapporteerde cijfers, niet onafhankelijk gereproduceerd.

• Qwen3.8-Flash — het volumesegment, 1M-token context, geprijsd voor de korte taak die een miljoen keer wordt uitgevoerd. Er is ook een gedateerde Qwen3.8-Max (0902)-snapshot in de catalogus tegen dezelfde tarieven, die je vastpint wanneer je reproduceerbaar gedrag nodig hebt in plaats van de bewegende voorhoede.

Niets daarvan is nieuws, en deze pagina doet geen verslag van een Qwen-lancering. De generatie is vijf maanden oud. Het staat hier omdat het de nieuwere, grotere, beter gebenchmarkte kant van de vergelijking is, en omdat de interessante bewering alleen zin heeft tegenover iets dat zo sterk is.

De bewering, precies geformuleerd

De modelkaart van Microsoft rapporteert een getrouwheidsevaluatie over 700 achtergehouden gesprekken, beoordeeld van 1 tot 10 door een LLM-rechter, waarbij elke representatiegenerator op dezelfde simulatelus wordt aangesloten:

• Qwen3.5-4B, de onaangeroerde backbone — 3.41 best-of-1, 4.42 best-of-3.

• GPT-5.5, standaard geprompt om de gebruiker te beschrijven — 3,90 en 4,90.

• UserRepGen-4B, na online gesuperviseerde fine-tuning via hindsight-distillatie — 4,95 en 6,02.

Elk getal is van Microsoft zelf, beoordeeld door GPT-5.4 mini, en niets ervan is buiten het lab gereproduceerd. Lees het als een richtinggevende bewering, niet als een vaststaand resultaat. Maar de richting is ondubbelzinnig en het gaat niet om het aantal parameters: de trainingsmethode verhoogde de backbone met 1,54 punten op best-of-1, en die overtrof onderweg een frontier-generalist. De bedoelde interpretatie is niet "kleine modellen verslaan grote modellen" — maar dat een 4B-basismodel uit februari, hard gefinetuned op één smal gedrag, een veel groter model kan verslaan dat alleen maar gevraagd werd dat gedrag te vertonen.

Qwen3.8-Max staat niet in die tabel. Het zou vermoedelijk beter presteren dan GPT-5.5 deed, omdat het een sterker algemeen model is. Het zou nog steeds moeten gissen naar het gedrag, omdat niets in zijn training daarvoor was geoptimaliseerd.

Waarom een zeven maanden oude basis de juiste keuze was

De generatiekloof lijkt op een fout totdat je uitzoekt wat de fine-tune eigenlijk van zijn backbone nodig heeft. Die heeft een model nodig dat ongeveer vloeiend is, goedkoop om te draaien, en stabiel genoeg zodat een rank-64 LoRA het kan bijsturen zonder het te vernietigen. Die heeft geen frontier reasoning nodig, want de taak is geen redeneren — het beschrijft een gesprek dat hem is aangereikt.

Twee details op de kaart bevestigen die lezing. Het eerste is het uitvoerplafond: 1.024 tokens voor de representatie, tegenover 8.192 voor het gesprek. Het tweede is het trainingsbudget — juli tot augustus 2026, twee maanden — en het feit dat de twee zwaardere methoden beide verloren. OPSD scoorde 4,46/5,60 en GRPO 3,57/4,0, beide onder gewone supervised fine-tuning op 4,64/5,68. Wanneer een goedkope methode twee dure verslaat, was de bottleneck nooit het vermogen van de backbone. Naar een 2026-flagshipbasis gaan zou een model hebben opgeleverd dat per pass meer kost om hetzelfde werk met hetzelfde plafond te doen.

Er kleeft een prijs aan die keuze, en de kaart is daar openhartig over in plaats van het te verbergen. Omdat de vision-toren met het bovenliggende checkpoint meekwam, wordt het model geladen via AutoModelForImageTextToText en draagt het beeld- en videocodepaden met zich mee die het nooit gebruikt — beeld- en video-invoer worden in deze release expliciet niet ondersteund. Je erft de bagage van de architectuur samen met de vloeiendheid ervan.

De kostenrekensom, die anders uitpakt dan mensen verwachten

De reflex is dat lokale inferentie goedkoper is. Op de schaal waarvoor dit model is ontworpen, is dat meestal niet zo, en als je de cijfers eerlijk berekent, verandert dat de beslissing. Neem een batch van 700 gesprekken — even groot als Microsofts eigen evaluatie — met ongeveer 2.000 prompttokens en 400 outputtokens per aanroep.

• Met Qwen3.8-27B tegen $0,33 en $2,40 per miljoen: ongeveer $1,13 aan totale tokenkosten voor de hele batch.

• Via Qwen3.8-Max tegen $2,00 en $6,00: ongeveer $4,48.

Daar staat tegenover dat UserRepGen-4B een download van 9,1 GB kost, een GPU met genoeg geheugen om het in bfloat16 te bevatten, en de engineering om een Python-klasse aan te sluiten. Microsoft meldt dat het is ingezet met vLLM op H100-, A100-, RTX A6000- en B200-hardware, en merkt op dat CPU-inference float32 vereist en "aanzienlijk meer geheugen dan het gewichtsbestand van ongeveer 9,1 GB". Als de enige overweging dollars per token zou zijn, wint API-toegang tot een sterker model bij dit volume, en dat scheelt enorm.

Wat betekent dat de echte redenen om UserRepGen-4B zelf te draaien, de redenen zijn die niet op een prijslijst staan: de gesprekken die je erin stopt. Op de eigen kaart staat dat je alleen gesprekken mag verwerken waarvoor je bevoegd bent, dat je eerst identificerende informatie moet minimaliseren, en dat representaties geen geanonimiseerde gegevens zijn — de gedragsbeschrijvingen van het model identificeren in 51,02% van de gevallen een persoon uit vier kandidaten, beter dan de ruwe gesprekken die ze samenvatten, die op 44,22% uitkomen. Een component die gesprekken omzet in draagbare, voor mensen leesbare profielen, is er een die je misschien binnen je eigen netwerk wilt houden, ongeacht wat een API-aanroep zou kosten.

Waar een routeringslaag in een pipeline zoals deze past

Dit is vaker een vorm met twee modellen dan een met één model: de representatiegenerator op je eigen hardware, en een algemeen model dat de assistentkant doet, het beoordelen, of de evaluatielus eromheen. De tweede helft is het deel dat via een API loopt.

Alle drie de aangeboden Qwen 3.8-leden staan op OrcaRouter tegen de listprijs van de provider, zonder dat er iets bij komt — $2.00 en $6.00 voor Max, $0.33 en $2.40 voor de 27B, $0.15 en $0.47 voor Flash — op één sleutel, met automatische failover tussen providers, zodat een judge-aanroep in een evaluatielus niet omvalt bij één enkele upstream. Als je een batch van honderden gesprekken door meerdere simulatoren en judges haalt, is die failover belangrijker dan het tarief per token, want een run die sterft bij gesprek 400 verkwist de 399 daarvoor. Met de routing-DSL kun je de assistent en de judge in één aanroep samenstellen in plaats van er twee aan elkaar te rijgen. Wat we niet doen, is UserRepGen-4B aanbieden: onze catalogus heeft er geen vermelding voor, en niets hier mag worden gelezen als een beschikbaarheidsclaim voor het Microsoft-checkpoint.

De beslissing, zonder voorbehoud

Als je een algemeen model wilt dat redeneert, codeert, afbeeldingen leest en een miljoen tokens aankan, dan pleit niets in dit artikel tegen Qwen3.8-Max — UserRepGen-4B kan geen van die dingen, en de vergelijking met een vlaggenschipmodel is er niet een die het is aangegaan. Als je een gebruikerssimulator wilt die is geconditioneerd op echt gespreksgedrag, dan is geen van de Qwen 3.8-leden daarvoor getraind, en de keuze is tussen een kleine lokale fine-tune met een gemeten voorsprong en een groot API-model zonder enige.

De open vraag is dezelfde die boven de hele release hangt: er is geen paper. Op de kaart staat dat de citatie 'in afwachting van bevestiging' is, er staat nog steeds een regel over dat de repository privé is in de gebruikssectie nadat de repository openbaar is geworden, en elk cijfer in de fidelitytabel is terug te voeren op de eigen judge van één lab. Microsoft heeft een model gebouwd dat de sterkste baseline verslaat waartegen het is getest. Of het jouw baseline verslaat, kan alleen een evaluatie die je zelf uitvoert beantwoorden.

Een fine-tune van zeven maanden oud, afgezet tegen een huidig vlaggenschipmodel, is ook een goede plek om te vragen wat eerder heeft gefaald: de gedocumenteerde AI-incidenten en agentfouten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernstniveau, betrouwbaarheidsgraad en betwist-markering bevat.