UserRepGen-4B vs Qwen 3.8: En sju månader gammal 4B-finjustering mot Alibabas nuvarande flaggskepp

Börja med det faktum som gör den här kombinationen märklig. microsoft/UserRepGen-4B, uppladdad den 14 oktober 2026 utan något meddelande, är en finjustering av Qwen3.5-4B – februari 2026-checkpointen, en hel generation bakom modellen som den jämförs med här. Qwen 3.8 är Alibabas generation från augusti 2026, och dess tillgängliga medlemmar inkluderar Qwen3.8-Max, flaggskeppet till $2.00 per miljon indata-tokens och $6.00 per miljon utdata-tokens över en kontext på en miljon tokens, Qwen3.8-27B till $0.33 och $2.40 över 262 144 positioner, och Qwen3.8-Flash till $0.15 och $0.47. Microsoft tittade på den familjen och gick en generation tillbaka för en 4B-bas. Sedan publicerade de en tabell som visade att den resulterande modellen slog GPT-5.5 på det enda den gör. Den kombinationen är hela artikeln: vad en riktad finjustering ger dig som ett nyare flaggskepp inte gör, och vad det kostar dig att få den.

För det första: vad "Qwen 3.8" är namnet på

Värt att fastställa innan någon jämförelse, eftersom familjenamnet omfattar flera mycket olika artefakter och priserna spänner över mer än trettonfaldigt. De tre medlemmar som betjänas är de som har betydelse för ett beslut:

• Qwen3.8-Max — flaggskeppet, inbyggt multimodalt för text, bild och video, 1M-tokens kontext, tillhandahålls i tre wire-format, inklusive ett Anthropic-kompatibelt. Premiumnivån, för när korrekthet i svåra problem väger tyngre än kostnad.

• Qwen3.8-27B — den täta modellen med öppna vikter under Apache 2.0, kontextfönster på 262 144 token, text, bild och video som indata. Alibabas eget modellkort rapporterar 90,3 på LiveCodeBench v6, 89,2 på GPQA Diamond, 84,3 på OSWorld-Verified och 79,0 på QwenSWEBench — leverantörsrapporterade siffror, inte oberoende reproducerade.

• Qwen3.8-Flash — volymbanan, kontext på 1M tokens, prissatt för att köra den korta uppgiften en miljon gånger. Det finns också en daterad Qwen3.8-Max (0902)-ögonblicksbild i katalogen till samma priser, som du låser när du behöver reproducerbart beteende snarare än den rörliga framkanten.

Inget av detta är nyheter, och den här sidan rapporterar inte om någon Qwen-lansering. Generationen är fem månader gammal. Den finns här eftersom den är den nyare, större och bättre benchmarkade delen av jämförelsen, och eftersom det intressanta påståendet bara blir begripligt mot något så starkt.

Påståendet, exakt formulerat

Microsofts modellkort rapporterar en fidelitetsutvärdering över 700 undanhållna konversationer, betygsatta 1 till 10 av en LLM-domare, där varje representationsgenerator kopplas in i samma simuleringsloop:

• Qwen3.5-4B, den orörda ryggraden — 3,41 bäst av 1, 4,42 bäst av 3.

• GPT-5.5, promptad direkt ur lådan att beskriva användaren — 3,90 och 4,90.

• UserRepGen-4B, efter online övervakad finjustering genom efterklokhetsdestillation — 4,95 och 6,02.

Varje siffra är Microsofts egen, bedömd av GPT-5.4 mini, och inget av det har reproducerats utanför labbet. Läs det som ett riktningsanspråk snarare än ett fastställt resultat. Men riktningen är entydig och handlar inte om antalet parametrar: träningsmetoden flyttade backbone 1,54 poäng best-of-1, och den passerade en frontier-generalist på vägen. Den avsedda tolkningen är inte "små modeller slår stora modeller" – det är att en 4B-basmodell från februari, finjusterad hårt på ett enda smalt beteende, kan slå en mycket större modell som bara ombads att utföra det beteendet.

Qwen3.8-Max finns inte i den tabellen. Den skulle förmodligen göra det bättre än GPT-5.5 gjorde, eftersom den är en starkare generell modell. Den skulle fortfarande gissa sig till beteendet, eftersom inget i dess träning var optimerat för det.

Varför en sju månader gammal bas var rätt val

Generationsklyftan ser ut som ett misstag tills man räknar ut vad finjusteringen faktiskt behöver från sin basmodell. Den behöver en modell som är någorlunda flytande, billig att köra och tillräckligt stabil för att en rank-64 LoRA ska kunna flytta den utan att förstöra den. Det behöver inte frontier-resonemang, eftersom uppgiften inte är resonemang – den går ut på att beskriva en konversation den har fått.

Två detaljer i kortet bekräftar den tolkningen. Den första är taket för utdata: 1 024 tokens för representationen, mot 8 192 för konversationen. Den andra är träningsbudgeten – juli till augusti 2026, två månader – och att de två tyngre metoderna båda förlorade. OPSD fick 4,46/5,60 och GRPO 3,57/4,59, båda under vanlig övervakad finjustering på 4,64/5,68. När en billig metod slår två dyra var flaskhalsen aldrig basmodellens kapacitet. Att gå över till en 2026 års flaggskeppsbasmodell hade gett en modell som kostar mer per körning för att göra samma jobb med samma tak.

Det finns en kostnad med det valet, och kortet är uppriktigt om det i stället för att dölja det. Eftersom visionstornet följde med den överordnade checkpointen läses modellen in via AutoModelForImageTextToText och bär på kodvägar för bild och video som den aldrig använder – bild- och videoinmatning stöds uttryckligen inte i den här utgåvan. Du ärver arkitekturens bagage tillsammans med dess flyt.

Kostnadsaritmetiken, som inte går som folk förväntar sig

Reflexen är att lokal inferens är billigare. I den skala som den här modellen är designad för är det oftast inte det, och att räkna ärligt på siffrorna förändrar beslutet. Ta en batch på 700 konversationer – samma storlek som Microsofts egen utvärdering – med ungefär 2 000 prompt-tokens och 400 output-tokens per anrop.

• Med Qwen3.8-27B till $0,33 och $2,40 per miljon: cirka $1,13 i total tokenkostnad för hela batchen.

• Genom Qwen3.8-Max till $2,00 och $6,00: cirka $4,48.

Mot detta kostar UserRepGen-4B en nedladdning på 9,1 GB, en GPU med tillräckligt minne för att hålla den i bfloat16, och ingenjörsarbetet att koppla upp en Python-klass. Microsoft rapporterar att den har serverats med vLLM på hårdvara av typen H100, A100, RTX A6000 och B200, och noterar att CPU-inferens kräver float32 och "betydligt mer minne än den ungefär 9,1 GB stora viktfilen." Om den enda aspekten vore dollar per token skulle API-åtkomst till en starkare modell vinna vid den här volymen, och det är inte ens nära.

Vilket innebär att de verkliga skälen att köra UserRepGen-4B själv är de som inte syns i en prislista: konversationerna du matar den med. I dess eget kort står det att man endast ska behandla konversationer man har behörighet att behandla, att först minimera identifierande information, och att representationer inte är anonymiserade data — modellens beteendebeskrivningar identifierar en person bland fyra kandidater i 51,02 % av fallen, bättre än de råa konversationer de sammanfattar, som ligger på 44,22 %. En komponent som förvandlar konversationer till portabla, människoläsbara profiler är en sådan du kanske vill hålla kvar inom ditt eget nätverk, oavsett vad ett API-anrop skulle kosta.

Var ett routinglager passar in i en pipeline som den här

Det här är ett tvåmodellsupplägg oftare än ett enmodellsupplägg: representationsgeneratorn på din egen hårdvara, och en generell modell som sköter assistentsidan, bedömningen eller utvärderingsloopen runt den. Den andra halvan är den del som körs via ett API.

Alla tre Qwen 3.8-medlemmar som betjänas finns på OrcaRouter till leverantörens listpris utan något påslag — $2.00 och $6.00 för Max, $0.33 och $2.40 för 27B, $0.15 och $0.47 för Flash — på en nyckel, med automatisk failover mellan leverantörer så att ett domaranrop i en utvärderingsloop inte dör av en enda uppström. Om du kör igenom en batch med hundratals konversationer genom flera simulatorer och domare, spelar den failovern större roll än priset per token, eftersom en körning som dör vid konversation 400 slösar bort de 399 före den. Routnings-DSL låter dig sätta samman assistenten och domaren till ett enda anrop i stället för att kedja två. Det vi inte gör är att tillhandahålla UserRepGen-4B: vår katalog har ingen post för den, och inget här bör läsas som ett tillgänglighetsanspråk för Microsoft-checkpointen.

Beslutet, utan förbehåll

Om du vill ha en generell modell som resonerar, kodar, läser bilder och hanterar en miljon tokens, finns det inget i den här artikeln som talar emot Qwen3.8-Max — UserRepGen-4B kan inte göra något av detta, och jämförelsen med en flaggskeppsmodell är inte en den har gett sig in i. Om du vill ha en användarsimulator som är betingad på verkligt samtalsbeteende, tränades inte heller någon av Qwen 3.8-medlemmarna för det, och valet står mellan en liten lokal finjustering med ett uppmätt övertag och en stor API-modell utan något.

Den öppna frågan är samma fråga som hänger över hela släppet: det finns ingen artikel. Kortet säger att citeringen ”väntar på bekräftelse”, en rad om att repositoriet är privat ligger fortfarande kvar i användningsavsnittet efter att repot blev offentligt, och varje siffra i fidelitetstabellen går tillbaka till ett enda labs egen domare. Microsoft byggde en modell som slår den starkaste baslinjen den testades mot. Huruvida den slår din baslinje är något som bara en utvärdering du själv kör kan svara på.

En sju månader gammal finjusterad modell utvärderad mot en nuvarande flaggskeppsmodell är också en bra utgångspunkt för att fråga vad som har misslyckats tidigare: de dokumenterade AI-incidenterna och agentmisslyckandena kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.