ZoomGain-4B vs Qwen3.8-27B: De 11-puntwinst gaat over een dataset, niet over een model.

Het getal dat deze vergelijking een pagina waard maakt, is 55,81 tegen 44,81. Op ZoomGainBench, de fijnmazige benchmark met 1.000 vragen die samen met inclusionAI's ZoomGain-4B werd gepubliceerd, scoort een visiemodel met 4,54 miljard parameters elf punten hoger dan Qwen3.8-27B, een dense model met 27,78 miljard parameters dat Aibaba in augustus onder Apache 2.0 uitbracht en dat net zo goed afbeeldingen en video als tekst leest. Zes keer zoveel parameters, en het verliest met elf punten. Lees de paper die beide getallen opleverde, en de kloof is niet langer een bewering over gezichtsvermogen: ZoomGainBench is gebouwd door dezelfde geautomatiseerde pijplijn die de trainingsdata van ZoomGain-4B genereerde, dat zeggen de auteurs zelf in hun ablatiestudie, en het model waartegen ze echt aan het racen waren is helemaal niet Qwen3.8-27B — het is een andere dataset.

Dat is geen ontkrachting. Het is het nuttigste onderdeel van de release, en het is wat de vergelijking beslisbaar maakt: het vertelt je naar welk van de twee modellen je moet grijpen, en welk getal je moet citeren wanneer iemand je vraagt de keuze te rechtvaardigen. Wat volgt, scheidt de drie beweringen die hier samen worden gebundeld — dat een kleine specialist een grote generalist verslaat, dat de ene datapijplijn de andere verslaat, en dat een van beide een reden is om deze maand je stack te veranderen.

Wat er werd uitgebracht, en hoe geruisloos

De repository voor ZoomGain-4B is op 10 november 2026 om 11:38 UTC aangemaakt op Hugging Face en voor het laatst gewijzigd op 11 november. Het paper, arXiv 2611.14076, is op 10 november ingediend. De GGUF-repository is op 11 november om 03:13 UTC aangeraakt. Op het moment van schrijven tonen beide repositories nul downloads en nul likes, is er geen inferenceprovider aan het model gekoppeld en bestaat er geen bericht van de leverancier over de lancering, geen blogbericht en geen persbericht voor het model. De eigen Updates-lijst van de modelkaart, gedateerd 11 november, is de enige aankondiging: drie regels met de mededeling dat het paper, de benchmark, de RL-dataset en de checkpoints beschikbaar zijn.

Dus de eerlijke formulering is dat dit stilletjes is uitgebracht en niet is aangekondigd. Alles hieronder dat uit een repository komt, is vandaag te controleren; alles over hoe het model zich gedraagt buiten de testomgeving van de auteurs is nog niet bevestigd, omdat niemand buiten Ant Group en Zhejiang University het heeft gedraaid en daarover heeft teruggerapporteerd.

Twee details uit de repository zijn de moeite waard om te kennen voordat de vergelijking begint, want beide beperken wat je ermee kunt doen.

• Architectuur. Een afgeleide van Qwen3.5-4B: 32 lagen, verborgen dimensie 2.560, 16 query-heads tegenover 4 KV-heads met een hoofddimensie van 256, een 3:1-schema van lineaire DeltaNet naar volledige aandacht, maximaal 262.144 posities, een vocabulaire van 248.320 tokens en een 24-laagse visie-encoder met verborgen dimensie 1.024. Het totaal, inclusief encoder en projector, bedraagt 4.539.265.536 parameters.

• Licentie. De sectie Licentie van de kaart heeft betrekking op de code, die Apache 2.0 is, en verwijst vervolgens: "Zie de Hugging Face-kaarten voor de voorwaarden van elke dataset en checkpoint." De checkpointkaart bevat helemaal geen licentietag. Qwen3.8-27B is ondubbelzinnig Apache 2.0. Als je een licentie nodig hebt die je aan een advocaat kunt voorleggen, is die asymmetrie het eerste waar je op stuit, en die wordt door niets in de release opgelost.

De enige lijst waar beide modellen naast elkaar staan

ZoomGainBench is een tweetalige benchmark van 1.000 vragen over 941 afbeeldingen: 472 vragen over attribuutherkenning met vier tot zes opties, 94 telvragen en 434 OCR-vragen, elk in een Engelse en een Chinese versie, dus 2.000 evaluatie-instanties. Er zijn achtentwintig modellen op uitgevoerd binnen één harness — dezelfde systeemprompt, temperatuur 0, thinking uitgeschakeld voor elk Qwen-checkpoint, 2.048 outputtokens voor de niet-agentische modellen. Het beste resultaat in het veld is GPT-5.6-Sol met 61,08, en slechts vijf modellen halen de 50.

Qwen3.8-27B komt uit op 44,81 totaal: 43,84 in het Engels van 40,25 attribuut, 54,26 tellen en 45,49 OCR, en 45,78 in het Chinees. ZoomGain-4B, dat in de trainingstabel staat in plaats van in de benchmarktabel, komt uit op 55,81. Beide cijfers zijn het tweetalige totaal volgens dezelfde scoringsregels, dus dit is zo dicht bij een gecontroleerde koppeling als de release biedt, en daarin wint de 4B met 11,00 punten.

• Parameters. 4,54B tegen 27,78B — een verschil van 6,1× in de richting die het resultaat verrassend maakt.

• Waarvoor elk is gebouwd. ZoomGain-4B is Qwen3.5-4B dat één epoch GRPO heeft doorlopen op 9.000 gemijnde vragen, 140 stappen, batchgrootte 64, acht rollouts per vraag, leersnelheid 1e-6, geen KL-term. Qwen3.8-27B is een algemeen dense model met een redeneermodus, tool calling en een videopad.

• Trainingsdata. 9.000 vragen voor de ene. Voor de andere het volledige pretrainings- en posttrainingscorpus van Alibaba, waarvan de omvang niet bekend is.

• Beschikbaarheid. ZoomGain-4B: drie GGUF-precisies en een apart projectorbestand, geen gehoste endpoint. Qwen3.8-27B: Apache 2.0-gewichten, een FP8-build, 7,4 miljoen downloads en endpoints die je vandaag kunt aanroepen.

De vergelijking die het artikel daadwerkelijk vaststelt

Dit is het deel dat verloren gaat wanneer de release wordt teruggebracht tot "4B verslaat 27B". Het paper had een baseline nodig voor zijn eigen data, en gebruikte er een: ZwZ, een fijnmazige perceptiedataset van ICML 2026, gebouwd via region-to-image-distillatie. Beide kanten kregen identieke behandeling. Twaalfduizend afbeeldingen werden gesampeld en 23.610 vragen gegenereerd; de benchmark nam er 1.000; de rest leverde 8.746 aan afbeeldingen gekoppelde vraagparen op, en 254 werden aan beide kanten gedupliceerd om elke set op 9.000 te brengen. Dezelfde afbeeldingen, dezelfde basis-checkpoints, dezelfde hyperparameters, dezelfde 140 stappen. De enige variabele zijn de vragen.

ZoomGain-data verslaan ZwZ-data op elke as die het artikel rapporteert. Op Qwen3.5-4B gaat de held-in-score van 40,99 naar 55,81 en het held-out-gemiddelde over dertien benchmarks van 58,94 naar 63,96; op Qwen3.5-9B is hetzelfde paar getallen 44,07 naar 55,48 en 62,53 naar 66,10. Dat is een echt, goed gecontroleerd resultaat over hoe je supervisie genereert, en het is de bijdrage die de titel van het artikel maakt.

Qwen3.8-27B draagt niets bij aan dat argument. Het komt één keer voor, als één rij tussen 27 andere gebenchmarkte modellen. Het is een meetlat — een competente generalist, gemeten op een distributie waarvoor niemand het heeft getraind — geen concurrent. De tekst van de paper zelf zegt expliciet dat de kloof die het benut gedeeld is: distractoren die fouten in het globale beeld veroorzaken, vormen 71,7% van alle onjuiste antwoorden bij alle 28 modellen, hoger dan de 54,5% die een willekeurige keuze uit de opties zou opleveren, en de vier closed-source modellen die geen deelnamen aan het bouwen van de benchmark vertonen hetzelfde gedrag: 75,7% tegen 57,4% verwacht.

De ablatie is het sterkste argument tegen de kop

De auteurs voerden de voor de hand liggende sanitycheck op zichzelf uit, en het resultaat is de meest informatieve tabel in het artikel. Ze trainden tweemaal opnieuw op dezelfde 9.000 vragen, waarbij ze telkens een van de twee ontwerpkeuzes verwijderden die hun pipeline bepalen: de regel dat vragen alleen mogen worden samengesteld uit details die onzichtbaar zijn in de volledige afbeelding, en de aparte fase voor het genereren van afleiders.

• Volledige pipeline. ZoomGainBench 55,81; gemiddelde over de tien held-out benchmarks die de ablatie rapporteert, 60,96.

• Toegewijde afleiders verwijderd. ZoomGainBench 46,85 — een verlies van 8,96 punten op de held-in-test — en het gemiddelde over de tien benchmarks 59,14, een verlies van 1,82.

• Incrementeel bewijs verwijderd. ZoomGainBench 49,71, een verlies van 6,10 — en het gemiddelde van de tien benchmarks 58,57, een verlies van 2,39.

Beide ontwerpkeuzes zijn goed voor zes tot negen punten op ZoomGainBench en ongeveer twee punten op al het andere. De auteurs geven de reden ronduit: het verwijderen van speciale afleiders "veroorzaakt de grootste daling op de held-in ZoomGainBench", omdat "de opties van de benchmark met dezelfde pipeline worden geconstrueerd". Met andere woorden, ruwweg driekwart van de opvallende winst op de benchmark die het belangrijkste cijfer opleverde, komt doordat het model leert antwoorden op het soort vraag dat de pipeline schrijft, niet doordat het beter leert kijken.

Wat standhoudt, is nog steeds substantieel. Op de dertien benchmarks die de training nooit heeft aangeraakt, gaat Qwen3.5-4B van 57,86 naar 63,96 — 6,10 punten uit 9.000 samples — met de grootste winst precies in de familie waarop de pipeline zich richt: HR-Bench 4K 81,25 naar 87,25, V*Bench 81,68 naar 90,05, VisualProbe 43,30 naar 57,28, O3-Bench 54,20 naar 63,19. Eén benchmark gaat achteruit: TreeBench, 49,38 naar 49,14, een vijfde punt. MMStar, een algemene multimodale suite, gaat van 66,80 naar 72,53, en BabyVision blijft zwak op 21,13.

Dat profiel is de signatuur van een beperkte interventie, en het is het profiel waarop je je planning moet baseren. Het model werd beter in het oplossen van kleine dingen in een scène. Het werd geen betere generalist, en de rekensom die het tegendeel beweert, is een rekensom op zijn eigen benchmark.

Wat de benchmark eigenlijk vraagt, aangezien dat is wat je zou kopen

Als het beoogde gebruik het controleren van fijne details is, is de samenstelling van de test belangrijker dan de totale score, en de foutenanalyse in het artikel is daar ongebruikelijk concreet over.

• Kleine ankers domineren. De nauwkeurigheid stijgt met de fractie van de afbeelding die het opgevraagde detail inneemt, voor elke modelgroep: gemiddeld over alle 28 stijgt deze van 28,9% in het kleinste kwartiel, waar het anker minder dan 0,4% van de afbeelding beslaat, naar 55,2% in het grootste.

• Tellen is het tellen van kleine aantallen. 67 van de 94 telvragen hebben een ground truth van hoogstens drie, en 71,6% van de foute numerieke antwoorden zit er precies één naast. De moeilijkheid zit in het oplossen van een paar kleine gevallen, niet in het opsommen van veel.

• Attribuutherkenning is de moeilijke categorie. Het levert de laagste score op voor 23 van de 28 modellen, en uniform gokken over de opties zou al ongeveer 21,5% opleveren.

• De faalmodus is een voor de scène plausibele substitutie. In één gedocumenteerd geval bestempelen 46 van de 56 beoordelingen een wit object op het dashboard van een vrachtwagen als oranje — aannemelijk de kleur van het vest dat de ervoor staande arbeider draagt. In een ander geval noemt bijna elke beoordeling een merk voor hockeyuitrusting in plaats van het logo dat daadwerkelijk op het kledingstuk is gedrukt. Modellen zeggen niet: ‘Ik kan het niet zien’; ze antwoorden op basis van de context.

Die faalmodus is het praktische argument voor dit soort training, want het is dezelfde die een documentpipeline stilletjes fout laat uitpakken op een gescande factuur. Het is ook het argument om het te meten: een model dat een aannemelijk antwoord invult, levert zelfverzekerde output op, waardoor niets stroomafwaarts het opmerkt.

Waar Qwen3.8-27B zich in een andere kamer bevindt

De 44,81 is echt, en het is ook het enige getal in dit artikel waarop Qwen3.8-27B hier wordt beoordeeld. De eigen kaart van het model rapporteert heel andere zaken, en geen daarvan kan worden vergeleken met ZoomGain-cijfers, omdat de twee modellen daarvoor nooit op dezelfde harness zijn gedraaid.

• Agentisch programmeren. Terminal Bench 2.1 op 73,0, SWE-bench Pro 61,7, LiveCodeBench v6 90,3, QwenSWEBench 79,0 — allemaal door de leverancier gerapporteerd op Q​wens eigen kaart, met de harnessnotities ernaast gepubliceerd.

• Redeneren en computergebruik. GPQA Diamond 89,2, HLE 30,8, OSWorld-Verified 84,3, WebArena-Verified 64,8.

• Multimodaal werk. OmniDocBench 1.5 op 91,1, CharXiv-redenering 83,7 zonder chain-of-thought-injectie en 90,2 ermee, RealWorldQA 85,9, MathVision 90,0.

• Mogelijkhedenoverzicht. Denken standaard ingeschakeld met reasoning_effort op xhigh, medium of laag, behouden denkproces tussen beurten, native tool-aanroepen, gestructureerde outputs, video-invoer, 262.144 posities native en uitbreidbaar tot één miljoen.

ZoomGain-4B is op geen van deze geëvalueerd en er wordt niet verwacht dat het op een ervan goed zal presteren: de training ervan heeft nooit code, terminaltaken, documenten of grafieken aangeraakt. Er is ook geen gerapporteerde evaluatie in een denkmodus — de eigen harness van de release draait met denken uitgeschakeld bij temperatuur 0, dus alles wat erover gepubliceerd is, beschrijft het gedrag bij directe antwoorden. De 44,81 van Qwen3.8-27B is op dezelfde manier gemeten, met enable_thinking=false, wat het enige is dat de vergelijking eerlijk maakt en het enige dat Qwens beste modus ongetest laat.

Simpel gezegd: op de as waarvoor ZoomGain-4B is getraind, wint die, en op de assen waarvoor Qwen3.8-27B is gebouwd, doet de 4B niet mee. Geen van beide is een verrassing, en een van de twee als het volledige verhaal behandelen, is precies hoe een vergelijkingspagina nutteloos wordt.

Wat elk kost om op te zetten, en degene die je vandaag kunt bellen.

Dit is waar de twee uiteenlopen op een manier die de uitrol bepaalt in plaats van de benchmark.

ZoomGain-4B heeft nergens een gehoste endpoint. Wat bestaat, is de BF16-repository, 4,54 miljard parameters verdeeld over een taalmodel en een aparte visie-encoder, en drie GGUF-builds: Q4_K_M van 2,71 GB, Q8_0 van 4,48 GB en F16 van 8,42 GB, elk gekoppeld aan zijn eigen mmproj-projector — respectievelijk 0,23 GB, 0,36 GB en 0,67 GB — waarvan de GGUF-kaart aangeeft dat die vereist is voor beeldinvoer. Om het te draaien heb je llama-mtmd-cli of llama-server nodig uit een llama.cpp-build die recent genoeg is om Qwen3.5 multimodaal te kennen; om het op volledige precisie te draaien heb je vLLM 0.19.1 met transformers 5.7.0 nodig. Er is geen MLX-build, geen ONNX, geen draftmodel voor speculatieve decoding, en geen provider om op terug te vallen als je build stukgaat.

Qwen3.8-27B staat in de OrcaRouter-catalogus, en we draaien die gewichten op onze eigen infrastructuur in plaats van iemands anders endpoint door te verkopen — daarom is de prijs op onze modelpagina de prijs, zonder extra marge erbovenop en zonder dat er tussendoor een leverancierslijstprijs wordt opgehoogd. Het is $0,33 per miljoen inputtokens en $2,40 per miljoen output, tekst, afbeelding en video als invoer, 262.144 tokens context en één enkele sleutel. Dezelfde sleutel bereikt ook Qwen3.8-Flash tegen $0,15 en $0,47 per miljoen met een venster van één miljoen tokens, en Qwen3.8-Max tegen $2,00 en $6,00, zodat een workload die groter wordt dan de 27B of een langer venster nodig heeft, meeverhuist zonder een tweede contract of een codewijziging. Failover is het onderdeel dat ertoe doet voor alles wat op productie lijkt: een provider die vastloopt, probeert het opnieuw voordat het antwoord begint, in plaats van nadat je verzoek een time-out krijgt.

ZoomGain-4B staat niet in die catalogus en kan niet via ons worden aangeroepen. Het is een map met gewichten die je zelf serveert, en de eerlijke versie van de aanbeveling moet daar beginnen.

Wie moet optreden, en wat is nog onbevestigd

Als je beeldintensief werk hebt waarbij het antwoord afhangt van een klein detail — een onderdeelnummer op een label, een kleur op een scherm, of er twee of drie schroeven zijn — dan is een 4.54B-model dat specifiek daarop RL'd is, lokaal draaiend op 2.71 GB in Q4_K_M, een geloofwaardige goedkope second opinion om naast een gehoste generalist te draaien. Niet in plaats van een. Het faalprofiel van de specialist is zelfverzekerde substitutie, precies de fout die een generalistische controle vangt, en omgekeerd.

Als je workload bestaat uit documenten, grafieken, screenshots, video, code of agents, is de 27B degene die je moet kiezen, en de 44,81 op een fine-detailbenchmark waarvoor niemand hem heeft getraind, is geen reden om anders te denken.

Wat nog onbevestigd blijft, en de moeite waard is om in de gaten te houden in plaats van zomaar aan te nemen:

• De licentie voor de gewichten. Apache 2.0 dekt de code. Het checkpoint heeft geen licentietag en de kaart verwijst naar "de voorwaarden van elke dataset en elk checkpoint" zonder ze te vermelden. Totdat dat is opgelost, is commerciële inzet een gesprek met een advocaat, geen vinkje.

• Elke reproductie. Elk getal hierboven is door de auteurs gerapporteerd, geproduceerd op de eigen harness van de auteurs. De benchmark en de evaluator zijn openbaar, dus het is controleerbaar, maar niemand buiten Ant Group en Zhejiang University heeft het gecontroleerd.

• Of de winst zich buiten de pipeline doorzet. De cijfers op de achtergehouden set zijn de betrouwbare — ze zijn bescheiden: 6,10 punten boven het gemiddelde van het basismodel over dertien benchmarks — en ze neigen sterk naar de fijnmazige familie waarop de training was gericht. Of dat overdraagt naar jouw afbeeldingen is een open vraag die de release niet beantwoordt.

• Of het standhoudt bij Q4. De GGUF-kaart waarschuwt dat kwantisering de nauwkeurigheid kan beïnvloeden, en niets dat gepubliceerd is vergelijkt de gekwantiseerde builds met het BF16-checkpoint op ZoomGainBench. Voor een model waarvan de hele waarde in fijne details zit, is dat het experiment dat je moet uitvoeren voordat je een bestand van 2,71 GB vertrouwt.