ZoomGain-4B vs Qwen3.8-27B: Segern med 11 punkter gäller ett dataset, inte en modell

Siffran som gör den här jämförelsen värd en artikel är 55,81 mot 44,81. På ZoomGainBench, ett benchmark med 1 000 frågor om fina detaljer som publicerats tillsammans med inclusionAI:s ZoomGain-4B, får en synmodell med 4,54 miljarder parametrar elva poäng högre än Qwen3.8-27B, en tät modell med 27,78 miljarder parametrar som Alibaba släppte under Apache 2.0 i augusti och som läser både bilder och video lika bra som text. Sex gånger antalet parametrar – och den förlorar med elva poäng. Läs artikeln som gav båda siffrorna, så upphör gapet att vara ett påstående om synförmåga: ZoomGainBench byggdes av samma automatiserade pipeline som genererade ZoomGain-4B:s träningsdata, författarna säger det själva i sin ablationsstudie, och modellen de egentligen tävlade mot är inte Qwen3.8-27B alls – det är en annan datamängd.

Det är inte ett motbevis. Det är det mest användbara i släppet, och det är det som gör jämförelsen möjlig att avgöra: det talar om vilken av de två modellerna du ska ta till, och vilket nummer du ska citera när någon ber dig motivera valet. Det som följer skiljer på de tre påståenden som buntas ihop här – att en liten specialist slår en stor generalist, att en datapipeline slår en annan datapipeline, och att något av detta är skäl att byta stack den här månaden.

Vad som släpptes, och hur tyst

Repositoryt för ZoomGain-4B skapades på Hugging Face den 10 november 2026 kl. 11:38 UTC och ändrades senast den 11 november. Artikeln, arXiv 2611.14076, skickades in den 10 november. GGUF-repositoryt rördes vid 03:13 UTC den 11 november. Vid skrivande stund visar båda reporna noll nedladdningar och noll gillamarkeringar, det finns ingen inferensleverantör kopplad till modellen, och det finns inget leverantörslanseringsinlägg, blogginlägg eller pressmeddelande för den. Modellkortets egen Updates-lista, daterad 11 november, är det enda tillkännagivandet: tre rader som säger att artikeln, benchmarken, RL-datasetet och checkpointarna är ute.

Så den ärliga formuleringen är att detta släpptes tyst och inte har annonserats. Allt nedan som kommer från ett kodförråd går att kontrollera idag; allt om hur modellen beter sig utanför författarnas testramverk är ännu inte bekräftat, eftersom ingen utanför Ant Group och Zhejiang University har kört den och rapporterat tillbaka.

Två detaljer från repot är värda att känna till innan jämförelsen börjar, eftersom båda begränsar vad du kan göra med det.

• Arkitektur. Ett derivat av Qwen3.5-4B – 32 lager, dold storlek 2 560, 16 query-huvuden mot 4 KV-huvuden med huvuddimension 256, en 3:1-fördelning mellan linjär DeltaNet och full uppmärksamhet, 262 144 maximala positioner, en vokabulär på 248 320 token och en 24-lagers visionskodare med dold storlek 1 024. Totalt, inklusive kodare och projektor, är 4 539 265 536 parametrar.

• Licens. Kortets licensavsnitt omfattar koden, som är Apache 2.0, och hänvisar sedan vidare: "Se Hugging Face-korten för villkoren för varje dataset och checkpoint." Checkpoint-kortet har ingen licenstagg alls. Qwen3.8-27B är Apache 2.0 i otvetydiga ordalag. Om du behöver en licens som du kan lämna till en jurist är den asymmetrin det första du stöter på, och den löses inte av något i utgåvan.

Den enda listan där båda modellerna visas sida vid sida

ZoomGainBench är ett tvåspråkigt benchmark med 1 000 frågor över 941 bilder: 472 attributigenkänningsfrågor med fyra till sex alternativ, 94 räknefrågor och 434 OCR-frågor, var och en i en engelsk och en kinesisk version, vilket ger 2 000 utvärderingsinstanser. Tjugoåtta modeller kördes på det under ett och samma ramverk – samma systemprompt, temperatur 0, tänkande inaktiverat för varje Qwen-checkpoint, 2 048 utdatatoken för de icke-agentiska modellerna. Det bästa resultatet i fältet är GPT-5.6-Sol på 61,08, och bara fem modeller överstiger 50.

Qwen3.8-27B landar på 44,81 totalt: 43,84 i engelska från 40,25 attribut, 54,26 räkning och 45,49 OCR, samt 45,78 i kinesiska. ZoomGain-4B, i träningstabellen snarare än benchmarktabellen, landar på 55,81. Båda siffrorna är det tvåspråkiga totalresultatet enligt samma poängregler, så detta är så nära en kontrollerad parning som utgåvan erbjuder, och på den vinner 4B med 11,00 poäng.

• Parametrar. 4,54B mot 27,78B — en 6,1× skillnad i den riktning som gör resultatet förvånande.

• Vad var och en byggdes för att göra. ZoomGain-4B är Qwen3.5-4B som körts genom en epok av GRPO på 9 000 utvunna frågor, 140 steg, batchstorlek 64, åtta rollouts per fråga, inlärningshastighet 1e-6, ingen KL-term. Qwen3.8-27B är en allmän dense-modell med ett resonemangsläge, verktygsanrop och en videoväg.

• Träningsdata. 9 000 frågor för den ena. För den andra hela Alibabas förtränings- och efterträningskorpus, vars storlek inte har offentliggjorts.

• Tillgänglighet. ZoomGain-4B: tre GGUF-precisioner och en separat projektorfil, ingen hostad endpoint. Qwen3.8-27B: Apache 2.0-vikter, en FP8-build, 7,4 miljoner nedladdningar och endpoints du kan anropa redan idag.

Den jämförelse som artikeln faktiskt etablerar

Här är delen som går förlorad när lanseringen reduceras till "4B slår 27B". Artikeln behövde en baslinje för sina egna data, och den använde en: ZwZ, en finmaskig perceptionsdatauppsättning från ICML 2026 byggd genom region-till-bild-destillation. Båda sidorna behandlades identiskt. Tolvtusen bilder samplades och 23 610 frågor genererades; benchmarken tog 1 000; resten gav 8 746 bildmatchade frågepar, och 254 duplicerades på båda sidorna för att få varje set till 9 000. Samma bilder, samma bascheckpoints, samma hyperparametrar, samma 140 steg. Den enda variabeln är frågorna.

ZoomGain-data överträffar ZwZ-data på varje axel som artikeln redovisar. På Qwen3.5-4B går held-in-poängen från 40,99 till 55,81 och genomsnittet för de tretton benchmarkarna i held-out-utvärderingen går från 58,94 till 63,96; på Qwen3.5-9B är samma två siffror 44,07 till 55,48 och 62,53 till 66,10. Det är ett verkligt, välkontrollerat resultat om hur man genererar övervakningsdata, och det är det bidrag som artikelns titel framhåller.

Qwen3.8-27B bidrar inte med något till det argumentet. Den förekommer en gång, som en enda rad bland 27 andra benchmarkade modeller. Den är en måttstock – en kompetent generalist mätt på en fördelning som ingen har tränat den för – inte en konkurrent. Artikelns egen text är tydlig med att gapet den utnyttjar är gemensamt: distraktorer med global-vy-fel står för 71,7 % av alla felaktiga svar bland alla 28 modeller, vilket är över de 54,5 % som ett slumpmässigt val bland alternativen skulle ge, och de fyra slutna modellerna som inte deltog i att bygga benchmarken uppvisar samma beteende vid 75,7 % mot förväntade 57,4 %.

Ablationen är det starkaste argumentet mot huvudrubriken.

Författarna genomförde den uppenbara rimlighetskontrollen på sig själva, och resultatet är den mest informativa tabellen i artikeln. De tränade om på samma 9 000 frågor två gånger och tog varje gång bort ett av de två designval som definierar deras pipeline: regeln att frågor endast får byggas av detaljer som är osynliga i den fullständiga bilden, och det dedikerade steget för distraktorgenerering.

• Fullständig pipeline. ZoomGainBench 55,81; genomsnitt över de tio held-out-benchmarkar som ablationen rapporterar, 60,96.

• Dedikerade distraktorer borttagna. ZoomGainBench 46,85 – en förlust på 8,96 punkter på held-in-testet – och genomsnittet för de tio benchmarkarna 59,14, en förlust på 1,82.

• Inkrementella bevis har tagits bort. ZoomGainBench 49,71, en förlust på 6,10 — och genomsnittet för de tio benchmarkarna 58,57, en förlust på 2,39.

Båda designvalen är värda sex till nio poäng på ZoomGainBench och omkring två poäng på allt annat. Författarna anger skälet rakt ut: att ta bort dedikerade distraktorer "orsakar den största minskningen på den held-in ZoomGainBench" eftersom "benchmarkens alternativ konstrueras med samma pipeline." Med andra ord är ungefär tre fjärdedelar av huvudvinsten på benchmarken som producerade huvudnumret att modellen lär sig svara på den typ av fråga som pipelinen skriver, inte att lära sig se bättre.

Det som kvarstår är fortfarande betydande. På de tretton benchmarkar som träningen aldrig rörde går Qwen3.5-4B från 57,86 till 63,96 – 6,10 poäng från 9 000 prover – med de största vinsterna i exakt den familj som pipeline-arbetsflödet riktar in sig på: HR-Bench 4K 81,25 till 87,25, V*Bench 81,68 till 90,05, VisualProbe 43,30 till 57,28, O3-Bench 54,20 till 63,19. En benchmark försämras: TreeBench, 49,38 till 49,14, en femtedels poäng. MMStar, en allmän multimodal svit, går från 66,80 till 72,53, och BabyVision förblir svagt på 21,13.

Den profilen är signaturen för en smal intervention, och det är den profilen du bör planera kring. Modellen blev bättre på att lösa små saker i en scen. Den blev inte en bättre generalist, och aritmetiken som säger motsatsen är aritmetik på dess eget benchmark.

Vad benchmarken faktiskt efterfrågar, eftersom det är vad du skulle köpa

Om det avsedda användningsområdet är kontroll av fina detaljer spelar testets sammansättning större roll än den övergripande poängen, och artikelns felanalys är ovanligt konkret i fråga om detta.

• Små ankare dominerar.Noggrannheten ökar med den andel av bilden som den efterfrågade detaljen upptar, för varje modellgrupp: i genomsnitt över alla 28 stiger den från 28,9 % i den minsta kvartilen, där ankaret täcker mindre än 0,4 % av bilden, till 55,2 % i den största.

• Räkning är räkning av små tal. 67 av de 94 räknefrågorna har ett facit på högst tre, och 71,6 % av felaktiga numeriska svar avviker med exakt ett. Svårigheten är att lösa några få små instanser, inte att räkna upp många.

• Attributigenkänning är den svåra kategorin. Den ger den lägsta poängen för 23 av de 28 modellerna, och att gissa jämnt fördelat över alternativen skulle redan ge cirka 21,5 %.

• Fellläget är scenplausibel substitution. I ett dokumenterat fall betecknar 46 av 56 utvärderingar ett vitt föremål på instrumentbrädan i en lastbil som orange – sannolikt färgen på västen som arbetaren som står framför lastbilen bär. I ett annat anger nästan varje utvärdering ett varumärke för hockeyutrustning i stället för den logotyp som faktiskt är tryckt på plagget. Modellerna säger inte "jag kan inte se det"; de svarar utifrån kontexten.

Det felläget är det praktiska argumentet för den här typen av träning, eftersom det är samma felläge som gör att en dokumentpipeline tyst blir fel på en skannad faktura. Det är också argumentet för att mäta det: en modell som ersätter svaret med ett trovärdigt sådant producerar självsäkra resultat, så inget i efterföljande led fångar upp det.

Där Qwen3.8-27B befinner sig i ett annat rum

44.81 är verkligt, och det är också det enda talet i den här artikeln som Qwen3.8-27B bedöms utifrån här. Dess eget kort rapporterar en helt annan uppsättning saker, och ingen av dem kan jämföras med ZoomGain-siffror eftersom de två modellerna aldrig kördes på samma harness för dem.

• Agentisk kodning.Terminal Bench 2.1 på 73,0, SWE-bench Pro 61,7, LiveCodeBench v6 90,3, QwenSWEBench 79,0 – alla rapporterade av leverantören på Q​wens eget kort, med testriggens anteckningar publicerade samtidigt.

• Resonemang och datoranvändning. GPQA Diamond 89,2, HLE 30,8, OSWorld-Verified 84,3, WebArena-Verified 64,8.

• Multimodalt arbete. OmniDocBench 1.5 på 91,1, CharXiv-resonemang 83,7 utan injektion av kedjetänkande och 90,2 med den, RealWorldQA 85,9, MathVision 90,0.

• Funktionsomfång.Tänkande på som standard med reasoning_effort på xhigh, medium eller low, bevarat tänkande mellan turer, inbyggt verktygsanrop, strukturerade utdata, videoindata, 262 144 positioner inbyggt och utökningsbart till en miljon.

ZoomGain-4B har inte utvärderats på någon av dessa och förväntas inte prestera bra på någon av dem: dess träning har aldrig berört kod, terminaluppgifter, dokument eller diagram. Det har inte heller någon rapporterad utvärdering i ett tänkande läge – släppets egen harness körs med tänkande inaktiverat vid temperatur 0, så allt som publicerats om det beskriver dess direktsvarsbeteende. Qwen3.8-27B:s 44,81 mättes på samma sätt, med enable_thinking=false, vilket är det enda som gör jämförelsen rättvis och det enda som lämnar Qwens bästa läge otestämt.

Enkelt uttryckt: på den axel som ZoomGain-4B tränades för vinner den, och på de axlar som Qwen3.8-27B byggdes för är 4B inte ens i rummet. Inget av det är förvånande, och att behandla endera som hela historien är hur en jämförelsesida blir värdelös.

Vad var och en kostar att sätta upp, och den du kan ringa i dag

Det är här de två går isär på ett sätt som avgör driftsättningen snarare än benchmarken.

ZoomGain-4B har ingen hostad slutpunkt någonstans. Det som finns är BF16-repositoriet, 4,54 miljarder parametrar fördelade på en språkmodell och en separat vision-encoder, samt tre GGUF-byggen: Q4_K_M på 2,71 GB, Q8_0 på 4,48 GB och F16 på 8,42 GB, var och en med sin egen mmproj projektor – 0,23 GB, 0,36 GB respektive 0,67 GB – som GGUF-kortet anger krävs för bildinmatning. Att köra den innebär llama-mtmd-cli eller llama-server från ett llama.cpp-bygge som är tillräckligt nytt för att känna till Qwen3.5 multimodalt; att köra den i full precision innebär vLLM 0.19.1 med transformers 5.7.0. Det finns inget MLX-bygge, ingen ONNX, ingen draftmodell för spekulativ avkodning och ingen leverantör att falla tillbaka på om ditt bygge går sönder.

Qwen3.8-27B finns i OrcaRouter-katalogen, och vi kör dessa vikter på vår egen infrastruktur i stället för att återförsälja någon annans endpoint – vilket är anledningen till att priset på vår modellsida är priset, utan påslag ovanpå och utan att något leverantörslistpris får påslag däremellan. Det är $0,33 per miljon indatatoken och $2,40 per miljon utdatatoken, text, bild och video som indata, 262 144 token i kontext och en enda nyckel. Samma nyckel når även Qwen3.8-Flash till $0,15 och $0,47 per miljon med ett fönster på en miljon token, och Qwen3.8-Max till $2,00 och $6,00, så en arbetsbelastning som växer ur 27B eller behöver ett längre fönster kan flyttas utan ett andra avtal eller en kodändring. Failover är den del som spelar roll för allt produktionsliknande: en leverantör som har fastnat gör om försöket innan svaret börjar i stället för efter att din begäran har fått timeout.

ZoomGain-4B finns inte i den katalogen och kan inte anropas via oss. Det är en mapp med vikter som du själv serverar, och den ärliga versionen av rekommendationen måste börja där.

Vem bör agera, och vad är fortfarande obekräftat

Om du har bildtungt arbete där svaret hänger på en liten detalj – ett artikelnummer på en etikett, en färg på en skärm, om det finns två skruvar eller tre – är en 4.54B-modell som RL-tränats specifikt på det, som körs lokalt på 2.71 GB i Q4_K_M, en trovärdig billig andra åsikt att köra vid sidan av en hostad generalist. Inte i stället för en. Specialistens felmönster är självsäker substitution, vilket är precis det fel som en generalistkontroll fångar, och vice versa.

Om din arbetsbelastning består av dokument, diagram, skärmbilder, video, kod eller agenter är 27B den du ska välja, och 44,81 på ett benchmark för fina detaljer som ingen har tränat den för är inte ett skäl att tro något annat.

Vad som fortfarande är obekräftat och värt att bevaka snarare än att anta:

• Licensen för vikterna. Apache 2.0 täcker koden. Checkpointen har ingen licenstagg och modellkortet hänvisar till "villkoren för varje dataset och checkpoint" utan att ange dem. Tills det är löst är kommersiell driftsättning ett samtal med en jurist, inte en kryssruta.

• Eventuell reproduktion.Alla siffror ovan är rapporterade av författarna och producerade med författarnas egen testrigg. Benchmarken och utvärderaren är offentliga, så det går att kontrollera, men ingen utanför Ant Group och Zhejiang University har kontrollerat det.

• Om förbättringen generaliserar bortom pipelinen. Siffrorna från held-out-utvärderingen är de man ska lita på; de är blygsamma – 6,10 poäng över basmodellens genomsnitt över tretton benchmarks – och de lutar kraftigt mot den finkorniga familj som träningen riktade in sig på. Huruvida det överförs till dina bilder är en öppen fråga som releasen inte besvarar.

• Om den håller måttet vid Q4. GGUF-kortet varnar för att kvantisering kan påverka noggrannheten, och inget publicerat jämför de kvantiserade versionerna mot BF16-checkpointen på ZoomGainBench. För en modell vars hela värde är fin detaljrikedom är det experimentet man måste köra innan man litar på en fil på 2,71 GB.