ZoomGain-4B vs Qwen3.8-27B: 11-punktowa przewaga dotyczy zbioru danych, a nie modelu

Liczba, która sprawia, że to starcie zasługuje na całą stronę, to 55,81 wobec 44,81. W ZoomGainBench, składającym się z 1000 pytań benchmarku drobnych szczegółów opublikowanym wraz z ZoomGain-4B firmy inclusionAI, model wizyjny z 4,54 mld parametrów uzyskuje jedenaście punktów więcej niż Qwen3.8-27B, gęsty model z 27,78 mld parametrów, który Alibaba udostępniła na licencji Apache 2.0 w sierpniu i który odczytuje obrazy i wideo tak samo jak tekst. Sześciokrotnie więcej parametrów, a przegrywa o jedenaście punktów. Przeczytaj pracę, z której pochodzą obie te liczby, a różnica przestaje być twierdzeniem o wzroku: ZoomGainBench powstał w tym samym zautomatyzowanym procesie, który wygenerował dane treningowe ZoomGain-4B, sami autorzy mówią o tym w swoim badaniu ablacyjnym, a model, z którym naprawdę się ścigali, to wcale nie Qwen3.8-27B — to inny zbiór danych.

To nie jest obalenie mitu. To najużyteczniejsza rzecz w tym wydaniu i to ona czyni porównanie rozstrzygalnym: mówi, po który z dwóch modeli sięgnąć i którą liczbę przytoczyć, gdy ktoś poprosi cię o uzasadnienie wyboru. To, co następuje, rozdziela trzy twierdzenia, które są tu łączone w jedną całość — że mały specjalista bije dużego generalistę, że jeden potok danych bije inny potok danych oraz że którakolwiek z tych rzeczy jest powodem, by w tym miesiącu zmienić swój stos technologiczny.

Co wypuszczono i jak po cichu

Repozytorium ZoomGain-4B zostało utworzone na Hugging Face 10 listopada 2026 r. o 11:38 UTC i ostatnio zmodyfikowane 11 listopada. Artykuł, arXiv 2611.14076, został przesłany 10 listopada. Repozytorium GGUF zostało zmodyfikowane o 03:13 UTC 11 listopada. W momencie pisania oba repozytoria wykazują zero pobrań i zero polubień, do modelu nie jest przypisany żaden dostawca inferencji ani nie istnieje dla niego żaden wpis premiery od dostawcy, wpis na blogu lub komunikat prasowy. Lista Updates w karcie modelu, datowana na 11 listopada, jest jedynym ogłoszeniem: trzy wiersze mówiące, że artykuł, benchmark, zbiór danych RL i checkpointy są już dostępne.

Uczciwie rzecz ujmując, zostało to wydane po cichu i nie zostało ogłoszone. Wszystko poniżej, co pochodzi z repozytorium, można dziś sprawdzić; wszystko dotyczące zachowania modelu poza środowiskiem testowym autorów nie zostało jeszcze potwierdzone, ponieważ nikt spoza Ant Group i Zhejiang University nie uruchomił go i nie przekazał wyników.

Dwa szczegóły z repozytorium warto znać przed rozpoczęciem porównania, ponieważ oba zawężają zakres tego, co można z nim zrobić.

• Architektura.Pochodna Qwen3.5-4B — 32 warstwy, rozmiar ukryty 2 560, 16 głów zapytań względem 4 głów KV przy wymiarze głowy 256, proporcja 3:1 liniowego DeltaNet do pełnej uwagi, 262 144 maksymalnych pozycji, słownik 248 320 tokenów oraz 24-warstwowy enkoder wizyjny przy rozmiarze ukrytym 1 024. Łącznie, z enkoderem i projektorem włącznie, to 4 539 265 536 parametrów.

• Licencja. Sekcja licencji na karcie obejmuje kod, który jest objęty licencją Apache 2.0, a następnie odsyła: „Zobacz karty Hugging Face, aby poznać warunki każdego zbioru danych i checkpointu”. Karta checkpointu nie zawiera żadnego znacznika licencji. Qwen3.8-27B jest jednoznacznie objęty licencją Apache 2.0. Jeśli potrzebujesz licencji, którą możesz przekazać prawnikowi, ta asymetria jest pierwszą rzeczą, na którą trafisz, i nie rozwiązuje jej nic w wydaniu.

Jedyna lista, na której oba modele pojawiają się obok siebie

ZoomGainBench to dwujęzyczny benchmark składający się z 1000 pytań i obejmujący 941 obrazów: 472 pytania dotyczące rozpoznawania atrybutów z czterema do sześciu opcjami, 94 pytania wymagające liczenia i 434 pytania OCR, każde w wersji angielskiej i chińskiej, czyli 2000 instancji ewaluacyjnych. Uruchomiono na nim dwadzieścia osiem modeli w ramach jednego harnessu — ten sam prompt systemowy, temperatura 0, wyłączone myślenie dla każdego checkpointu Q​wen, 2048 tokenów wyjściowych dla modeli nieagentowych. Najlepszy wynik w zestawieniu to GPT-5.6-Sol z 61,08, a tylko pięć modeli przekracza 50.

Qwen3.8-27B osiąga 44,81 ogółem: 43,84 w języku angielskim, na co składają się 40,25 w atrybutach, 54,26 w liczeniu i 45,49 w OCR, oraz 45,78 w języku chińskim. ZoomGain-4B, obecny w tabeli treningowej, a nie w tabeli benchmarku, osiąga 55,81. Obie wartości to wynik ogólny dla dwóch języków przy tych samych zasadach punktacji, więc jest to najbliższe kontrolowanemu porównaniu, jakie oferuje wydanie, i w nim 4B wygrywa o 11,00 punktu.

• Parametry. 4,54 mld wobec 27,78 mld — 6,1× różnica w kierunku, który sprawia, że wynik jest zaskakujący.

• Do czego każdy z nich został stworzony. ZoomGain-4B to Qwen3.5-4B poddany jednej epoce GRPO na 9000 wydobytych pytań, 140 kroków, partia 64, osiem przebiegów próbnych na pytanie, współczynnik uczenia 1e-6, bez składnika KL. Qwen3.8-27B to ogólny model gęsty z trybem rozumowania, wywoływaniem narzędzi i ścieżką wideo.

• Dane treningowe. 9 000 pytań w przypadku jednego. W przypadku drugiego – cały korpus pretreningowy i postreningowy firmy Alibaba, którego rozmiaru nie ujawniono.

• Dostępność. ZoomGain-4B: trzy precyzje GGUF i osobny plik projektora, bez hostowanego endpointu. Qwen3.8-27B: wagi Apache 2.0, wersja FP8, 7,4 miliona pobrań i endpointy, które możesz wywołać już dziś.

Porównanie, które praca faktycznie ustanawia

Oto część, która ginie, gdy wydanie sprowadza się do „4B bije 27B”. Artykuł potrzebował punktu odniesienia dla własnych danych i go użył: ZwZ, zestaw danych ICML 2026 do drobnoziarnistej percepcji zbudowany przez destylację z regionu do obrazu. Obie strony potraktowano identycznie. Wylosowano dwanaście tysięcy obrazów i wygenerowano 23 610 pytań; benchmark wykorzystał 1000; z pozostałych uzyskano 8746 par pytań dopasowanych do obrazów, a 254 zduplikowano po obu stronach, aby każdy zbiór liczył 9000. Te same obrazy, te same bazowe checkpointy, te same hiperparametry, te same 140 kroków. Jedyną zmienną są pytania.

Dane ZoomGain przewyższają dane ZwZ w każdym wymiarze raportowanym w artykule. W modelu Qwen3.5-4B wynik held-in zmienia się z 40,99 na 55,81, a średnia held-out na trzynastu benchmarkach — z 58,94 na 63,96; w modelu Qwen3.5-9B te same dwie wartości to 44,07–55,48 oraz 62,53–66,10. To realny, dobrze kontrolowany wynik dotyczący sposobu generowania nadzoru i właśnie ten wkład zapowiada tytuł artykułu.

Qwen3.8-27B nie wnosi nic do tego argumentu. Pojawia się tylko raz — jako pojedynczy wiersz wśród 27 innych modeli poddanych benchmarkowi. Jest wzorcem odniesienia: kompetentnym generalistą mierzonym na rozkładzie, na którym nikt go nie trenował — a nie konkurentem. Sam tekst artykułu wprost mówi, że luka, którą się wykorzystuje, jest wspólna: dystraktory błędów z perspektywy globalnej odpowiadają za 71,7% wszystkich błędnych odpowiedzi we wszystkich 28 modelach, czyli powyżej 54,5%, jakie dałby losowy wybór spośród opcji, a cztery modele zamknięte, które nie brały udziału w budowie benchmarku, wykazują to samo zachowanie na poziomie 75,7% wobec oczekiwanych 57,4%.

Ablacja jest najsilniejszym argumentem przeciwko nagłówkowi.

Autorzy przeprowadzili oczywisty test kontrolny na sobie samych, a wynik jest najbardziej informacyjną tabelą w artykule. Dwukrotnie ponownie wytrenowali model na tych samych 9000 pytań, za każdym razem usuwając jedną z dwóch decyzji projektowych definiujących ich potok przetwarzania: zasadę, że pytania mogą być budowane wyłącznie ze szczegółów niewidocznych w pełnym obrazie, oraz dedykowany etap generowania dystraktorów.

• Pełny potok. ZoomGainBench 55,81; średnia z dziesięciu wydzielonych benchmarków raportowanych przez ablację — 60,96.

• Usunięto dedykowane dystraktory. ZoomGainBench 46,85 — spadek o 8,96 punktu w teście held-in — oraz średnia z dziesięciu benchmarków 59,14, spadek o 1,82.

• Usunięto dowody przyrostowe. ZoomGainBench 49.71, spadek o 6.10 — oraz średnia z dziesięciu benchmarków 58.57, spadek o 2.39.

Oba wybory projektowe dają od sześciu do dziewięciu punktów na ZoomGainBench i około dwóch punktów na całej reszcie. Autorzy podają powód bez ogródek: usunięcie dedykowanych dystraktorów „powoduje największy spadek na held-in ZoomGainBench”, ponieważ „opcje benchmarku są tworzone za pomocą tego samego pipeline’u”. Innymi słowy, około trzech czwartych głównego przyrostu na benchmarku, który dał główny wynik, wynika z tego, że model uczy się odpowiadać na taki rodzaj pytania, jaki pisze pipeline, a nie z tego, że uczy się lepiej widzieć.

To, co przetrwało, jest wciąż znaczące. Na trzynastu benchmarkach, których trening w ogóle nie dotknął, Qwen3.5-4B przechodzi z 57,86 na 63,96 — 6,10 punktu z 9 000 próbek — przy czym największe wzrosty występują dokładnie w rodzinie, na której koncentruje się pipeline: HR-Bench 4K z 81,25 do 87,25, V*Bench z 81,68 do 90,05, VisualProbe z 43,30 do 57,28, O3-Bench z 54,20 do 63,19. Jeden benchmark ulega regresji: TreeBench, z 49,38 do 49,14, o jedną piątą punktu. MMStar, ogólny zestaw multimodalny, zmienia się z 66,80 na 72,53, a BabyVision wciąż wypada słabo na poziomie 21,13.

Ten profil jest sygnaturą wąskiej interwencji i to on powinien być podstawą twojego planowania. Model stał się lepszy w rozróżnianiu drobnych szczegółów w scenie. Nie stał się lepszym generalistą, a arytmetyka, która twierdzi inaczej, to arytmetyka na jego własnym benchmarku.

O co tak naprawdę pyta ten benchmark, bo to właśnie byś kupował

Jeśli zamierzonym zastosowaniem jest sprawdzanie drobnych szczegółów, skład testu ma większe znaczenie niż wynik ogólny, a analiza błędów w artykule jest w tej kwestii wyjątkowo konkretna.

• Małe kotwice dominują. Dokładność rośnie wraz z odsetkiem obrazu zajmowanego przez pytany szczegół w przypadku każdej grupy modeli: uśredniona po wszystkich 28 rośnie od 28,9% w najmniejszym kwartylu, gdzie kotwica pokrywa mniej niż 0,4% obrazu, do 55,2% w największym.

• Zliczanie to zliczanie małych liczb. W 67 z 94 pytań zliczających wartość odniesienia wynosi co najwyżej trzy, a 71,6% błędnych odpowiedzi liczbowych różni się dokładnie o jeden. Trudność polega na rozstrzygnięciu kilku małych przypadków, a nie na wyliczaniu wielu z nich.

• Rozpoznawanie atrybutów to trudna kategoria. Daje najniższy wynik w przypadku 23 z 28 modeli, a losowe zgadywanie spośród opcji dałoby już około 21,5%.

• Tryb awarii polega na podstawieniu wiarygodnym w kontekście sceny. W jednym udokumentowanym przypadku 46 z 56 ocen określa biały przedmiot na desce rozdzielczej ciężarówki jako pomarańczowy — prawdopodobnie w kolorze kamizelki noszonej przez stojącego przed nim pracownika. W innym przypadku niemal każda ocena podaje markę sprzętu hokejowego zamiast logo faktycznie nadrukowanego na odzieży. Modele nie mówią „Nie widzę tego”; odpowiadają na podstawie kontekstu.

Ten tryb awarii jest praktycznym argumentem za tego rodzaju treningiem, ponieważ to ten sam mechanizm, który sprawia, że potok przetwarzania dokumentów po cichu popełnia błąd na zeskanowanej fakturze. Jest to także argument za jego mierzeniem: model, który podstawia wiarygodną odpowiedź, generuje pewny wynik, więc nic w dalszym procesie tego nie wychwyci.

Gdzie Qwen3.8-27B znajduje się w innym pokoju

44.81 jest prawdziwe i jest to również jedyna liczba w tym artykule, na podstawie której Qwen3.8-27B jest tu oceniany. Jego własna karta podaje zupełnie inny zestaw informacji, a żadnej z nich nie można porównać z liczbami ZoomGain, ponieważ oba modele nigdy nie były dla nich uruchamiane na tym samym harnessie.

• Kodowanie agentowe. Terminal Bench 2.1 na poziomie 73.0, SWE-bench Pro 61.7, LiveCodeBench v6 90.3, QwenSWEBench 79.0 — wszystkie zgłoszone przez dostawcę na własnej karcie Qwen, wraz z opublikowanymi obok notatkami dotyczącymi harnessu.

• Rozumowanie i obsługa komputera. GPQA Diamond 89,2, HLE 30,8, OSWorld-Verified 84,3, WebArena-Verified 64,8.

• Praca multimodalna. OmniDocBench 1.5 na poziomie 91,1, rozumowanie CharXiv 83,7 bez wstrzykiwania łańcucha myśli i 90,2 z nim, RealWorldQA 85,9, MathVision 90,0.

• Zakres możliwości. Myślenie domyślnie włączone z reasoning_effort na xhigh, medium lub low, zachowane rozumowanie między turami, natywne wywoływanie narzędzi, wyjścia strukturalne, wejście wideo, 262 144 pozycje natywnie i rozszerzalne do miliona.

ZoomGain-4B nie został oceniony w żadnym z tych obszarów i nie należy oczekiwać, że wypadłby dobrze w którymkolwiek z nich: jego trening nigdy nie obejmował kodu, zadań terminalowych, dokumentów ani wykresów. Nie ma też zgłoszonej oceny w trybie myślenia — własny harness wydania działa z wyłączonym myśleniem przy temperaturze 0, więc wszystko, co o nim opublikowano, opisuje jego zachowanie w trybie bezpośredniej odpowiedzi. Wynik 44.81 modelu Qwen3.8-27B zmierzono w ten sam sposób, z enable_thinking=false, co jest jedyną rzeczą, która czyni porównanie uczciwym, i jedyną, która pozostawia najlepszy tryb Qwena bez testów.

Mówiąc wprost: na osi, dla której wytrenowano ZoomGain-4B, wygrywa on, a na osiach, dla których zbudowano Qwen3.8-27B, modelu 4B w ogóle nie ma w pokoju. Żadna z tych rzeczy nie jest niespodzianką, a traktowanie którejkolwiek z nich jako całej historii sprawia, że strona porównawcza staje się bezużyteczna.

Ile kosztuje uruchomienie każdego z nich — i ten, do którego możesz zadzwonić już dziś

To tutaj te dwa rozchodzą się w sposób, który rozstrzyga o wdrożeniu, a nie o benchmarku.

ZoomGain-4B nie ma nigdzie hostowanego endpointu. Istnieje natomiast repozytorium BF16, 4,54 miliarda parametrów rozłożonych między model językowy a osobny enkoder wizyjny, oraz trzy kompilacje GGUF: Q4_K_M o rozmiarze 2,71 GB, Q8_0 o rozmiarze 4,48 GB i F16 o rozmiarze 8,42 GB, każda w parze z własnym mmproj projektorem — odpowiednio 0,23 GB, 0,36 GB i 0,67 GB — który, jak stwierdza karta GGUF, jest wymagany do wprowadzania obrazów. Uruchomienie go oznacza llama-mtmd-cli lub llama-server z kompilacji llama.cpp wystarczająco nowej, by obsługiwała multimodalność Qwen3.5; uruchomienie go w pełnej precyzji oznacza vLLM 0.19.1 z transformers 5.7.0. Nie ma kompilacji MLX, nie ma ONNX, nie ma modelu wstępnego do dekodowania spekulatywnego ani dostawcy, na którego można by się przerzucić, gdy twoja kompilacja się zepsuje.

Qwen3.8-27B znajduje się w katalogu OrcaRouter, a te wagi uruchamiamy na własnej infrastrukturze, zamiast odsprzedawać czyjś punkt końcowy — dlatego cena na naszej stronie modelu jest ceną, bez doliczanej marży i bez podwyższania ceny katalogowej dostawcy po drodze. To jest 0,33 USD za milion tokenów wejściowych i 2,40 USD za milion tokenów wyjściowych, a także obsługa tekstu, obrazów i filmów na wejściu, 262 144 tokeny kontekstu i jeden klucz. Ten sam klucz daje również dostęp do Qwen3.8-Flash w cenie 0,15 i 0,47 USD za milion przy oknie miliona tokenów oraz do Qwen3.8-Max w cenie 2,00 i 6,00 USD, dzięki czemu obciążenie, które przerasta 27B lub wymaga dłuższego okna, przechodzi bez drugiej umowy i bez zmiany kodu. Failover to element, który ma znaczenie w każdym wdrożeniu produkcyjnym: w przypadku zawieszenia się dostawcy ponowna próba następuje przed rozpoczęciem odpowiedzi, a nie po przekroczeniu limitu czasu żądania.

ZoomGain-4B nie znajduje się w tym katalogu i nie można go wywołać za naszym pośrednictwem. To folder wag, który udostępniasz samodzielnie, a uczciwa wersja tej rekomendacji musi zaczynać się właśnie od tego.

Kto powinien działać, a co wciąż pozostaje niepotwierdzone

Jeśli wykonujesz pracę mocno opartą na obrazach, w której odpowiedź zależy od drobnego szczegółu — numeru części na etykiecie, koloru na ekranie, tego, czy są dwa czy trzy wkręty — model 4,54B, który przeszedł RL specjalnie pod tym kątem, uruchamiany lokalnie i zajmujący 2,71 GB w Q4_K_M, jest wiarygodną, tanią drugą opinią do uruchomienia obok hostowanego modelu ogólnego przeznaczenia. Nie zamiast niego. Typowy błąd specjalisty to pewne siebie podstawienie błędnej wartości, czyli dokładnie ten błąd, który wychwytuje kontrola przez model ogólny, i odwrotnie.

Jeśli Twoje obciążenie pracą to dokumenty, wykresy, zrzuty ekranu, wideo, kod lub agenci, to 27B jest tym, po którego warto sięgnąć, a wynik 44.81 w benchmarku drobnych szczegółów, do którego nikt go nie trenował, nie jest powodem, by sądzić inaczej.

Co pozostaje niepotwierdzone i warte obserwacji, a nie zakładania:

• Licencja wag. Apache 2.0 obejmuje kod. Checkpoint nie ma znacznika licencji, a karta odsyła do „warunków każdego zbioru danych i checkpointu”, nie podając ich. Dopóki to nie zostanie rozwiązane, wdrożenie komercyjne to rozmowa z prawnikiem, a nie pole do zaznaczenia.

• Jakakolwiek reprodukcja. Każda liczba powyżej jest podana przez autorów i uzyskana w ich własnym środowisku testowym. Benchmark i ewaluator są publiczne, więc można to sprawdzić, ale nikt spoza Ant Group i Zhejiang University tego nie sprawdził.

• Czy poprawa uogólnia się poza potokiem przetwarzania. To liczby ze zbioru wydzielonego są tymi, którym należy ufać; są skromne — 6,10 punktu powyżej średniej modelu bazowego z trzynastu benchmarków — i mocno ciążą ku rodzinie drobnoziarnistej, na której koncentrowało się trenowanie. To, czy przełoży się to na Twoje obrazy, pozostaje otwartym pytaniem, na które wydanie nie odpowiada.

• Czy utrzymuje jakość przy Q4. Karta GGUF ostrzega, że kwantyzacja może wpływać na dokładność, a nic opublikowanego nie porównuje skwantyzowanych wersji z punktem kontrolnym BF16 na ZoomGainBench. W przypadku modelu, którego cała wartość polega na drobnych szczegółach, to właśnie ten eksperyment należy przeprowadzić, zanim zaufa się plikowi o rozmiarze 2,71 GB.