ZoomGain-9B vs Gemma 4 12B: wiersz, którego brakuje w benchmarku

Dwadzieścia osiem modeli zostało ocenionych w benchmarku ZoomGain w momencie wydania. Cztery zamknięte systemy czołowe, cztery agentowe modele wizyjne, cztery modele wyspecjalizowane w drobnych szczegółach i szesnaście otwartych modeli ogólnego przeznaczenia. Gemma nie znajduje się wśród nich — ani Gemma 4 12B, ani Gemma 4 31B, ani żaden model z serii E. To pominięcie jest najbardziej użytecznym pojedynczym faktem przy porównywaniu ZoomGain-9B i Gemma 4 12B, ponieważ oznacza, że każda tabela „ZoomGain vs Gemma”, którą można by zbudować, ma w sobie lukę, a ten tekst dotyczy tego, czym te dwa modele faktycznie są, a nie liczby, która nie istnieje.

Oba modele są wystarczająco podobne pod względem rozmiaru, aby skłaniać do porównania, a jednocześnie wystarczająco różne pod względem przeznaczenia, aby porównanie było mylące. ZoomGain-9B to 9-miliardowy checkpoint wizyjno-językowy od inclusionAI, dotrenowany przez uczenie ze wzmocnieniem na 9000 pytaniach pozyskanych z przyciętych fragmentów obrazów, udostępniony 10 listopada 2026 roku wraz z artykułem, ale bez zapowiedzi. G​emma 4 12B to 11,95-miliardowy bezekoderowy zunifikowany model multimodalny G​oogle DeepMind, opublikowany 23 maja 2026 roku na licencji Apache 2.0, z 1,8 mln pobrań i 1730 polubieniami w ciągu ostatniego miesiąca. Jeden to narzędzie badawcze z jedną zademonstrowaną możliwością. Drugi to produkt z licencją, zestawem dokumentacji, sześcioma kwantyzacjami i półrocznym wykorzystaniem przez społeczność.

Czym każde z nich tak naprawdę jest

G​emma 4 12B to interesujący pod względem architektury członek rodziny G​emma 4. Modele E2B, E4B i 31B korzystają z dedykowanych enkoderów — w małych modelach jest to wieża wizyjna o około 150 mln parametrów, w 31B około 550 mln — i przekazują osadzenia do modelu językowego. Model 12B tego nie robi. Rzutuje surowe fragmenty obrazu i przebiegi fali dźwiękowej bezpośrednio w przestrzeń osadzeń dekodera za pomocą lekkich warstw liniowych, co oznacza „Unified” w jego nazwie, i jest to powód, dla którego obsługa dźwięku istnieje w tym modelu, a nie w 31B.

Jego struktura: 48 warstw, rozmiar ukryty 3 840, rozmiar pośredni 15 360, 16 głowic zapytań wobec 8 głowic KV przy wymiarze głowicy 256, słownik 262 144 tokenów i 262 144 maksymalnych pozycji. Czterdzieści z jego czterdziestu ośmiu warstw to uwaga z oknem przesuwnym o rozmiarze 1 024 tokenów; osiem to pełna uwaga, a ostatnia warstwa jest zawsze globalna. Trzy modalności wejściowe, wyjście tekstowe, kontekst 256K i natywna rola systemowa.

ZoomGain-9B zbudowano w odwrotny sposób. Jego trzon tekstowy to Qwen3.5-9B — 32 warstwy, wymiar ukryty 4096, wymiar pośredni 12 288, proporcja 3:1 uwagi liniowej do pełnej, 262 144 maksymalne pozycje — z wieżą wizyjną dołączoną przez model bazowy, a nie wymyśloną tutaj. Na tym trzonie autorzy uruchomili GRPO na 9000 pytań, których odpowiedzi zależą od szczegółów widocznych dopiero po powiększeniu wybranego obszaru. Model nie był trenowany jako ogólny asystent i nie jest przedstawiany w takiej roli.

• Parametry — G​emma 4 12B 11,95B vs ZoomGain-9B około 9,4B (18,82 GB w BF16 w porównaniu z rozmiarem pliku 12B).

• Modalności — Gemma 4 12B obsługuje tekst, obrazy, wideo i audio; ZoomGain-9B obsługuje tekst i obrazy. Audio nie jest luką w implementacji ZoomGain — jest nieobecne w jego konfiguracji.

• Kontekst — Gemma 4 12B ma udokumentowane 256K. Karta modelu ZoomGain-9B nie dokumentuje niczego; jej konfiguracja dziedziczy 262 144 pozycje z trzonu Qwen3.5-9B, co nie jest tym samym co przetestowana właściwość dostrojonego checkpointu.

• Licencja — Gemma 4 12B Apache 2.0 z plikiem licencji o podanej nazwie. ZoomGain-9B: kod Apache 2.0, warunki dotyczące checkpointów odesłane do karty, która nie zawiera znacznika licencji.

• Dystrybucja — G​emma 4 12B jest dostarczany jako BF16, QAT q4_0 GGUF o rozmiarze 6,98 GB z projektorem 0,18 GB, a kompilacje pochodzą z ggml-org, unsloth i litert; ZoomGain-9B jest dostarczany jako BF16 oraz GGUF w wariantach F16, Q8_0 i Q4_K_M od 11 listopada.

• Dokumentacja — Gemma 4 12B ma blog z okazji premiery, raport techniczny, cookbooki dla frameworków oraz stronę licencji. ZoomGain-9B ma publikację, repozytorium i kartę modelu, która nie podaje długości kontekstu.

Dlaczego brakujący wiersz to nie przeoczenie, które można zbyć machnięciem ręki

Benchmark ZoomGain powstał, by ujawnić jedną słabość: model, który nie potrafi rozpoznać małego szczegółu w dużym kadrze. Autorzy oceniają rozpoznawanie atrybutów, liczenie i OCR na 1000 pytań i 941 obrazach, w języku angielskim i chińskim, stosując dokładne dopasowanie w przypadku pytań wielokrotnego wyboru i liczb całkowitych oraz ANLS z progiem 0,7 dla OCR. W tym teście najlepszy z dwudziestu ośmiu modeli osiąga 61,08, a tylko pięć przekracza 50.

Nie uruchomiono na nim modelu G​emma 4 12B. Żadnego innego modelu G​emma też nie. To pozostawia ci dwie opcje, a tylko jedna z nich jest uczciwa. Możesz zestawić wyniki modelu G​emma — 69.1 w MMMU Pro i 79.7 w MATH-Vision — ze średnią 66.10 ZoomGaina na zbiorze wydzielonym i nazwać to porównaniem; to jednak porównywanie szerokiego zestawu testów multimodalnych ze średnią trzynastu testów percepcji i daje liczbę pozbawioną znaczenia. Albo możesz powiedzieć prawdę: nikt nie zmierzył tych dwóch modeli tą samą miarą, a jeśli to pytanie jest dla ciebie ważne, benchmark można pobrać i uruchomić samodzielnie w jedno popołudnie.

Druga opcja jest tańsza, niż się wydaje. ZoomGainBench jest dostarczany w postaci adnotacji, obrazów i ewaluatora; ewaluacja przyjmuje punkt końcowy zgodny z OpenAI albo lokalny checkpoint, działa w temperaturze 0 z wyłączonym trybem myślenia i raportuje wyniki dla poszczególnych pytań. G​emma 4 12B działa pod vLLM lub llama.cpp. To jest rzeczywiste bezpośrednie porównanie, które możesz przeprowadzić, a sam fakt, że autorzy benchmarku nie uwzględnili G​emmy, jest wymowny — model był dostępny przez sześć miesięcy, zanim opublikowano ten benchmark.

Gdzie Gemma 4 12B ma liczby i co one oznaczają

Są to własne dane Google z karty modelu, niepowtórzone przez neutralne laboratorium:

• MMMU Pro 69.1 — multimodalny zestaw testów rozumowania, a zarazem najbliższe temu, co na karcie modelu G​emma można uznać za deklarację kompetencji wizualnych.

• MATH-Vision 79.7 — rozumowanie matematyczne na diagramach i obrazach.

• OmniDocBench 1.5 średni dystans edycyjny 0,164 — parsowanie dokumentów, gdzie niższa wartość jest lepsza; model 31B osiąga 0,131.

• MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 77,5 bez narzędzi — część tekstowa, której ZoomGain-9B w ogóle nie deklaruje.

• średnia τ² 69,0 oraz natywne wywoływanie funkcji — agentowe korzystanie z narzędzi.

• MRCR v2 eight-needle przy 128K, 43,4% — wyszukiwanie w długim kontekście, oraz liczba, która najbardziej podważa nagłówek o 256K.

To ostatnie zasługuje na podkreślenie. Okno 256K to nie 256K użytecznej uwagi, a opublikowanie przez G​oogle wyniku wyszukiwania, który spada do 43,4% przy 128K, to więcej szczerości, niż oferuje większość kart modeli. Jeśli Twoje obciążenie polega na „znalezieniu jednego faktu w dużym dokumencie”, okno modelu G​emma 4 12B jest realne, ale jego skuteczność przywoływania na głębokości jest przeciętna, a dla ZoomGain-9B nie istnieje równoważny pomiar, ponieważ nie przeprowadzono na nim oceny długiego kontekstu.

Gdzie ZoomGain-9B podaje liczby, wraz z zastrzeżeniem dołączonym do każdej z nich

Wszystkie zgłoszone przez autorów, na udostępnionym środowisku testowym:

• HR-Bench 4K 90,25, w porównaniu z 82,13 dla Qwen3.5-9B, z którego pochodzi. Percepcja wysokiej rozdzielczości i najważniejsza obietnica tego wydania.

• V*Bench 93,19, wzrost z 86,91. Wykrywanie małych obiektów w zagraconych scenach.

• MMVP 70,00, w górę z 60,00. Test par obrazów, w którym dwa niemal identyczne zdjęcia mają różne poprawne odpowiedzi — najbliższy istniejący odpowiednik tego, do czego wytrenowano ZoomGain.

• ZoomGainBench 55.48, w porównaniu z 32.13. Kolumna „held-in”, zawyżona z samego założenia, a autorzy sami to przyznają.

• Średnia na zbiorze testowym 66,10 w trzynastu benchmarkach, w porównaniu z 59,75. Liczba, która coś znaczy.

Zastrzeżenia, w kolejności tego, jak bardzo powinny cię niepokoić. Po pierwsze, nikt spoza listy autorów nie odtworzył żadnego z tych wyników. Po drugie, benchmark i dane treningowe pochodzą z jednego potoku przetwarzania, dlatego artykuł wyklucza własny benchmark ze średniej na zbiorze wydzielonym — to dyscyplina warta uznania. Po trzecie, zbiór treningowy liczy 9000 rekordów, co jest wystarczająco małe, by zyski mogły być wąskie, nawet tam, gdzie są realne. Po czwarte, model nie ma hostowanego endpointu i, w momencie pisania, ma puste mapowanie dostawcy na Hubie.

Koszt — w kategoriach, które faktycznie o nim decydują

Gemma 4 12B w QAT q4_0 ma 6,98 GB plus projektor 0,18 GB. To mieści się na laptopie z 16 GB z zapasem, a na karcie 8 GB z trudem. ZoomGain-9B w Q4_K_M ma 5,63 GB plus 0,52 GB projektora; w Q8_0 ma 9,53 GB plus 0,62 GB. Model 9B jest mniejszym plikiem do pobrania przy każdej precyzji, ponieważ jest mniejszym modelem, a jego pień oparty w dużej mierze na uwadze liniowej oznacza krótszy cache KV przy długich sekwencjach, co ma znaczenie, jeśli podajesz mu obrazy o wysokiej rozdzielczości, a nie długi tekst.

Żadnego z nich nie można dziś wywołać przez nas. Gemma 4 12B nie znajduje się w katalogu OrcaRouter, podobnie jak ZoomGain-9B, więc uczciwie rzecz ujmując, oba to decyzje o self-hostingu lub API dostawcy. To, co hostujemy, to Gemma 4 26B A4B za 0,06 USD za milion tokenów wejściowych i 0,33 USD za milion tokenów wyjściowych z oknem 262K — ta sama rodzina, czterokrotnie większy budżet aktywnych parametrów i uczciwy sposób, by sprawdzić, czy profil przetwarzania dokumentów Gemmy pasuje do Twojego pipeline'u, zanim cokolwiek pobierzesz. Jeden klucz obejmuje to oraz ponad 200 innych modeli w cenie katalogowej bez narzutu, więc porównanie endpointu wizyjnego i taniego modelu tekstowego kosztuje jedno popołudnie, a nie trzy umowy.

Wybieraj według stanowiska, a nie według rangi.

Jeśli zadanie dotyczy drobnego szczegółu na dużym obrazie — numeru seryjnego na urządzeniu, tekstu na odległej tablicy, koloru jednego obiektu spośród czterdziestu, liczby okien na fasadzie — to ZoomGain-9B jest do tego stworzony, z zastrzeżeniem, że jego dowody są zgłaszane przez niego samego, a jego licencję trzeba przeczytać. Jego architektura jest zoptymalizowana dokładnie pod tryb awarii, na który natrafiasz.

Jeśli chodzi o jakiekolwiek inne zadanie wizualne — czytanie wielostronicowego dokumentu, opisywanie sceny, odpowiadanie na pytanie o wykres, przyjmowanie dźwięku, a także obrazów, wywoływanie funkcji później — G​emma 4 12B jest gotowym produktem, a porównanie przestaje być bliskie. Ma pretrenowanie w 140 językach, natywne wywoływanie narzędzi, okno 256K z opublikowaną krzywą wyszukiwania, sześć kwantyzacji i licencję, którą można przekazać działowi prawnemu bez wyjaśnień.

Jeśli zadanie łączy oba aspekty, uczciwa odpowiedź brzmi, że nie są to alternatywy, lecz dwie warstwy jednego potoku. Realistyczny agent dokumentowy w 2026 r. parsuje za pomocą ogólnego modelu multimodalnego i eskaluje istotne wycinki do specjalisty od percepcji — a właśnie w eskalacji tkwi ta interesująca inżynieria, bo oznacza decydowanie, kiedy szczegół jest wart drugiego wywołania. To problem routingu i dlatego się nim zajmujemy: reguła, która kieruje tanie wywołanie do taniego modelu, a eskalację do dowolnego endpointu spełniającego Twoje kryteria, to jedna zmiana konfiguracji, a przełączanie awaryjne oznacza, że zawieszony specjalista nie zatrzymuje potoku.

Werdykt, sformułowany w postaci, jaką wspierają dowody

Gemma 4 12B jest bezpieczniejszym zakupem pod każdym względem, który nie jest benchmarkiem percepcji: licencja, dokumentacja, dystrybucja, zakres, społeczność oraz fakt, że Google publikuje liczby, z którymi można polemizować. ZoomGain-9B to bardziej interesujący model i prawdopodobnie lepsze narzędzie do jednego konkretnego zadania, w oparciu o dowody, których nie sprawdził jeszcze nikt, kto nie napisał artykułu.

Właściwy następny krok zależy od tego, z którym z tych zdań się zgadzasz. Jeśli z pierwszym, pobierz QAT GGUF i przestań czytać. Jeśli z drugim, pobierz ZoomGainBench wraz z wagami — 941 obrazów, 1000 pytań, ewaluator i liczbę, którą możesz samodzielnie uzyskać — i przepuść G​emma przez ten zestaw. Byłbyś wtedy pierwszą osobą, która to zrobiła, i wiedziałbyś o obu modelach coś, czego obecnie nie wie żaden z dostawców.