ZoomGain-9B vs MathForm 8B: Dwa checkpointy 9B, które nie potrafią wzajemnie wykonywać swoich zadań

Za ZoomGain-9B i MathForm-8B kryje się podchwytliwe pytanie: oba to w przybliżeniu dziewięciomiliardowe fine-tuny opublikowane w tym samym osiemdziesięciodniowym oknie, oba to wydane przez chińskie laboratoria publikacje badawcze na licencji zbliżonej do Apache-2.0, z dołączonym artykułem, oba były dotrenowywane przez uczenie ze wzmocnieniem na kilku tysiącach przykładów i oba mają wynik benchmarku, który wydaje się niemożliwy jak na ich rozmiar. Pokusa, by je uszeregować, jest duża. Problem w tym, że jedno z nich nigdy nie widziało obrazu, a drugie nigdy nie widziało dowodu w Lean, więc ten ranking nie ma osi.

ZoomGain-9B to checkpoint wizyjno-językowy inclusionAI z 10 listopada 2026 r., wytrenowany metodą GRPO na 9000 pytań wyodrębnionych ze szczegółów przyciętych obrazów, a jego najwyższy zgłoszony wynik to 90,25 na HR-Bench 4K. MathForm-8B to autoformalizator OpenBMB z 14 sierpnia 2026 r., wytrenowany przez nadzorowane dostrajanie, a następnie uczenie ze wzmocnieniem na około 367 000 przykładów Lean 4, a jego najwyższy zgłoszony wynik to średnia 88,06% w pass@8 dla sprawdzania składni w sześciu benchmarkach autoformalizacji. Żadna z tych liczb nie mówi nic o drugim modelu. Łączy je coś użyteczniejszego niż ranking: oba wydania przedstawiają niezwykle podobne twierdzenia o tym, jak niewielkie dostrojenie może pokonać znacznie większy model ogólnego przeznaczenia, a sposoby uzasadniania tych twierdzeń różnią się na tyle, że pozwalają stwierdzić, któremu z nich w czym zaufać.

Puste kolumny, nazwane

ZoomGainBench nie zawiera żadnego modelu wyłącznie tekstowego. To zestaw pytań dotyczących fotografii — rozpoznawania atrybutów, liczenia i OCR — więc model bez enkodera wizyjnego nie może zostać zgłoszony, a MathForm-8B nie został. I odwrotnie, sześć benchmarków ewaluacyjnych MathForm to FormalMATH, ProverBench, CombiBench oraz trzy podziały FATE, wszystkie będące zadaniami tłumaczenia matematyki w języku naturalnym na Lean-4. ZoomGain-9B nigdy nie był uruchamiany na żadnym z nich i nie ma powodu sądzić, że poradziłby sobie dobrze, ponieważ nic w jego treningu nie obejmowało języków formalnych.

To nie jest techniczny szczegół dotyczący benchmarków. To cały kształt tej decyzji. Jeśli Twoje zadanie polega na wygenerowaniu obrazu i przyjęciu krótkiej odpowiedzi faktograficznej, MathForm-8B jest modelem tekstowym, który nie może się z nim zmierzyć. Jeśli Twoje zadanie polega na przyjęciu twierdzenia matematycznego i wygenerowaniu możliwego do maszynowego sprawdzenia dowodu w Lean 4, ZoomGain-9B jest modelem wizyjnym, którego nigdy o to nie zapytano. Nie ma tu żadnego pokrycia, które można by zmierzyć, co oznacza, że uczciwe porównanie dotyczy konstrukcji, dowodów i kosztu operacyjnego — a te okazują się znacznie się różnić.

Dwie receptury RL, obie niewielkie, i czym się między nimi różnią

Zbiór treningowy ZoomGain obejmuje 9 000 rekordów na 7 713 obrazach źródłowych. Jedna epoka, rozmiar partii 64, osiem przebiegów na pytanie, GRPO z nagrodą sprawdzającą, czy wybrana opcja odpowiada odpowiedzi referencyjnej. Dane zostały wygenerowane, a nie oznaczone: kilka modeli lokalizuje region, wycinki są opisywane i porównywane z opisami całej sceny, a szczegóły ujawniane przez wycinek stają się pytaniami o cały obraz. Udział człowieka ograniczał się do przesiewania — artykuł wprost stwierdza, że nie przeprowadzono ręcznej edycji pytań i odpowiedzi.

Zbiór treningowy MathForm to FormalVerse, około 367 000 zweryfikowanych przykładów Lean 4. Najpierw nadzorowane dostrajanie, następnie uczenie ze wzmocnieniem z informacją zwrotną z kompilacji Lean i kontroli spójności semantycznej. Podczas konstruowania danych korzystano z wyszukiwania w Mathlib przed generowaniem oraz z iteracyjnego udoskonalania po nim, a diagnostyka kompilatora sterowała poprawkami.

• Model bazowy — ZoomGain-9B powstał w wyniku treningu końcowego na bazie Qwen3.5-9B (32 warstwy, wymiar ukryty 4096, wymiar pośredni 12288, 262144 pozycje, schemat uwagi liniowej do pełnej w stosunku 3:1). MathForm-8B powstał w wyniku treningu końcowego na bazie Qwen3-8B (36 warstw, wyłącznie pełna uwaga, wymiar ukryty 4096, wymiar pośredni 12288, 40960 pozycji, 32 głowice zapytań wobec 8 głowic KV przy wymiarze głowicy 128, rope theta 1e6).

• Wspólne wymiary — oba dziedziczą od swoich rodziców Q​wen ukrytą szerokość 4,096 i pośrednią szerokość 12,288, co jest najbardziej rzucającym się w oczy zbiegiem okoliczności między nimi i stanowi właściwość rodziny, a nie dostrajania.

• Słownictwo — 248,320 tokenów dla ZoomGain-9B wobec 151,936 dla MathForm-8B. Słownictwo MathForm pochodzi z generacji Qwen3 i ma to znaczenie: kod Lean 4, symbole matematyczne Unicode i tokeny dowodów tokenizują się inaczej w każdym z nich.

• Kontekst — karta modelu ZoomGain-9B nie podaje żadnych informacji, a jego konfiguracja deklaruje 262 144; konfiguracja MathForm-8B deklaruje 40 960, a jego zalecane polecenie serwowania jest ograniczone do 16 384, przy max_new_tokens wynoszącym 16 384 tokeny. W przypadku autoformalizacji wiążącym ograniczeniem jest długość wyjścia, a nie wejścia.

• Modalność — obraz i tekst na wejściu, tekst na wyjściu dla jednego; tekst na wejściu, tekst na wyjściu dla drugiego.

• Licencja — ZoomGain-9B: kod Apache 2.0, warunki dotyczące checkpointów odroczone i brak znacznika licencji w metadanych Hub. MathForm-8B: Apache 2.0 z plikiem LICENSE w repozytorium.

• Dystrybucja — ZoomGain-9B oferuje BF16 oraz GGUF w wersjach F16, Q8_0 i Q4_K_M. MathForm-8B ma BF16 safetensors w czterech shardach o łącznej wielkości około 16,4 GB oraz społecznościowe kompilacje GGUF i MLX, ale nie ma własnej kwantyzacji dostarczanej przez dostawcę.

Liczby MathForm-8B i dlaczego łatwiej je sprawdzić, niż się wydają

OpenBMB raportuje średnio 88,06% dla syntax-check pass@8 i 72,37% dla consistency-check pass@8 w swoich sześciu benchmarkach. W tej samej tabeli ReForm-8B osiąga 81,76 i 66,21, Goedel-Formalizer-V2-32B osiąga 78,28 i 63,74, a StepFun-Formalizer-32B osiąga 63,65 i 44,47. Trzy podziały FATE to miejsce, w którym wyspecjalizowane modele się załamują, a MathForm nie: FATE-X osiąga 54,00 w syntax i 37,00 w consistency w porównaniu z 45,00 i 21,00 ReForm-8B.

Dwie rzeczy czynią te liczby bardziej wiarygodnymi niż typowa tabela dostawcy. Po pierwsze, zadania są mechaniczne w sposób, w jaki zadania percepcji nie są — sformułowanie w Lean 4 albo się kompiluje, albo nie, a kontrola spójności porównuje znaczenie z twierdzeniem źródłowym. Benchmark, który jest częściowo weryfikowalny maszynowo, trudniej ocenić optymistycznie. Po drugie, w artykule stwierdzono, że model tylko SFT wypada gorzej: MathForm-8B-SFT uzyskuje 84,38 w składni i 66,53 w spójności, więc etap RL wykonuje mierzalną pracę, a nie tylko ozdabia gotowy model.

Jest też porównanie warte przytoczenia, ponieważ podważa sposób, w jaki model sam się przedstawia. Na tych samych sześciu benchmarkach Qwen3.7-Plus — komercyjny endpoint ogólnego przeznaczenia — uzyskuje 86,33 w składni i 83,38 w spójności. MathForm-8B pokonuje go w składni o 1,7 punktu, a przegrywa w spójności o 11 punktów. Wyspecjalizowany fine-tune wygrywa w zadaniu dokładnego dopasowania, a przegrywa w zadaniu wymagającym, by formalizacja znaczyła to samo co źródło. Jeśli Twój potok przetwarzania potrzebuje sformułowania, które się kompiluje, mały specjalista jest okazją. Jeśli potrzebuje takiego, które jest wierne, ogólny model z wyszukiwaniem może wciąż mieć przewagę.

Liczby ZoomGain-9B, z zastosowaniem tej samej metodyki rozliczania

Autorzy podają 90,25 na HR-Bench 4K wobec 82,13 dla modelu bazowego, 93,19 na V*Bench wobec 86,91, 56,31 na VisualProbe wobec 44,66, 70,00 na MMVP wobec 60,00 i 68,12 na O3-Bench wobec 56,52. Średnia held-out po trzynastu benchmarkach wynosi 66,10 wobec 59,75. W ZoomGainBench — benchmarku zbudowanym tym samym potokiem co dane treningowe — model uzyskuje 55,48, a artykuł oznacza tę kolumnę jako „Held-in”, zamiast ukrywać tę różnicę.

Różnica strukturalna względem dowodów MathForm polega na tym, że benchmark ZoomGain nie jest weryfikowalny maszynowo w ten sam sposób. Odpowiedzi wielokrotnego wyboru są oceniane przez dokładne dopasowanie, liczenie przez dokładne dopasowanie do liczby całkowitej, a OCR przez ANLS — ale same pytania są generowane, a własna kontrola autorów polega na tym, że odpowiedzi można zweryfikować na przyciętym widoku. Wygenerowane pytanie ze zweryfikowaną odpowiedzią wciąż jest wygenerowanym pytaniem.

Oba wydania powstały częściowo z wykorzystaniem modeli jako adnotatorów. Dodatek ZoomGain wymienia role: Qwen3.5-397B-A17B do opisywania scen, ugruntowywania i końcowej weryfikacji MCQ; Qwen3-VL-235B-A22B-Instruct i Kimi-K2.6 do weryfikacji na podstawie wycinków i odpowiadania w trybie ślepym; DeepSeek-V4-Pro do klastrowania dystraktorów. FormalVerse od MathForm powstał dzięki potokowi, który wyszukuje w Mathlib, a następnie pozwala kompilatorowi odrzucać błędne generacje. Jeden potok opiera się na weryfikatorze, którego nie można nakłonić do zgody; drugi opiera się na modelach sprawdzających pracę innych modeli, z wyłącznie ludzkim przesiewem.

Serwując je – w kategoriach, o które zapyta twój zespół operacyjny

ZoomGain-9B ma 18,82 GB w BF16 i działa w vLLM 0.19.1 z transformers 5.7.0 — dokładnie w wersjach autorów — albo w kompilacji llama.cpp z obsługą multimodalną Qwen3.5, wykorzystując pliki GGUF oraz projektor. Jego trzon w dużej mierze oparty na uwadze liniowej utrzymuje pamięć podręczną KV na umiarkowanym poziomie przy długich sekwencjach, co ma znaczenie, gdy pojedyncze żądanie zawiera obraz o wysokiej rozdzielczości, a nie długi dokument.

MathForm-8B ma około 16,4 GB w BF16; jest serwowany przez vLLM z maksymalną długością modelu 16 384 lub przez SGLang z tym samym kontekstem, przy temperaturze 0,6 i top-p 0,95 oraz budżecie wyjściowym 16 384 tokenów. Jego ewaluacja wymaga działającego Kimina Lean Server i Lean 4.21.0, i to jest ta część, której ludzie nie doceniają: nie tylko wdrażasz model — wdrażasz obok niego toolchain Lean. Informacja zwrotna z kompilacji jest sygnałem nagrody podczas treningu i testem akceptacyjnym podczas ewaluacji, dlatego pipeline bez Lean nie może zmierzyć, czy ten model działa.

Żaden z nich nie znajduje się dziś w katalogu OrcaRouter i ten artykuł nie twierdzi inaczej. Możemy natomiast zapewnić routing dla otaczającej pracy. Potok przetwarzania dokumentów, który odczytuje zeskanowaną stronę, a następnie sprawdza znajdujące się na niej obliczenia, ma dwie części: wywołanie modelu wizyjnego i wywołanie modelu rozumującego. Jeden klucz do ponad 200 modeli w cenie katalogowej dostawcy bez doliczanej marży, reguła routingu, która kieruje każdą z tych części do punktu końcowego spełniającego Twoje wymagania, oraz automatyczne przełączanie awaryjne, jeśli którakolwiek z nich utknie — to warstwa leżąca u podstaw obu tych części i dlatego dwumodelowy potok nie musi oznaczać dwóch dostawców i dwóch umów.

Który pobrać?

Wybierz MathForm-8B, jeśli Twój problem ma charakter formalny, a Twój łańcuch narzędzi jest już oparty na Lean. Dowody są mocniejsze, licencja jest jednoznaczna, wynik można zweryfikować maszynowo, a 11-punktowy deficyt spójności względem modelu ogólnego to realne ograniczenie, o którym powinieneś wiedzieć, zanim podejmiesz decyzję. Wybierz go zwłaszcza w przypadku podziałów FATE, gdzie wyspecjalizowane baseline’y spadają do 21% spójności, a on utrzymuje 37%.

Wybierz ZoomGain-9B, jeśli Twoim problemem jest szczegół na obrazie, a Twoja odpowiedź jest krótka. Jego wyniki na wydzielonym zbiorze są wiarygodne przy 9 000 próbek, benchmark można pobrać, więc możesz samodzielnie zweryfikować to twierdzenie, a licencja to jedyna rzecz, którą musisz przeczytać przed wdrożeniem. Nie wybieraj go, oczekując ogólnego asystenta wizyjnego; nic w testach wydania tego nie sprawdza.

A jeśli liczyliście na werdykt, który z nich jest lepszym modelem z dziewięcioma miliardami parametrów, informacje o wydaniu odpowiadają na to lepiej niż jakikolwiek ranking: zbudowano je do sprawdzania względem różnych rodzajów prawdy odniesienia, a tylko jedna z tych prawd odniesienia się kompiluje.