AesCode-8B vs MathForm-8B: Oba to dostrojone modele 8B, których wyniki może sprawdzić maszyna

AesCode-8B i MathForm-8B pojawiły się w odstępie ośmiu tygodni od siebie, oba z repozytoriów, a nie z komunikatów prasowych, a ten zbieg okoliczności jest ciekawszy, niż wygląda na pierwszy rzut oka. Oba startują z checkpointu rodziny Qwen3. Oba przeznaczają cały swój budżet treningowy na wąski kształt wyjścia. I oba zostały zbudowane wokół weryfikatora: MathForm-8B jest trenowany według werdyktu kompilatora Lean 4, a AesCode-8B jest oceniany przez renderowanie każdej strony kandydackiej w przeglądarce w piaskownicy i odczytywanie z powrotem DOM, obliczonych stylów i zrzutu ekranu. Żaden z nich nie jest chatbotem i żaden nie próbuje nim zostać. To, co je odróżnia, to to, co maszyna może zweryfikować, a czego nie — a w przypadku nowszego z nich, co się dzieje, gdy połowa wyniku pochodzi od sędziego, którego nikt nie nazwał.

Zapisy dotyczące publikacji nie są symetryczne. MathForm-8B pochodzi od OpenBMB, a jego karta modelu podaje datę wydania 2026-08-14; bazuje na Qwen3-8B i został wytrenowany na FormalVerse, korpusie około 367 000 zweryfikowanych przykładów Lean 4, z nadzorowanym dostrajaniem, po którym następuje uczenie ze wzmocnieniem wykorzystujące kompilację Lean i kontrole spójności semantycznej jako sygnał nagrody. AesCode-8B nie zawiera daty wydania nigdzie w swoich plikach. Microsoft utworzył repozytorium Hugging Face w dniu 2026-09-29, zatwierdził wagi o 03:35 UTC w dniu 2026-10-07 z komunikatem „Wydanie AesCode-8B” i opublikował kod treningowy na GitHubie w dniu 2026-10-08. Żadnemu z tych zdarzeń nie towarzyszyło ogłoszenie, cytat w karcie modelu brzmi „W trakcie recenzji, 2027”, a repozytorium w chwili pisania tego tekstu miało dwa pobrania. Został dostrojony na podstawie Qwen3-VL-8B-Instruct, co warto zauważyć właśnie dlatego, że nie jest to ten sam przodek co w przypadku MathForm-8B.

Pochodzenie wyjaśnia większość podziału.

Qwen3-8B i Qwen3-VL-8B-Instruct mają wspólną generację i nazwę rodziny, ale nie zadanie. Qwen3-8B to generalista wyłącznie tekstowy: około 8,2 miliarda łącznych parametrów, z czego około 7 miliardów to parametry niebędące embeddingami, mechanizm uwagi z grupowaniem zapytań, natywny kontekst 32 tys. tokenów rozszerzalny do 131 tys. przez YaRN oraz trening obejmujący 119 języków i dialektów. Qwen3-VL-8B-Instruct to pokrewny model wizyjno-językowy i to właśnie checkpoint, od którego startuje AesCode-8B — opublikowana konfiguracja AesCode to wprost recepta Qwen3-VL z 36 warstwami ukrytymi, rozmiarem ukrytym 4096, 32 głowami uwagi z 8 głowami klucz-wartość i słownikiem o rozmiarze 151 936 tokenów.

To rozwidlenie decyduje o stronie wejściowej obu specjalistów, zanim którykolwiek z nich został wytrenowany. MathForm-8B przyjmuje tekst i generuje tekst w formalnej składni. AesCode-8B przyjmuje tekst oraz opcjonalny obraz referencyjny i generuje dokument.

• Base — MathForm-8B: Qwen3-8B, tylko tekst. AesCode-8B: Qwen3-VL-8B-Instruct, obraz i tekst na wejściu.

• Parametry — MathForm-8B: około 8,2 mld. AesCode-8B: około 8,8 mld w bf16 w czterech shardach, co Hugging Face zaokrągla do 9 mld.

• Dane treningowe — MathForm-8B: FormalVerse, około 367 tys. zweryfikowanych przykładów Lean 4. AesCode-8B: 3000 demonstracji typu cold-start, a następnie uczenie ze wzmocnieniem GDPO na 7408 promptach przez 400 kroków.

• Co sprawdza wynik — MathForm-8B: kompilator Lean 4 oraz kontrola spójności semantycznej względem pierwotnego problemu. AesCode-8B: renderowanie w piaskownicy Playwright z sześcioma deterministycznymi weryfikatorami i jedną rubryką ocenianą przez model.

• Licencja — obie na licencji Apache 2.0, obie bez ograniczeń dostępu, obie dziedziczące po szkielecie rodziny Qwen3.

• Hostowane gdziekolwiek — ani jedno, ani drugie, o ile możemy stwierdzić.

Dwa różne znaczenia słowa „verifiable”

To jest ta różnica, nad którą warto się dłużej zatrzymać, ponieważ „machine-checkable” bywa używane w obu przypadkach, a nie oznacza tego samego.

Sprawdzacz MathForm-8B to asystent dowodzenia. Lean 4 albo akceptuje sformułowanie, albo nie, a werdykt nie jest kwestią opinii, rubryki czy gustu sędziego. Pętla treningowa jest nakierowana na ten sygnał: etap SFT na FormalVerse uczy odwzorowania nieformalnego problemu na formalne sformułowanie twierdzenia z nagłówkiem importów i nazwanym twierdzeniem, a etap RL wyostrza je za pomocą kompilacji oraz kontroli spójności, która sprawdza, czy formalizacja wciąż mówi to, co mówił pierwotny problem. Kompilacja jest binarna i odtwarzalna przez każdego, kto ma tę samą wersję Lean. Kontrola spójności to łagodniejsza połowa i to właśnie w niej raportowane liczby słabną — co dokładnie pokazują opublikowane wyniki.

Weryfikator AesCode-8B jest rendererem. Kandydaci są renderowani w piaskownicy przeglądarki Playwright z zablokowanymi żądaniami zewnętrznymi, a harness odczytuje z powrotem DOM, style obliczone, bounding boxy, status konsoli i zrzut ekranu. Sześć deterministycznych kanałów ocenia to, co da się przeanalizować — wykonanie, dokładny tekst, zachowanie na granicach, dane tabel i wykresów, układ semantyczny, białe znaki — a siódmy, Visual Graph Rubric, ocenia geometrię i rozmieszczenie za pomocą pytań tak/nie opartych na grafie. Tabele muszą być prawdziwymi tabelami HTML, a wykresy specyfikacjami ECharts, co jest ograniczeniem wykonującym prawdziwą pracę: wymusza ono na danych wyjściowych kształt, który weryfikator może przeanalizować. Deterministyczna połowa jest naprawdę odtwarzalna. Połowę wizualną ocenia model językowo-wizyjny, którego tożsamości dokumentacja nie podaje, co oznacza, że nikt spoza laboratorium nie może jej odtworzyć.

Zatem uczciwe porównanie nie polega na tym, że „jeden jest zweryfikowany, a drugi nie”. Polega ono na tym, że podstawowym sygnałem MathForm-8B jest kompilator, a jego wtórnym sygnałem jest kontrola spójności, podczas gdy podstawowym sygnałem AesCode-8B jest zestaw deterministycznych asercji DOM, a jego wtórnym sygnałem jest opinia modelu, zapakowana w ten sam ogólny wynik.

Co każdy z nich raportuje i ile to jest warte

MathForm-8B raportuje średni wynik Pass@8 na poziomie 88,06% w ramach kontroli składni i 72,37% w ramach kontroli spójności w sześciu benchmarkach. Ciekawy jest rozkład na poszczególne benchmarki: 95,06% spójności na FormalIMATH i 94,83% na ProverBench, a następnie 63% na FATE-H i 37% na FATE-X. Te dwa ostatnie to trudne, realistyczne stwierdzenia, a spadek z przedziału 90-kilku do 30-kilku procent jest uczciwym obrazem tej zdolności. Wszystkie te liczby są raportowane przez dostawcę i nieodtworzone, a zestaw benchmarków jest przechylony w stronę łatwiejszych zbiorów.

AesCode-8B raportuje 82,94 punktu ogółem w 300-próbkowej rubryce infografik Microsoftu — Tekst 94,06, Granica 88,36, Wykres 87,79, Reguła 90,07, Treść 86,41, Układ 87,80, Styl 53,21, Wizualnie 75,80 — przy trzech generacjach na prompt i bez selekcji. Microsoft podaje też, że bije on warunkowanego referencją GPT-5.5 z wynikiem 81,28 i 80,3 w tej samej rubryce, że poważna awaria przepełnienia kanwy powtarza się w 4,3% z 300 próbek oraz że 22,4 punktu w kategorii Wizualnie dzieli towarzyszący model 32B od jego własnego backbone'u. Każda liczba pochodzi od dostawcy, na zadaniu dostawcy, oceniana względem kanałów zaprojektowanych przez dostawcę.

Tych dwóch zestawów liczb nie można ze sobą w ogóle porównywać. Nie ma wspólnego zadania, wspólnej metryki ani wspólnego sędziego. Zestawienie 88,06% obok 82,94% byłoby porównywaniem wskaźnika zaliczeń formalizacji w Lean z ogólnym wynikiem infografiki, a żaden z modeli nigdy nie był oceniany pod kątem tego, co robi drugi.

Jedna asymetria zasługuje na nazwanie, ponieważ działa przeciwko nowszemu modelowi. Flagowa metryka MathForm-8B ma wbudowanego zewnętrznego arbitra: każdy może zainstalować Lean, wczytać te same benchmarki i sprawdzić, czy twierdzenia się kompilują. Flagowa metryka AesCode-8B już nie — deterministyczne weryfikatory mogłyby zostać ponownie uruchomione przez zdeterminowanego outsidera, ale wizualna połowa wyniku zależy od sędziego, którego artykuł nie wskazał. Nieodtworzony odsetek pomyślnych kompilacji to słabsze twierdzenie niż tabela benchmarków, ale wciąż silniejsze niż nieodtworzony wynik rubryki z anonimowym oceniającym w środku.

Ich uruchamianie to inne zagadnienie niż którykolwiek z tych dwóch wyników.

Oba to dziś decyzje o samodzielnym hostowaniu. MathForm-8B jest znacznie tańszy: to liczący około 8,2 mld parametrów checkpoint wyłącznie tekstowy z budżetem generowania wynoszącym około 16 tys. tokenów wyjścia w Lean, który po skwantyzowaniu mieści się na jednej karcie średniej klasy. AesCode-8B to model wizyjno-językowy o 8,8 mld parametrów, którego ścieżka serwowania obsługuje zarówno obrazy, jak i tekst; samo polecenie uruchomienia to vllm serve microsoft/AesCode-8B --limit-mm-per-prompt image=2 --max-model-len 24576, a 17,5 GB wag bf16 plus pamięć podręczna KV dla 24 576 tokenów i dwóch obrazów oznacza, że karta 24 GB jest na styk, a 40–48 GB to realistyczne minimum. Zaplanuj też budżet na stos renderujący, jeśli chcesz oceniać własne wyniki, bo właśnie w ten sposób powstało każde twierdzenie o jakości tego modelu.

Większym ukrytym kosztem jest to, że oba modele to specjaliści, których przyjmowałbyś na stałe. Zespół, który potrzebuje formalizacji i generowania dokumentów, prowadzi teraz dwie ścieżki serwowania modeli 8B, dwa zestawy formatów promptów, dwa profile awarii, a żaden z modeli nie jest w stanie przejąć pracy drugiego. Właśnie do takiego przypadku istnieje warstwa routingu: zatrzymaj specjalistów tam, gdzie ekonomia i obsługa danych uzasadniają posiadanie własnego GPU, a ruch ogólny kieruj do czegoś hostowanego za tym samym punktem końcowym. Konkretnie, odpowiedniki ogólnego przeznaczenia tych dwóch baz są wywoływalne — Qwen3-VL-8B-Instruct za 0,18 USD za milion tokenów wejściowych i 0,70 USD za milion tokenów wyjściowych w kontekście 131 072 tokenów, obok rodziny Qwen 3.8 i innych otwartych checkpointów — wszystko przez jedno API OrcaRouter obejmujące ponad 200 modeli, z ceną katalogową dostawcy przekazywaną bez marży (0% narzutu) i automatycznym przełączaniem awaryjnym między dostawcami. Żaden ze specjalistów nie jest routowalny tutaj ani nigdzie indziej, gdzie udało nam się to znaleźć; routowalny jest generalista, do którego sięgasz, gdy wąskie zadanie zostanie ukończone — a to różnica między testowaniem checkpointu badawczego a uczynieniem go zależnością nośną.

Wybierając między nimi, jeśli naprawdę musisz

Wybierz MathForm-8B, gdy artefakt musi się kompilować. Konwersja banków zadań, formalne korpusy dla dowodzika, wstępne formatowanie sformułowań dla narzędzi opartych na Lean — to cały zakres zadań i tylko ten jeden z dwóch został do tego wytrenowany. Bierz liczby FATE na poważnie, gdy określasz zakres: w przypadku najtrudniejszych realistycznych sformułowań około jedna trzecia wychodzi spójna, a etap ręcznej weryfikacji przez człowieka i tak będziesz musiał zbudować.

Wybierz AesCode-8B, gdy artefakt musi zostać wyrenderowany. Wkładasz krótki opis, a wychodzi edytowalny dokument HTML, tabele są tabelami, a wykresy są specyfikacjami wykresów, a całość jest porównywana w Git. Zaakceptuj Style ceiling — 53,21, wymiar zdefiniowany jako nie wymagający dalszych poprawek wizualnych przed dostarczeniem — jako uczciwą miarę tego, ile edycji pozostaje, i zaakceptuj, że kontekst 24 576 tokenów został zwalidowany tylko na pojedynczych stronach infograficznych, a nie na wieloslajdowych prezentacjach, których ludzie faktycznie chcą.

Jednak wybór, przed którym faktycznie stanie większość zespołów, nie dotyczy żadnej z tych opcji. Chodzi o to, czy któryś z tych wąskich specjalistów w ogóle jest wart wdrożenia, czy raczej stojący za nim generalista, wywoływany przez API, jest wystarczająco dobry dla wolumenu, którym dysponujesz. To popołudnie testowania promptów, a nie zakup GPU, a liczby podane na obu kartach dają ci powód, by to przeprowadzić: spójność MathForm-8B na trudnym zestawie wynosi 37%, a wynik Style modelu AesCode-8B wynosi 53%, więc żaden z nich nie jest modelem, który umieściłbyś w potoku bez nadzoru.

Co oba wydania mówią ci o tym, jak modele są teraz wydawane

Dwa dostrojone modele 8B, w odstępie ośmiu tygodni, z dwóch różnych laboratoriów, wydane bez zapowiedzi, bez strony produktu i bez niezależnej oceny, oba zbudowane wokół pętli weryfikacyjnej, oba na licencji Apache 2.0, żadnego nie serwuje nikt. To wzorzec jest tu historią bardziej niż którykolwiek z tych modeli. Metoda badawcza przeniosła się do funkcji nagrody — sygnał kompilatora OpenBMB, rozdzielone kanały międzymodalne Microsoftu — a publikowane artefakty stały się przepisem treningowym plus wagami, przy czym artykuł pojawia się później, jeśli w ogóle.

Oznacza to, że dla każdego, kto czyta takie porównanie, przez jakiś czas jedyne, co dostaje, to własne liczby dostawcy, a użyteczne pytanie nie brzmi: jak wysokie są te liczby, lecz: jak weryfikowalne. Wskaźnik przepełnienia AesCode-8B i jego sufit Style to weryfikowalne twierdzenia przebrane za porażki. Wartość spójności FATE-X dla MathForm-8B to to samo. To są liczby, które należy czytać, i te, do których trzeba wrócić i uruchomić je ponownie samemu, gdy tylko narzędzia sprawdzające będą odtwarzalne od początku do końca.