HiRO-ACEv2 vs MathForm 8B: Dwa wąskie modele, dwa rodzaje prawdy podstawowej

Ani HiRO-ACEv2, ani MathForm-8B nie stara się być modelem ogólnym, a oba zostały zbudowane przez zespoły, które uznały, że interesujący problem jest węższy niż chatbot. HiRO-ACEv2 to emulator klimatu drugiej generacji od Ai2, zamieszczony na Hugging Face 12 października 2026 r. jako repozytorium o rozmiarze 10,9 GB, bez zapowiedzi, wraz z preprintem datowanym na następny dzień. MathForm-8B to model autoformalizacji od OpenBMB, utworzony 14 sierpnia 2026 r. na bazie Qwen3-8B, który przekształca matematykę w języku naturalnym w twierdzenia Lean 4. Jeden generuje atmosferę o siatce 3 km; drugi generuje formalny obowiązek dowodowy. Powód, by je porównywać, nie tkwi w możliwościach — nie mają wspólnego zastosowania — lecz w tym, co oba twierdzą, a co w każdym przypadku okazuje się znaczyć coś zupełnie innego: że maszyna potrafi stwierdzić, czy wynik jest poprawny.

Co tak naprawdę emituje każdy z modeli

HiRO-ACEv2 działa w dwuetapowym potoku przetwarzania. Autoregresyjny emulator generuje X-SHIELD, globalny model rozwiązujący burze, zgrubiony do rozdzielczości 100 km; osobno wytrenowany model dyfuzyjny skaluje następnie ten zgrubny stan w dół do 3 km, tworząc uśredniane co sześć godzin natężenie opadów na powierzchni, chwilowe wiatry wschodnie i północne na wysokości 10 metrów oraz ciśnienie na poziomie morza. Repozytorium zawiera model do downscalingu jako plik HiROv2.ckpt o rozmiarze około 1,28 GiB oraz emulator o zgrubnej rozdzielczości jako plik ACE2S-X-SHIELD.ckpt o rozmiarze około 2,98 GiB, a także dziesięć lat danych wymuszających w formacie NetCDF, dwa pliki warunków początkowych i konfiguracje YAML, które je ze sobą wiążą.

MathForm-8B emituje tekst, ale bardzo szczególnego rodzaju: zdanie twierdzenia w Lean 4. Karta opisuje go jako model autoformalizacji wytrenowany na zbiorze danych FormalVerse od OpenBMB, najpierw za pomocą nadzorowanego dostrajania, a następnie uczenia ze wzmocnieniem, którego nagroda pochodzi z kompilacji Lean i informacji zwrotnej o spójności semantycznej. To gęsty model 8B na licencji Apache 2.0, który dziedziczy swoją skalę po swojej podstawie — Qwen3-8B — a nie po jakiejkolwiek własnej opublikowanej liczbie parametrów. Zalecane ustawienia generowania to temperatura 0,6, top-p 0,95 oraz 16 384 nowych tokenów, na serwerze Transformers, vLLM lub SGLang; ocena wymaga działającego Kimina Lean Server i Lean 4.21.0.

Oba są celowo wąskie. To pierwsze prawdziwe podobieństwo — i na tym podobieństwa się w zasadzie kończą.

Dwa rodzaje weryfikacji i dlaczego tylko jeden z nich rozstrzyga spór

Po stronie Lean mamy rozstrzygającego weryfikatora. Stwierdzenie twierdzenia albo kompiluje się pod Lean 4, albo nie, a kontroler typów to ustalony rachunek — nie ma dobrych i złych dni i nie wymaga kalibracji. Dlatego właśnie pętla treningowa MathForm-8B może w ogóle wykorzystywać kompilację jako sygnał nagrody. Opublikowane liczby to wskaźniki Pass@8 w dwóch reżimach, sprawdzania składni i sprawdzania spójności, oceniane na sześciu zestawach benchmarkowych; wynik przy sprawdzaniu składni wynosi 88,06%, a przy sprawdzaniu spójności 72,37%. To liczby samych autorów, tu nieodtworzone, a szesnastopunktowa różnica między nimi jest najbardziej pouczającą rzeczą na karcie: stwierdzenie, które się kompiluje, nie jest tym samym co stwierdzenie, które mówi to, co znaczył pierwotny problem.

Po stronie klimatycznej nie ma takiego weryfikatora. Karta modelu HiRO-ACEv2 nie zawiera tabeli benchmarków. Jej jedyne twierdzenie ilościowe mówi, że downscaler odtwarza referencyjne rozkłady opadów, wiatru na wysokości 10 metrów i ciśnienia na poziomie morza aż do 99,9999 percentyla oraz że w ogólnych zarysach podąża za referencyjnym rozkładem intensywności cyklonów tropikalnych. W pracy dodano, że koszt wnioskowania jest ponad 300 razy niższy niż w przypadku konwencjonalnego numerycznego globalnego modelu rozwiązującego burze.

Każde z nich jest twierdzeniem dystrybucyjnym względem referencji, a nie testem zaliczenia/niezaliczenia względem rachunku. Ta różnica decyduje o tym, jak długo każde twierdzenie pozostaje niezakwestionowane. Możesz sfalsyfikować liczbę MathForm-8B, uruchamiając model na benchmarkach z serwerem Lean i GPU. Sfalsyfikowanie liczby HiRO-ACEv2 wymaga dziesięcioletniego zestawu danych wymuszających, symulacji referencyjnej do porównania oraz analityka gotowego pracować w skrajnym ogonie. To pierwsze to tydzień pracy dla doktoranta. To drugie to artykuł.

Co sprzedawcy powiedzą ci, a czego nie powiedzą

Te dwie karty modeli mają przeciwne temperamenty, a czytanie ich obok siebie jest pouczające co do tego, do czego służy karta.

Karta modelu OpenBMB to arkusz twierdzeń z sekcją ograniczeń. Podaje korpus treningowy, strukturę nagród, zalecane parametry próbkowania, dokładną wersję Lean oraz wykres przedstawiający Pass@8 na sześciu benchmarkach — choć warto zauważyć, że liczby te znajdują się na obrazie, a nie w tekście, więc każdy, kto pobiera stronę programowo, znajdzie starannie opisane metody, a wyników nie znajdzie wcale. Czego natomiast nie podaje, to daty wydania; jedynym sygnałem daty gdziekolwiek w metadanych jest identyfikator arXiv 2608.14221 oraz znacznik czasu utworzenia repozytorium z 14 sierpnia 2026 r.

Karta Ai2 to w istocie lista ograniczeń. Dziewięć lat danych treningowych, od 2014 do 2022 r., dla obu punktów kontrolnych. Wyniki, które odtwarzają X-SHIELD, a nie obserwacje, przez co przenoszą obciążenia symulacji referencyjnej. Brak oczekiwań co do generalizacji poza warunkami wymuszającymi treningu — punkt, który praca v2 uwypukla, zauważając, że framework nie został przetestowany poza zakresem od 66°S do 70°N i nie może działać poza 88°S lub 88°N. Nieciągłości związane z nakładaniem się patchy w regionach większych niż kafelek treningowy 16 na 16 o rozdzielczości jednego stopnia. Uwaga, że dołączony punkt kontrolny ACE2S-X-SHIELD jest mniej rygorystycznie przetestowany niż wcześniejsza linia ACE2-ERA5 i że nie jest przeznaczony do prognozowania pogody. Oraz licencja — Apache 2.0 — zawierająca Wytyczne Ai2 dotyczące odpowiedzialnego użytkowania i ramy badawczo-edukacyjne.

Jedna karta mówi, jakie wyniki osiąga model. Druga mówi, czego nie potrafi. Żadna z nich niczego nie ukrywa, a czytelnik, który bierze tę drugą za słabsze wydanie, źle odczytał, do czego służą te artefakty.

Ta część, która jest naprawdę porównywalna: ile wart jest fork

Oto jedyna oś, na której oba wydania można zmierzyć w ten sam sposób — i biegnie ona w przeciwnych kierunkach.

• Skąd pochodzi szkielet — MathForm-8B to pełny fine-tuning Qwen3-8B, więc jego rodowód jest udokumentowany w metadanych Hugging Face, a jego przodek to szeroko wdrożony otwarty model; komponenty HiRO-ACEv2 są trenowane w ramach własnego pipeline'u Ai2, a dane treningowe są przypisane do X-SHIELD, dostarczone przez GFDL, i bez żadnego otwartego checkpointu upstream pod spodem.

• Ile środowisk uruchomieniowych może to załadować — MathForm-8B działa na Transformers, vLLM lub SGLang, a społeczność zdążyła już przygotować kwantyzacje GGUF i MLX dla llama.cpp i Apple silicon; HiRO-ACEv2 działa przez fme — pakiet Pythona od Ai2, z konfiguracjami wskazującymi na repozytorium ai2cm/ace, i nie ma alternatywnej ścieżki.

• Jak szybko rozwijał się ekosystem — w ciągu czterech dni od pojawienia się repozytorium MathForm-8B społecznościowe kompilacje GGUF były już online, a konwersje MLX 4-bit, 6-bit i 8-bit pojawiły się w ciągu dwóch tygodni; repozytorium HiRO-ACEv2 ma jedno polubienie i zero pobrań dwa dni po ostatnim commicie.

• Ile kosztuje cię pozyskanie wag — MathForm-8B pobiera się jako zwykły checkpoint modelu i można go skwantyzować do rozmiarów mieszczących się na sprzęcie konsumenckim; HiRO-ACEv2 to 10,9 GB repozytorium, z czego większość stanowią dane wymuszeń i warunków początkowych, a nie wagi, i nie zmniejsza się.

Wzorzec jest taki, że model językowy specyficzny dla aplikacji dziedziczy ekosystem po swoim backbone, a emulator fizyczny specyficzny dla aplikacji nie dziedziczy niczego. W przypadku MathForm-8B praca związana z uruchomieniem go została w większości wykonana, zanim powstał. W przypadku HiRO-ACEv2 zaczyna się od README.

Gdzie pasuje warstwa routingu, a gdzie nie

Uczciwa odpowiedź jest tu asymetryczna i warto powiedzieć to wprost, zamiast traktować oba modele jednakowo. Sam MathForm-8B nie znajduje się w naszym katalogu — dostrojony checkpoint pochodzi z własnej dystrybucji OpenBMB i musi działać na twoim własnym serwerze obok instalacji Lean, którą wywołuje. Jego przodek również nie znajduje się w naszym katalogu, co warto powiedzieć, ponieważ zwykle zakłada się coś przeciwnego: konkretny checkpoint Qwen3-8B, na którym go dostrojono, pochodzi z wydania z 2025 r. i nie jest jednym z identyfikatorów Qwen, które obsługujemy. To, co rzeczywiście routujemy, to bieżąca generacja Qwen wokół niego — poziomy Qwen3.8 i Qwen3.5 oraz checkpoint Qwen3-VL-8B-Instruct, który ma tę samą skalę 8B i wywodzi się z tej samej rodziny, w cenie 0,18 USD za milion tokenów wejściowych i 0,70 USD za milion tokenów wyjściowych przy kontekście 131 072 tokenów.

To jest warstwa, której pipeline formalizacyjny faktycznie potrzebuje. Dzielenie podręcznika na potencjalne twierdzenia, wyodrębnianie nieformalnego twierdzenia z artykułu, zanim trafi ono do autoformalizatora, albo zamienianie komunikatu o błędzie Lean w diagnozę to zwykłe wywołania modelu językowego i mogą one działać przez ten sam klucz co wszystko inne. HiRO-ACEv2 nie można routować i nigdy nie będzie można w obecnej postaci, ponieważ nie ma żądania rozliczanego tokenowo, które można by routować — 10,9 gigabajta checkpointów i skrypt powłoki to nie endpoint.

Co daje ci jeden klucz obejmujący ponad dwieście modeli z routingiem, w potoku zbudowanym wokół którejkolwiek z tych opcji, to że otaczająca praca staje się wywołaniem, a nie projektem: cena katalogowa dostawcy przechodzi bez doliczania marży, przełączanie awaryjne między dostawcami odbywa się automatycznie, a skrypt sterujący zespołem modeli lub przebiegiem formalizacji nie potrzebuje umowy z drugim dostawcą, by podsumować własne wyniki.

Na co uważać po obu stronach

Liczba, która miałaby znaczenie po stronie Lean, byłaby niezależnym odtworzeniem wartości 88,06 i 72,37 przez grupę niemającą żadnego interesu w przepisie treningowym, najlepiej z rozbiciem na poszczególne benchmarki, a nie uśrednioną w pojedynczy Pass@8 — ponieważ niepowodzenia autoformalizacji grupują się według dziedziny matematycznej, a średnia ukrywa dokładnie ten wzorzec, którego potrzebuje praktyk. Liczba, która miałaby znaczenie po stronie klimatycznej, byłaby porównaniem z numerycznym modelem rozdzielającym burze uruchomionym na tym samym sprzęcie przez kogoś innego niż autorzy emulatora, ponieważ twierdzenie o 300-krotnym wnioskowaniu jest tym, które decyduje o tym, czy ta technika zostanie wdrożona operacyjnie.

Do tego czasu oba modele najlepiej czytać tak, jak zachęcają do tego ich własne karty. MathForm-8B to silny autoformalizator, za którego wynikiem stoi kompilator, a ciekawe pytanie w jego przypadku brzmi, jak często skompilowane stwierdzenie mówi właściwą rzecz, a nie jedynie prawdziwą. HiRO-ACEv2 to emulator badawczy, który właśnie dodał wiatr i ciśnienie do tego, co wcześniej było wynikiem obejmującym wyłącznie opady, a ciekawe pytanie brzmi, czy dodane pola są fizycznie spójne z opadami, obok których są dostarczane — czego nie powiedziałaby ci żadna tabela benchmarkowa, nawet gdyby jakaś istniała.

Właśnie przy takich porównaniach ujawniają się też tryby awarii: udokumentowane incydenty związane z AI i awarie agentów stojące za modelami z tej klasy zebrano w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis ma własne źródła, wagę, ocenę wiarygodności i flagę sporu.