Beam 1.0 vs MathForm 8B: Błędy jednego modelu są wychwytywane przez kompilator

Poproś MathForm 8B o sformalizowanie twierdzenia, a odpowiedź to albo stwierdzenie Lean 4, które się kompiluje, albo takie, które się nie kompiluje. Poproś Beam 1.0 o naprawienie błędu, a odpowiedź to diff, który się uruchamia, albo taki, który się nie uruchamia, a odległość między tymi dwiema rzeczami to cała różnica między tymi modelami. MathForm 8B to opracowany przez OpenBMB model autoformalizacji o 8,19 miliarda parametrów, zbudowany na Qwen3-8B firmy Alibaba i trenowany na FormalVerse, korpusie około 367 000 zweryfikowanych przykładów Lean 4, poprzez nadzorowane dostrajanie, po którym następuje uczenie ze wzmocnieniem na podstawie kompilacji Lean i informacji zwrotnej o spójności semantycznej; został opublikowany 14 sierpnia 2026 r. na licencji Apache 2.0. Beam 1.0 to rzadki model typu mixture-of-experts firmy Reflection o 501,3 miliarda parametrów, z czego 23,4 miliarda aktywnych na token, ogłoszony 5 października 2026 r. i udostępniony jako wagi do pobrania 16 października 2026 r., również na licencji Apache 2.0. Stosunek rozmiarów wynosi 61 do jednego i jest to najmniej interesująca liczba na stronie.

Najciekawsze jest to, że MathForm 8B generuje dane wyjściowe, które maszyna może rozstrzygnąć, nie ufając nikomu, a Beam 1.0 nie. Wszystko poniżej wynika z tego.

Co każdy model ma za zadanie wygenerować

MathForm 8B ma jeden kontrakt wyjściowy. Przyjmuje stwierdzenie matematyczne zapisane zwykłą prozą i zwraca stwierdzenie w Lean 4 — nagłówek, nazwane twierdzenie, hipotezy i cel. Potok treningowy jest zbudowany wokół tego kształtu: wyszukiwanie wiedzy z Mathlib, aby osadzić stwierdzenie w istniejących definicjach, kompilacja i weryfikacja semantyczna, aby odrzucać błędne kandydatury, iteracyjne udoskonalanie, aby je naprawiać, a następnie rekonstrukcja trajektorii, aby zamienić ocalałe przykłady w dane treningowe. Artykuł podaje, że model osiąga średnio 88,06% w Pass@8 przy sprawdzaniu składni i 72,37% przy sprawdzaniu spójności w sześciu benchmarkach. To liczby OpenBMB, nieodtworzone przez nikogo innego i obciążone w stronę łatwiejszych zestawów w ewaluacji — ale to liczby dotyczące zadania, które ma poprawną odpowiedź.

Beam 1.0 nie ma takiego kontraktu. To model ogólnego przeznaczenia: jego karta opisuje szablon czatu, format transmisji w stylu Harmony z kanałami analizy i kanałami końcowymi, sześć poziomów wysiłku rozumowania mapowanych na budżety tokenów wynoszące 8, 32, 64, 128, 256 i 512 oraz konwencję wywoływania narzędzi, w której funkcje są deklarowane jako płaski TypeScript i wywoływane w ciałach XML. Jego ocena obejmuje kodowanie agentowe (SWE-bench Verified 81,6% na BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), rozumowanie (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), użycie narzędzi (MCP Atlas 80,8) i ogólne możliwości (LongBench v2 67,5, IFBench 79,6). Każda liczba jest własnością Reflection. To, czy pisany przez niego kod jest *poprawny*, ustala się poprzez uruchomienie go, przejrzenie go lub wdrożenie go i przekonanie się.

A więc: awarie jednego modelu ogłaszają się same. Awarie drugiego to zwykłe błędy oprogramowania, które pojawiają się później — podczas przeglądu lub na produkcji — i wyglądają jak każdy inny błąd, z jakim kiedykolwiek miałeś do czynienia.

{{1}}Benchmarki{{/1}} nie pokrywają się i to jest {{2}}odkrycie{{/2}}

Zestaw oba zbiory ewaluacyjne, a nie ma prawie nic do odjęcia.

• Co podlega ocenie w Beam 1.0 — rozwiązywanie problemów w skali repozytorium, zadania terminalowe, programowanie konkursowe, pytania naukowe na poziomie absolwenckim, orkiestracja narzędzi, przywoływanie długiego kontekstu i podążanie za instrukcjami.

• Co jest oceniane w MathForm 8B — dokładność formalizacji Pass@8 przy użyciu kontrolera składni i kontrolera spójności semantycznej, w sześciu matematycznych benchmarkach, względem wyspecjalizowanych modeli bazowych z artykułu od 7B do 32B.

• Nakładanie się — praktycznie zerowe. Nie ma wiersza, w którym oba modele zostały zmierzone przez ten sam podmiot w tym samym zadaniu, i nie będzie takiego, ponieważ jeden jest mierzony pod kątem ogólnych zdolności, a drugi pod kątem pojedynczej weryfikowalnej transformacji.

• Jedyny wspólny wymiar, który koncepcyjnie istnieje — rozumowanie — jest mierzony na różnych populacjach. Wynik 90,6 modelu Beam 1.0 w GPQA Diamond to punktacja z naukowego testu wielokrotnego wyboru. Wskaźnik spójności 72,37% modelu MathForm 8B to sprawdzenie formalizacji. Żaden z nich nie pozwala przewidzieć drugiego.

Właśnie dlatego porównywanie rozmiarów byłoby tutaj mylące, a nie tylko niepochlebne. Beam 1.0 jest sześćdziesiąt jeden razy większy od tego modelu i nie może w ogóle wykonywać zadania MathForm 8B, jeśli nie zostanie do tego wytrenowany — kontrakt wyjściowy jest na tyle wąski, że ogólne możliwości nie są jego substytutem. Model ogólnego przeznaczenia 501B poproszony o podanie nazwanego twierdzenia Lean z poprawnym nagłówkiem wygeneruje coś wyglądającego wiarygodnie i często błędnego, co w przypadku asystenta dowodów jest najgorszym możliwym trybem awarii.

Co musisz mieć, aby uruchomić jedno z nich

MathForm 8B dziedziczy licencję Qwen3-8B, którą Hub odnotowuje jako Apache 2.0, i to jest praktyczny argument za nim: 8,19 miliarda gęstych parametrów, model wyłącznie angielskojęzyczny, zawężenie budżetu generowania do wyników Lean zamiast ogólnego rozumowania oraz pobranie zamiast klastra. Jego baza, Qwen3-8B, jest tym, co czytelnik w przeciwnym razie hostowałby samodzielnie — ogólny model 8B z natywnym kontekstem 32K rozszerzalnym do 131K i obsługą 119 języków. MathForm 8B poświęca niemal wszystko z tego na rzecz jednej umiejętności.

Beam 1.0 potrzebuje gdzieś zamieszkać. Karta modelu podaje 52 warstwy, 256 ekspertów, z których ośmiu jest kierowanych na token, słownik 152 000 tokenów, odcięcie wiedzy na 30 czerwca 2026 r. oraz okno kontekstowe 1 000 000 tokenów. Jest dostarczany w trzech wariantach wag — BF16 o rozmiarze 501,3 mld, FP8 o rozmiarze 501,3 mld, NVFP4 o rozmiarze 255 mld — oraz 2 mld DFlash2 drafter do dekodowania spekulacyjnego. Na karcie nie ma zalecenia dotyczącego serwowania, a nigdzie w zasobach Reflection nie opublikowano ceny API; strona Artificial Analysis dla tego modelu podaje pola cenowe jako niedostępne i zauważa, że nie istnieje żadne publicznie dostępne API. To wersja czterobitowa sprawia, że jest to potencjalnie realny zakup, a nie hipotetyczny, i wciąż jest to rozmowa o GPU.

OrcaRouter nie kieruje ruchu do żadnego z tych dwóch modeli i ta strona nie sugeruje inaczej. Kierujemy ruch do warstwy serwowanych modeli, poza którą znajdują się te dwa: ponad 200 modeli dostępnych za jednym kluczem kompatybilnym z OpenAI, w cenie katalogowej dostawcy, z marżą 0%, dzięki czemu obniżka ceny u dostawcy trafia na Twoje rozliczenie w dniu, w którym zostaje ogłoszona. Dla zespołu, którego prawdziwą potrzebą jest model odpowiadający dziś, a nie checkpoint kompilujący się jutro, to jest ten wiersz, którego to porównanie nie może zaoferować.

Różnica w weryfikowalności, prostymi słowami

Oto asymetria przedstawiona jako fakt operacyjny, a nie jako punkt odniesienia.

Wyjście MathForm 8B trafia do potoku, który ma bramkę. Kompilator Lean albo akceptuje zdanie, albo je odrzuca. Sprawdzanie spójności semantycznej albo kończy się sukcesem, albo porażką. Złe wyjście można automatycznie odrzucić, a model można pozostawić w pętli agenta, która ponawia próby, aż coś zostanie zweryfikowane — dokładnie to, do czego wytrenował go etap RL. Koszt błędnej odpowiedzi to odrzucona próbka, a nie wadliwy produkt. To naprawdę rzadka właściwość w obecnej dziedzinie otwartych wag i dlatego wyspecjalizowany model 8B może być bardziej użyteczny niż ogólny model stukrotnie większy od niego w potoku ukształtowanym jak formalna matematyka.

Wyniki Beam 1.0 nie mają takiej bramki. Tabela ewaluacji może powiedzieć, jak często rozwiązywał zgłoszenie na GitHubie w benchmarku SWE-bench, ale nie może powiedzieć, czy poprawka, którą pisze dla twojego repozytorium, jest poprawna, ponieważ to pytanie dotyczy twoich testów. Karta modelu jest niezwykle konkretna, jeśli chodzi o format transmisji, i niezwykle milczy o kwestii dokładności, a to trafny opis stanu tej dziedziny: narzędzia wokół agentowych modeli kodujących dobrze radzą sobie z wykonywaniem kodu, a słabo z jego certyfikowaniem.

Jeśli twoja dziedzina ma weryfikator — system typów, asystenta dowodzenia, schemat, symulator — model specjalistyczny ukierunkowany na ten weryfikator jest często pobraniem zapewniającym większą dźwignię. Jeśli go nie ma, kupujesz możliwości i sam płacisz za ewaluację, a większy model ogólny jest tym, który daje ci ich więcej.

Wybór między nimi

Wybierz MathForm 8B, jeśli zadanie polega wyłącznie na formalizacji i na niczym innym — przekształcaniu korpusu prozy matematycznej w Lean 4, który asystent dowodzenia zaakceptuje, w skali, w której człowiek nie jest w stanie sprawdzić każdego z nich. Rozmiar 8,19 mld parametrów, warunki Apache 2.0 i wąski zakres wyjścia to w tym zastosowaniu same zalety. Nie wybieraj go do niczego innego: nie prowadzi rozmów, nie pisze prozy nadającej się do wydania, nie obsługuje 119 języków tak jak jego model bazowy i nie ma udokumentowanych możliwości poza tą jedną transformacją, do której został wytrenowany.

Wybierz Beam 1.0, jeśli praca jest ogólnego typu agentowego — rozwiązywanie problemów w dużych repozytoriach, sterowanie narzędziami, wykonywanie długich wieloetapowych planów — oraz jeśli masz sprzęt lub partnera udostępniającego dla 501B MoE. Kontekst 1M tokenów, opublikowana tabela ewaluacyjna i czterobitowy checkpoint są w całości ukierunkowane na to obciążenie. Zaplanuj budżet na tokeny rozumowania: szablon nie ma wyłącznika, domyślnie udostępniany poziom to maksymalny poziom wysiłku, a usuwanie rozumowania z poprzednich tur jest udokumentowane jako pogarszające wyniki.

Wybierz oba, jeśli budujesz pipeline, o którym tak naprawdę jest ten artykuł. Wzorzec, który ma sens, to ogólny model do wykonywania niejednoznacznej pracy i weryfikowalny specjalista do części z bramką — a te dwie role zawodzą na różne sposoby, co jest jedynym powodem, dla którego warto mieć oba.

Gdzie to porównanie będzie wyglądać inaczej za trzy miesiące

Brakuje dwóch wierszy i oba można datować. Pierwszy to niezależna ocena wag Beam 1.0, która stała się możliwa 16 października 2026 r. i do której jeszcze nie doszło; każda liczba, którą ta strona przypisuje Reflection, wciąż opiera się na jednym źródle. Drugi to cena Beam. Model z tabelą oceny obejmującą 501 miliardów parametrów i bez stawki rozliczanej za użycie to model, którego większość zespołów nie może uwzględnić w budżecie, a dopóki Reflection lub partner udostępniający model nie opublikuje takiej stawki, uczciwe porównanie kosztów między tymi dwoma to pobranie kontra wynajem, który nie został wyceniony.

Luka MathForm 8B jest inna i nie zamknie się przez czekanie. Podawane dla niego wyniki — 88,06% w sprawdzaniu składni i 72,37% w spójności — to liczby dostawcy dotyczące zadania z weryfikatorem, a weryfikacja jest produktem: każdy, kto ma model i instalację Lean, może zmierzyć je samodzielnie, czego nie można powiedzieć o większości liczb na tej stronie. To właśnie daje ci wąski kontrakt.

Nic z tego nie jest hipotetyczne: udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są zebrane w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporne.