SkyRL podniósł wynik AIME modelu Mistral Large 4 o jedenaście punktów na ośmiu węzłach: czego dowodzi Day-0 RL na 1T MoE

Mistral Large 4 został zapowiedziany jako podgląd API 6 października 2026 r., a jego wagi stały się dostępne do pobrania dopiero 29 października o 14:51 UTC — co sprawia, że opublikowany tego samego dnia raport dotyczący uczenia ze wzmocnieniem jest godny uwagi z powodu, którego autorzy nie omawiają szerzej: przed tym popołudniem nikt poza Mistral nie miał wyniku dostrajania do opublikowania. Notatka pochodzi od zespołu SkyRL w NovaSky. Osiem węzłów NVIDIA GB200, uczenie ze wzmocnieniem LoRA na punkcie kontrolnym NVFP4, vLLM obsługujący rollouty oraz AIME 2024 average@8 rosnący z około 64% do około 75% w ciągu 75 kroków treningowych. Jedenaście punktów w benchmarku, w którym wyniki zwykle rozstrzyga się w dziesiątych częściach punktu, to albo najbardziej użyteczny wynik dnia zerowego w tym kwartale, albo najmniej powtarzalny — a notatka w obecnej postaci nie mówi, który z nich.

To, co faktycznie mówi, jest prawdziwe — i warto oddzielić to od tego, czego nie mówi. Podano nazwę sprzętu. Podano nazwę checkpointu. Podano nazwę silnika rollout. Framework treningowy podano jako jeden z dwóch. Brakuje funkcji nagrody, rangi adaptera, harnessu ewaluacji i jakiejkolwiek krzywej uczenia — czterech rzeczy, których inny zespół potrzebowałby, by podjąć się tego samego przebiegu. To jest więc zapowiedź przepisu z dołączoną liczbą w nagłówku, a nie pakiet do reprodukcji. Czytaj to jako to pierwsze, a naprawdę wiele mówi o tym, ile kosztuje post-trening mieszanki ekspertów o bilionie parametrów pod koniec 2026 roku. Czytaj to jako to drugie, a przecenisz jeden benchmark na jednym zadaniu.

Co tak naprawdę mówi notatka SkyRL

Całe twierdzenie mieści się w pięciu wierszach, więc oto jest bez zbędnych wstępów:

• Sprzęt — 8 węzłów NVIDIA GB200, dzierżawionych, a nie posiadanych na własność, co przy czterech GPU na węzeł daje 32 układy Blackwell i około 6,1 TB łącznej pamięci HBM przy 192 GB na GPU.

• Checkpoint — skwantyzowany w NVFP4 odpowiednik otwartego wydania, 610,1 GB w 32 shardach, a nie nadrzędny model FP8 o rozmiarze 1 060,6 GB. Ten wybór jest kluczowy: to dzięki niemu model 1T mieści się na ośmiu węzłach z zapasem miejsca na aktywacje, pamięć podręczną KV i dwie kopie wag silnika rollout.

• Metoda — LoRA zamiast RL pełnoparametrowego. Tylko adaptery otrzymują gradienty, więc stan optymalizatora pozostaje mały, a zamrożona podstawa może pozostać w swojej skwantyzowanej formie.

• Pętla — vLLM generuje rollouty; FSDP2 lub Megatron obsługuje część treningową. Notatka podaje obie opcje, co świadczy o tym, że backend treningowy był jeszcze wymieniany, gdy spisywano wynik.

• Wynik — AIME 2024 average@8 z około 64% do około 75% w 75 krokach treningowych.

Nic na tej liście nie stanowi specyfikacji uruchomienia. Nie ma rozmiaru partii, długości sekwencji, współczynnika uczenia, rozmiaru grupy dla gradientu polityki, nie ma stwierdzenia, czym była nagroda poza domyślnym „odpowiedzi AIME można sprawdzić”. Liczba 75 kroków jest precyzyjna; niemal wszystko, co potrzebne do jej zinterpretowania, już nie.

Dlaczego liczba węzłów jest najważniejsza, a nie wynik AIME

Bilion parametrów to liczba, która przeważnie działa zniechęcająco. Checkpoint FP8 zajmuje 1,06 TB — to w porządku, jeśli masz centrum danych, ale problem, jeśli masz tylko szafę. Checkpoint NVFP4 zmniejsza to o połowę, do 610 GB, a 610 GB to ilość, którą można rozdzielić między osiem węzłów bez sztuczek z shardingiem, które kosztują więcej w komunikacji, niż oszczędzają w pamięci.

Dlatego interesujące zdanie w notatce to nie to, które zawiera procent. Hugging Face opublikował już przepis na nadzorowane dostrajanie dla tego modelu — LoRA za pośrednictwem SFT trainera z TRL, na pojedynczym węźle z ośmioma GPU B300, w oparciu o wagi FP8. SFT na jednym węźle został więc udokumentowany, zanim wagi miały dzień. Nie udokumentowano natomiast uczenia ze wzmocnieniem, a powód jest strukturalny: RL wymaga silnika inferencji działającego równolegle z trenerem, generującego rollouty na tyle szybko, by czas GPU poświęcony na trening nie został zdominowany przez czas GPU poświęcony na próbkowanie. SFT czyta stały zbiór danych. RL musi wytworzyć własny.

Zatem delta między dwoma opublikowanymi przepisami to nie osiem węzłów kontra jeden. To osiem węzłów plus stos obsługi wniosków kontra jeden węzeł bez stosu obsługi wniosków — w zadaniu, w którym model musi zmierzyć się z trzydziestoma problemami po osiem razy każdym, zanim czegokolwiek się nauczy. Silnik rollout to nowe centrum kosztów, a wskazanie vLLM jako generatora to ta część notatki, na której inne zespoły mogą działać już dziś.

Porównanie, którego każdy dokona, i dlaczego jest ono niesprawiedliwe w obu kierunkach

Mistral przeprowadził własny RL na tym modelu przed udostępnieniem wag, a spółka szczegółowo opisała jego przebieg: około trzech dodatkowych tygodni po zapowiedzi z 6 października, prowadzonych na francuskich zasobach obliczeniowych, które spółka określa w megawatach, a nie w liczbie GPU — około 10 MW — podczas gdy inne doniesienia szacują szerszą infrastrukturę RL na skalę 3000 GPU. Wyniki, które opublikowała z tego przebiegu:

• Terminal-Bench 4.0 — 28,3% przed dodatkowym RL, 41% po.

• BrowseComp — 75% przed, 84,5% po.

• Pakiet bezpieczeństwa agentów B3 — 93,3% przed, 97,1% po.

• Długość wyjściowa — około 30% mniej tokenów na zadanie po RL, co dla kupującego ma większe znaczenie niż którykolwiek z wierszy dotyczących dokładności.

Postaw to obok 64–75 na AIME, a pojawia się pokusa obliczenia stosunku godzin GPU na punkt. Oprzyj się jej, ponieważ te dwa przebiegi nie mają prawie żadnych wspólnych zmiennych. Zysk Mistrala dotyczy pracy agentowej w terminalu i przeglądania, mierzony przez dostawcę z nagrodą zaprojektowaną wewnętrznie i trzema tygodniami czasu zegarowego. Zysk SkyRL dotyczy matematyki konkursowej, mierzony przez partnera z wynajętym klastrem i nagrodą, którą skrypt może zweryfikować. Przesunięcie o 13 punktów na Terminal-Bench i przesunięcie o 11 punktów na AIME nie są tym samym osiągnięciem wyrażonym w różnych jednostkach; to różne osiągnięcia, które przypadkiem mają podobną wielkość.

Rzetelna interpretacja jest węższa i użyteczniejsza: trzy tygodnie RL w skali centrum danych przesunęły wynik terminala Mistral o trzynaście punktów, a kilka godzin RL z LoRA w skali ośmiu węzłów przesunęło wynik matematyczny partnera o jedenaście. Obie liczby mówią to samo — ten checkpoint dobrze reaguje na uczenie ze wzmocnieniem — a żadna nie mówi nic o drugiej.

Co 64–75 na AIME 2024 dowodzi, a czego nie dowodzi

Zacznijmy od arytmetyki, bo to jedyna część tego, którą można sprawdzić bez GPU. AIME 2024 składa się z trzydziestu zadań. Average@8 oznacza osiem próbnych podejść na zadanie, więc podana wartość opiera się na 240 wygenerowanych odpowiedziach. Błąd próbkowania dla proporcji około 70% przy tej liczebności próby wynosi kilka punktów procentowych, co sprawia, że przesunięcie o jedenaście punktów lokuje się bezpiecznie poza szumem. Jeśli obie liczby pochodzą z tego samego środowiska testowego, poprawa na tym zadaniu jest rzeczywista.

To najmocniejsze, co można powiedzieć, i warto powiedzieć to jasno, ponieważ większość twierdzeń o dniu zerowym nie jest nawet tak dobra. Teraz ograniczenia:

• Nie ma opublikowanego przez Mistral wyniku AIME dla tego modelu. Bazowy wynik 64% to własny pomiar SkyRL bazowego checkpointu na jego własnym harnessie, więc delta jest spójna wewnętrznie, ale zewnętrznie niezakotwiczona — nie można jej zweryfikować względem wartości podanej przez dostawcę, ponieważ taka wartość nie istnieje.

• {{1}}Average@8{{/1}} to nie pass@1. Osiem prób na problem zawyża wynik każdego modelu o szerokim rozkładzie próbkowania, a różnica między tymi dwoma metrykami na matematyce konkursowej wynosi zwykle od pięciu do piętnastu punktów. Liczbą rozstrzygającą o tym, czy wdrożysz model, jest ta jedna próba, którą dasz mu w produkcji.

• AIME 2024 ma dwa i pół roku i należy do najbardziej licznie reprezentowanych zestawów matematycznych w danych z etapu post-training. Dobre wyniki modelu z 2026 r. na tym zestawie są dowodem na istnienie checkpointu, który można wytrenować, a nie werdyktem w sprawie rozumowania. Notatka nie podaje żadnej ewaluacji na zbiorze wydzielonym ani nowszej ewaluacji.

• Jedno zadanie, jeden przebieg, jedna nagroda. RL na weryfikowalnej matematyce to najłatwiejszy przypadek, jaki istnieje: nagroda nie wymaga sędziego, kryteriów oceny ani człowieka. Wynik jest stwierdzeniem o tym, jak daleko ten model posuwa się naprzód pod wpływem najtańszego możliwego sygnału RL — co jest naprawdę właściwym pierwszym eksperymentem, a zarazem najmniej przenośnym.

Czego potrzebujesz, aby to odtworzyć, oraz na co pozwala licencja

Praktyczna lista zakupów, odtworzona z notatki, a nie opublikowana przez nią:

• Checkpoint NVFP4 — 610 GB, 32 shardy, bez ograniczeń dostępu, do pobrania już dziś, bez konieczności posiadania konta Hugging Face.

• Mniej więcej 32 procesory GPU klasy Blackwell na ośmiu węzłach, plus połączenia wzajemne, dzięki którym synchronizacja adapterów nie zjada czasu kroku.

• Kompilacja vLLM z działającą ścieżką NVFP4 dla tej architektury. Karta modelu zaleca vLLM z oficjalnym kontenerem i rozmiarem tensor-parallel równym osiem, a także wskazuje osadzoną głowę dekodowania spekulatywnego, która według dostawcy zapewnia nawet 1,9× przepustowości — ta głowa nie jest tym, czego potrzebuje pętla RL, ale kontener jest.

• Rangę adaptera i nagrodę musisz wybrać samodzielnie, ponieważ notatka tego nie podaje.

Kwestia licencji rozwiązuje się klarowniej niż kwestia techniczna. Mistral udostępnił to na licencji Mistral Ecosystem Open-Weight License — zmodyfikowanym tekście MIT, który zezwala na użycie komercyjne, fine-tuning i dzieła pochodne, a odrębnej licencji komercyjnej wymaga wyłącznie do prowadzenia działalności model-as-a-service w oparciu o niego. Wewnętrzny fine-tuning, prywatny adapter, uruchomienie ewaluacji na wynajętych węzłach — wszystko to mieści się w zakresie udzielonego pozwolenia. Uruchomienie API rozliczanego za token i sprzedawanie dostępu do Twojego fine-tune'a już nie. Jeśli Twoim planem jest pierwszy wariant, licencja nie jest Twoim problemem. Jeśli drugi — to jest cały problem i żadna poprawa AIME tego nie zmienia.

Połowa pętli, która później staje się kosztowna

AIME jest tanim przypadkiem z powodu, który warto dokładnie wyjaśnić. Nagrodą jest ciąg odpowiedzi, który porównuje skrypt. Nie ma sędziego, rubryki ani drugiego modelu w pętli, więc marginalny koszt rolloutu to wnioskowanie i nic więcej. Przenieś ten sam przepis na zadania agentowe, otwarte pisanie lub cokolwiek ocenianego na podstawie preferencji, a nagroda staje się wywołaniem modelu — uruchamianym w skali rolloutów, tysiące razy na krok, przez cały przebieg. To inny problem zaopatrzeniowy niż moc obliczeniowa do trenowania i właśnie ten problem większość zespołów odkrywa po zarezerwowaniu GPU.

Mistral Large 4 sam w sobie nie jest modelem, który obsługujemy, więc ten materiał nie jest do niego drogą — samodzielne hostowanie go oznacza repozytorium Hugging Face i własne API dostawcy. Routingowi podlega natomiast druga połowa pętli. Jeśli twój weryfikator jest modelem sędzią, a nie skryptem, musi wytrzymać wywoływanie w skali rolloutów: jeden endpoint obejmujący ponad 200 modeli, cena listowa dostawcy przekazywana bez narzutu, oraz failover, gdy pojedynczy endpoint sędziego napotka limit częstotliwości w środku kroku treningowego. Modele, których faktycznie użyłbyś jako sędziów, są wymienione wraz z kontekstem i ceną w katalogu modeli OrcaRouter. Nie chodzi o to, że routing sprawia, że RL jest tani. Chodzi o to, że sygnał nagrody jest tą częścią przebiegu RL, której nie da się obejść planowaniem, więc właśnie tę część warto umieścić za stabilnym interfejsem.

Co obejrzeć dalej

Trzy rzeczy zmieniłyby to z obiecującej notatki w wynik. Opublikowanie przez zespół SkyRL rangi adaptera, definicji nagrody i krzywej uczenia, co pozwoliłoby innej grupie podjąć próbę tego samego przebiegu, zamiast tylko go podziwiać. Drugie zadanie, najlepiej takie, którego nagroda nie jest porównaniem ciągów znaków, co pokazałoby, czy efekt przetrwa zetknięcie z sędzią. Oraz niezależna ewaluacja udostępnionego checkpointu na AIME lub trudniejszym materiale matematycznym, ponieważ poziom 64% jest obecnie pomiarem samego partnera i jedynym sposobem, by usunąć to zastrzeżenie, jest pomiar wykonany przez kogoś innego.

Do tego czasu uczciwe podsumowanie jest krótkie. Wagi są jednodniowe, partner przesunął wynik benchmarku matematycznego o jedenaście punktów na ośmiu wypożyczonych węzłach z adapterem LoRA, a nikomu nie udało się jeszcze tego odtworzyć. To więcej, niż oferuje w pierwszym tygodniu większość wydań z otwartymi wagami, i mniej, niż sugeruje nagłówek.