SkyRL verhoogde de AIME-score van Mistral Large 4 met elf punten op acht nodes: wat Day-0 RL op een 1T MoE bewijst

Mistral Large 4 werd op 6 oktober 2026 aangekondigd als API-preview, en de gewichten werden pas op 29 oktober om 14:51 UTC downloadbaar — waardoor het reinforcement-learning-rapport dat dezelfde dag werd gepubliceerd opmerkelijk is om een reden waar de auteurs niet bij stilstaan: vóór die middag had niemand buiten Mistral een fine-tuningresultaat om te publiceren. De notitie is afkomstig van het SkyRL-team bij NovaSky. Acht NVIDIA GB200-nodes, LoRA-reinforcement learning op het NVFP4-checkpoint, vLLM dat de rollouts bedient, en AIME 2024 average@8 dat over 75 trainingsstappen stijgt van ongeveer 64% naar ongeveer 75%. Elf punten op een benchmark die gewoonlijk in tienden wordt beslecht, is ofwel het nuttigste resultaat op dag nul van het kwartaal, ofwel het minst reproduceerbare, en de notitie zoals ze er staat, maakt niet duidelijk welke van de twee.

Wat het je wél vertelt, is echt, en het is de moeite waard om dat te scheiden van wat het je niet vertelt. De hardware wordt genoemd. De checkpoint wordt genoemd. De rollout-engine wordt genoemd. Het trainingsframework wordt genoemd als een van de twee. Wat ontbreekt, zijn de beloningsfunctie, de adapter-rank, de evaluatieharness en welke leercurve dan ook — de vier dingen die een ander team nodig zou hebben om dezelfde run te proberen. Dit is dus een receptaankondiging met een prominent getal eraan, geen reproductiepakket. Lees het als het eerste, en het is oprecht informatief over wat het kost om eind 2026 een mixture of experts met een biljoen parameters te post-trainen. Lees het als het laatste, en je zult één benchmark op één taak overschatten.

Wat de SkyRL-notitie eigenlijk zegt

De hele claim past in vijf regels, dus hier is hij zonder de inkadering:

• Hardware — 8 NVIDIA GB200-nodes, gehuurd in plaats van in eigendom, wat bij vier GPU's per node neerkomt op 32 Blackwell-eenheden en ongeveer 6,1 TB totale HBM bij 192 GB per GPU.

• Checkpoint — de NVFP4-gekwantiseerde tegenhanger van de openbare release, 610,1 GB verdeeld over 32 shards, niet de 1.060,6 GB FP8-voorloper. Die keuze is de allesbepalende: het is wat een 1T-model op acht nodes laat passen, met ruimte over voor activaties, KV-cache en twee kopieën van de gewichten van de rollout-engine.

• Methode — LoRA in plaats van volledig-parameter RL. Alleen de adapters ontvangen gradiënten, zodat de optimizer-toestand klein blijft en de bevroren basis in zijn gekwantiseerde vorm kan blijven staan.

• Loop — vLLM genereert de rollouts; FSDP2 of Megatron neemt de trainingshelft voor zijn rekening. De notitie biedt beide opties, wat aangeeft dat de trainingsbackend nog werd uitgetauscht toen het resultaat werd opgeschreven.

• Resultaat — AIME 2024 average@8 van ongeveer 64% naar ongeveer 75% in 75 trainingsstappen.

Niets in die lijst is een specificatie van de run. Er is geen batchgrootte, geen sequentielengte, geen learning rate, geen groepsgrootte voor de policy gradient, geen uitspraak over wat de reward was, afgezien van het impliciete "AIME-antwoorden zijn controleerbaar". Het cijfer van 75 stappen is precies; bijna alles wat nodig is om het te interpreteren, is dat niet.

Waarom het aantal nodes de hoofdzaak is, niet de AIME-score

Een biljoen parameters is een getal dat vooral functioneert als afschrikmiddel. De FP8-checkpoint is 1,06 TB, wat prima is als je een datacenter hebt en een probleem als je een rack hebt. De NVFP4-checkpoint halveert dat naar 610 GB, en 610 GB is een hoeveelheid die je over acht nodes kunt verdelen zonder shardingtrucs die je meer kosten aan communicatie dan ze aan geheugen besparen.

Daarom is de interessante zin in de notitie niet degene met het percentage erin. Hugging Face had al een recept voor supervised fine-tuning voor dit model gepubliceerd — LoRA via TRL's SFT-trainer, op één node met acht B300-GPU's, bovenop de FP8-gewichten. SFT op één node was dus gedocumenteerd voordat de gewichten één dag oud waren. Wat niet gedocumenteerd was, was reinforcement learning, en de reden is structureel: RL vereist een inference-engine die naast de trainer draait en rollouts snel genoeg genereert zodat de GPU-tijd die aan training wordt besteed niet in het niet valt bij de GPU-tijd die aan sampling wordt besteed. SFT leest een vaste dataset. RL moet zijn eigen data produceren.

Het verschil tussen de twee gepubliceerde recepten is dus niet acht knooppunten versus één. Het is acht knooppunten plus een serving-stack versus één knooppunt zonder serving-stack, voor een taak waarbij het model dertig problemen elk acht keer moet proberen voordat het iets leert. De rollout-engine is de nieuwe kostenpost, en het benoemen van vLLM als generator is het deel van de notitie waar andere teams vandaag mee aan de slag kunnen.

De vergelijking die iedereen zal maken, en waarom die in beide richtingen oneerlijk is

Mistral voerde op dit model zijn eigen RL uit voordat het de gewichten uitleverde, en het bedrijf is specifiek geweest over de vorm daarvan: ruwweg drie extra weken na de preview van 6 oktober, uitgevoerd op Franse rekenkracht die het bedrijf in megawatt beschrijft eerder dan in GPU's — ongeveer 10 MW — terwijl berichtgeving elders de bredere RL-infrastructuur op de schaal van 3.000 GPU's plaatst. De resultaten die het uit die run publiceerde:

• Terminal-Bench 4.0 — 28,3% voor de extra RL, 41% daarna.

• BrowseComp — 75% voor, 84,5% na.

• B3 agent-beveiligingssuite — 93,3% voorheen, 97,1% daarna.

• Uitvoerlengte — ongeveer 30% minder tokens per taak na de RL, wat voor een koper meer van belang is dan welke van de nauwkeurigheidsrijen dan ook.

Leg dat naast 64 naar 75 op AIME, en de verleiding is groot om een ratio van GPU-uren per punt te berekenen. Weersta die verleiding, want de twee runs delen bijna geen variabelen. De winst van Mistral ligt bij agentisch terminalwerk en browsen, gemeten door een leverancier die het ontwerp van de beloning in-house heeft en drie weken kloktijd. De winst van SkyRL ligt bij wedstrijdwiskunde, gemeten door een partner met een gehuurd cluster en een beloning die een script kan verifiëren. Een sprong van 13 punten op Terminal-Bench en een sprong van 11 punten op AIME zijn niet dezelfde prestatie, uitgedrukt in verschillende eenheden; het zijn verschillende prestaties die qua omvang toevallig vergelijkbaar zijn.

De eerlijke lezing is beperkter en nuttiger: drie weken RL op datacenter-schaal verschoven de terminalscore van Mistral met dertien punten, en een paar uur LoRA-RL op schaal van acht nodes verschoven de wiskundescore van een partner met elf. Beide getallen zeggen hetzelfde — deze checkpoint reageert gemakkelijk op reinforcement learning — en geen van beide zegt iets over het andere.

Wat 64 tot 75 op AIME 2024 wel en niet bewijst

Begin met de rekenkunde, want dat is het enige deel hiervan dat zonder een GPU kan worden gecontroleerd. AIME 2024 bestaat uit dertig opgaven. Average@8 betekent acht gesamplede pogingen per opgave, dus het gerapporteerde cijfer rust op 240 voltooide generaties. De steekproeffout bij een aandeel rond 70% bij die steekproefgrootte is een paar procentpunten, wat een verschuiving van elf punten ruim buiten de ruis brengt. Als de twee cijfers uit dezelfde harness komen, is de verbetering op die taak echt.

Dat is het sterkste wat men kan zeggen, en het loont om het duidelijk te zeggen, omdat de meeste claims op dag nul niet eens zo goed zijn. Nu de beperkingen:

• Er is geen door Mistral gepubliceerde AIME-score voor dit model. De 64%-baseline is SkyRL's eigen meting van de basis-checkpoint op zijn eigen harness, dus de delta is intern consistent maar extern niet verankerd — je kunt hem niet tegen een leverancierscijfer controleren, omdat er geen leverancierscijfer bestaat.

• Average@8 is niet pass@1. Acht pogingen per probleem stellen elk model met een brede steekproefverdeling te gunstig voor, en de kloof tussen de twee metrics bedraagt bij wedstrijdwiskunde gewoonlijk vijf tot vijftien punten. Het getal dat bepaalt of je het model zou inzetten, is de ene poging die je het in productie geeft.

• AIME 2024 is tweeënhalf jaar oud en behoort tot de sterkst vertegenwoordigde wiskundesets in post-trainingsdata. Een model uit 2026 dat er goed op scoort, is bewijs van een trainbaar checkpoint, geen oordeel over redeneervermogen. De notitie vermeldt nergens een held-out- of nieuwere evaluatie.

• Eén taak, één run, één beloning. RL op verifieerbare wiskunde is het gemakkelijkste geval dat er is: de beloning heeft geen beoordelaar, geen beoordelingskader en geen mens nodig. Het resultaat zegt iets over hoe ver dit model komt onder het goedkoopst mogelijke RL-signaal, wat werkelijk het juiste eerste experiment is en ook het minst overdraagbare experiment.

Wat je nodig zou hebben om het te reproduceren, en wat de licentie toestaat.

De praktische boodschappenlijst, gereconstrueerd uit de notitie in plaats van door deze gepubliceerd:

• De NVFP4-checkpoint — 610 GB, 32 shards, vrij toegankelijk, vandaag te downloaden zonder accountdrempel bij Hugging Face.

• Ongeveer 32 GPU's van de Blackwell-klasse verdeeld over acht nodes, plus de interconnect om te voorkomen dat de adapter-synchronisatie de staptijd opslokt.

• Een vLLM-build met een werkend NVFP4-pad voor deze architectuur. De modelkaart adviseert vLLM met een officiële container en een tensor-parallelgrootte van acht, en vermeldt een ingebouwde speculative-decoding-head die volgens de leverancier tot 1,9× doorvoer oplevert — die head is niet wat een RL-loop nodig heeft, maar de container wel.

• Een adapterrang en een beloning moet je zelf kiezen, omdat de notitie dat niet vermeldt.

De licentiekwestie valt eenvoudiger te beantwoorden dan de technische. Mistral heeft dit uitgebracht onder de Mistral Ecosystem Open-Weight License, een aangepaste MIT-tekst die commercieel gebruik, fine-tuning en afgeleide werken toestaat, en alleen een afzonderlijke commerciële licentie vereist voor het exploiteren van een model-as-a-service-bedrijf op basis daarvan. Interne fine-tuning, een privé-adapter, een evaluatierun op gehuurde nodes — alles valt binnen de toestemming. Een per-token-API opzetten en toegang tot je fine-tune verkopen, valt daar niet onder. Als je plan het eerste is, is de licentie niet je probleem. Is het het tweede, dan is het het hele probleem, en geen enkele AIME-verbetering verandert daaraan.

De helft van de lus die later duur wordt

AIME is het goedkope geval, en dat verdient een expliciete uitleg. De beloning is een antwoordstring die een script vergelijkt. Er is geen beoordelaar, geen rubric, geen tweede model in de lus, dus de marginale kosten van een rollout zijn inferentie en niets anders. Pas je hetzelfde recept toe op agentische taken, open-ended schrijven of iets dat op voorkeur wordt beoordeeld, dan wordt de beloning een modelaanroep — op rollout-schaal uitgegeven, duizenden keren per stap, voor de hele run. Dat is een ander inkoopprobleem dan trainingscompute, en het is het probleem dat de meeste teams ontdekken nadat ze de GPU's hebben geboekt.

Mistral Large 4 zelf is geen model dat wij aanbieden, dus dit stuk is geen route daarnaartoe — zelf hosten betekent het gebruik van de Hugging Face-repository en de eigen API van de leverancier. Wat routeerbaar is, is de andere helft van de lus. Als je verifier een judgemodel is en geen script, moet het bestand zijn tegen aanroepen op rollout-volume: één endpoint voor meer dan 200 modellen, de lijstprijs van de provider doorgegeven zonder extra opslag, en failover wanneer een enkel judge-endpoint een rate limit bereikt midden in een trainingsstap. De modellen die je daadwerkelijk als judges zou gebruiken, staan met context en prijs vermeld in de OrcaRouter-modelcatalogus. Het punt is niet dat routering RL goedkoop maakt. Het is dat het beloningssignaal het deel van een RL-run is waar je niet omheen kunt plannen, dus het is het deel dat het waard is achter een stabiele interface te plaatsen.

Wat nu te kijken

Drie dingen zouden dit van een veelbelovende notitie een resultaat maken. Dat het SkyRL-team de adapter-rank, de reward-definitie en een leercurve publiceert, waardoor een andere groep dezelfde run zou kunnen proberen in plaats van die alleen te bewonderen. Een tweede taak, idealiter een waarvan de reward geen stringvergelijking is, die zou laten zien of het effect standhoudt bij contact met een beoordelaar. En een onafhankelijke AIME- of moeilijkere-wiskunde-evaluatie van de vrijgegeven checkpoint, omdat de 64%-ondergrens momenteel de eigen meting van de partner is en de enige manier om dat voorbehoud te laten vallen, is dat iemand anders het meet.

Tot dan is de eerlijke samenvatting kort. De gewichten zijn één dag oud, een partner heeft met een LoRA-adapter een wiskundebenchmark elf punten opgeschoven op acht gehuurde nodes, en niemand heeft dat nog gereproduceerd. Dat is meer dan de meeste open-weight-releases in hun eerste week bieden, en minder dan de kop impliceert.