SkyRL flyttade Mistral Large 4:s AIME-poäng elva poäng på åtta noder: Vad Day-0 RL på en 1T MoE bevisar

Mistral Large 4 tillkännagavs som en API-förhandsvisning den 6 oktober 2026, och dess vikter blev nedladdningsbara först kl. 14.51 UTC den 29 oktober – vilket gör förstärkningsinlärningsrapporten som publicerades samma dag anmärkningsvärd av en anledning som författarna inte uppehåller sig vid: före den eftermiddagen hade ingen utanför Mistral ett finjusteringsresultat att publicera. Anteckningen kommer från SkyRL-teamet på NovaSky. Åtta NVIDIA GB200-noder, LoRA-förstärkningsinlärning på NVFP4-checkpointen, vLLM som betjänar rollouts, och AIME 2024 average@8 som klättrar från cirka 64 % till cirka 75 % under 75 träningssteg. Elva punkter på ett benchmark som vanligtvis avgörs i tiondelar är antingen det mest användbara resultatet från dag noll under kvartalet eller det minst reproducerbara, och anteckningen i sin nuvarande form säger inte vilket.

Det som faktiskt sägs är sant, och det är värt att skilja från det som inte sägs. Hårdvaran namnges. Checkpointen namnges. Rollout-motorn namnges. Träningsramverket anges som ett av två. Det som saknas är belöningsfunktionen, adapter-ranken, utvärderingsriggen och en inlärningskurva – de fyra saker som ett annat team skulle behöva för att försöka genomföra samma körning. Så det här är ett tillkännagivande av ett recept med en rubriksiffra bifogad, inte ett reproduktionspaket. Läser man det som det förstnämnda är det genuint informativt om vad en mixture of experts med en biljon parametrar kostar att post-träna i slutet av 2026. Läser man det som det sistnämnda kommer man att överskatta ett enda benchmark på en enda uppgift.

Vad det faktiskt står i SkyRL-anteckningen

Hela påståendet får plats på fem rader, så här är det utan inramningen:

• Hårdvara – 8 NVIDIA GB200-noder, hyrda i stället för ägda, vilket med fyra GPU:er per nod blir 32 Blackwell-enheter och ungefär 6,1 TB aggregerat HBM med 192 GB per GPU.

• Checkpoint – NVFP4-kvantiserade syskonet till den öppna releasen, 610,1 GB fördelat på 32 shards, inte den 1 060,6 GB tunga FP8-föräldern. Det valet är det bärande: det är vad som gör att en 1T-modell får plats på åtta noder med utrymme kvar för aktiveringar, KV-cache och två kopior av rollout-motorns vikter.

• Metod — LoRA i stället för fullparameters-RL. Endast adaptrarna får gradienter, så optimerarens tillstånd förblir litet och den frysta basen kan ligga kvar i sin kvantiserade form.

• Loop – vLLM genererar rollouts; FSDP2 eller Megatron hanterar träningsdelen. Anteckningen anger att endera kan användas, vilket avslöjar att träningsbackenden fortfarande byttes ut när resultatet sammanställdes.

• Resultat — AIME 2024 average@8 från ungefär 64 % till ungefär 75 % på 75 träningssteg.

Ingenting i den listan är en specifikation av körningen. Det finns ingen batchstorlek, ingen sekvenslängd, ingen inlärningshastighet, ingen gruppstorlek för policy-gradienten, inget angivande av vad belöningen var utöver det implicita "AIME-svar går att kontrollera". Siffran 75 steg är precis; nästan allt som behövs för att tolka den är inte det.

Varför nodantalet är rubriken, inte AIME-poängen

En biljon parametrar är ett tal som mestadels fungerar som ett avskräckande medel. FP8-checkpointen är 1,06 TB, vilket är bra om du har ett datacenter och ett problem om du har ett rack. NVFP4-checkpointen halverar det till 610 GB, och 610 GB är en mängd som du kan fördela över åtta noder utan sharding-trick som kostar dig mer i kommunikation än de sparar i minne.

Det är därför den intressanta meningen i anteckningen inte är den som innehåller procenttalet. Hugging Face hade redan publicerat ett recept för övervakad finjustering för den här modellen – LoRA via TRL:s SFT-tränare, på en enda nod med åtta B300-GPU:er, ovanpå FP8-vikterna. SFT på en nod var alltså dokumenterat innan vikterna var en dag gamla. Det som inte var dokumenterat var förstärkningsinlärning, och orsaken är strukturell: RL kräver en inferensmotor som körs vid sidan av tränaren och genererar rollouts snabbt nog för att den GPU-tid som spenderas på träning inte ska överskuggas av den GPU-tid som spenderas på sampling. SFT läser en fast datamängd. RL måste producera sin egen.

Så skillnaden mellan de två publicerade recepten är inte åtta noder mot en. Det är åtta noder plus en serveringsstack mot en nod utan serveringsstack, för en uppgift där modellen måste försöka med trettio problem åtta gånger var innan den lär sig något. Rollout-motorn är det nya kostnadscentrumet, och att namnge vLLM som generatorn är den del av anteckningen som andra team kan agera på redan idag.

Jämförelsen alla kommer att göra, och varför den är orättvis i båda riktningarna

Mistral körde sin egen RL på den här modellen innan den släppte vikterna, och företaget har varit specifikt om hur den såg ut: ungefär tre ytterligare veckor efter förhandsvisningen den 6 oktober, körd på fransk beräkningskapacitet som företaget beskriver i megawatt snarare än GPU:er – omkring 10 MW – medan annan rapportering placerar den bredare RL-infrastrukturen i skalan 3 000 GPU:er. Resultaten som det publicerade från den körningen:

• Terminal-Bench 4.0 — 28,3 % före den extra RL:n, 41 % efter.

BrowseComp – 75 % före, 84,5 % efter.

• B3 agent-security suite — 93,3 % före, 97,1 % efter.

• Utdatalängd – cirka 30 % färre tokens per uppgift efter RL, vilket är viktigare för en köpare än någon av noggrannhetsraderna.

Ställ det bredvid 64 till 75 på AIME, och frestelsen är att beräkna en kvot av GPU-timmar per poäng. Motstå den, eftersom de två körningarna nästan inte delar några variabler. Mistrals ökning gäller agentiskt terminalarbete och webbläsning, mätt av en leverantör med belöningsdesignen in-house och tre veckors väggklockstid. SkyRL:s ökning gäller tävlingsmatematik, mätt av en partner med ett hyrt kluster och en belöning som ett skript kan verifiera. En ökning på 13 poäng på Terminal-Bench och en ökning på 11 poäng på AIME är inte samma prestation uttryckt i olika enheter; de är olika prestationer som råkar vara ungefär lika stora.

Den rättvisande tolkningen är snävare och mer användbar: tre veckors RL i datacenterstorlek ändrade Mistrals terminalpoäng med tretton poäng, och några timmars LoRA-RL i åttanodsskala ändrade en partners matematikpoäng med elva. Båda siffrorna säger samma sak – denna checkpoint svarar snabbt på förstärkningsinlärning – och ingen av dem säger något om den andra.

Vad 64 till 75 på AIME 2024 bevisar och inte bevisar

Börja med aritmetiken, eftersom det är den enda delen av detta som kan kontrolleras utan GPU. AIME 2024 består av trettio problem. Average@8 innebär åtta slumpmässigt uttagna försök per problem, så den rapporterade siffran vilar på 240 slutföranden. Urvalsfelet för en andel nära 70 % vid den urvalsstorleken är några procentenheter, vilket gör att en förändring på elva procentenheter med god marginal ligger utanför bruset. Om de två siffrorna kom från samma testramverk är förbättringen verklig på den uppgiften.

Det är det starkaste som kan sägas, och det är värt att sägas tydligt eftersom de flesta dag-noll-påståenden inte ens är så här bra. Nu till begränsningarna:

• Det finns inget AIME-resultat publicerat av Mistral för den här modellen. Baslinjen på 64 % är SkyRL:s egen mätning av bascheckpointen i deras eget utvärderingsramverk, så deltat är internt konsekvent men externt oankrat – du kan inte kontrollera det mot en siffra från leverantören eftersom ingen sådan siffra finns.

• Average@8 är inte pass@1. Åtta försök per problem smickrar varje modell med en bred samplingfördelning, och gapet mellan de två måtten är vanligtvis fem till femton poäng inom tävlingsmatematik. Det tal som avgör om du skulle driftsätta modellen är det enda försöket du ger den i produktion.

• AIME 2024 är två och ett halvt år gammalt och bland de mest kraftigt representerade matematikuppsättningarna i efterträningsdata. En modell från 2026 som presterar bra på det är bevis på en träningsbar checkpoint, inte en bedömning av resonemang. Inget i anteckningen rapporterar en held-out- eller nyare utvärdering.

• En uppgift, en körning, en belöning. RL på verifierbar matematik är det enklaste fallet som finns: belöningen kräver ingen domare, ingen bedömningsmall och ingen människa. Resultatet är ett uttalande om hur långt den här modellen förflyttar sig under den billigaste möjliga RL-signalen, vilket verkligen är rätt första experiment och också det minst överförbara.

Vad du skulle behöva för att reproducera det, och vad licensen tillåter

Den praktiska inköpslistan, rekonstruerad från anteckningen snarare än publicerad av den:

• NVFP4-checkpointen – 610 GB, 32 shards, utan åtkomstbegränsning, nedladdningsbar idag utan krav på Hugging Face-konto.

• Ungefär 32 GPU:er av Blackwell-klass över åtta noder, plus interconnect för att hindra att adaptersynkroniseringen äter upp stegtiden.

• En vLLM-bygg med en fungerande NVFP4-väg för den här arkitekturen. Modellkortet rekommenderar vLLM med en officiell container och en tensor-parallell storlek på åtta, och noterar ett inbäddat spekulativt avkodningshuvud som leverantören påstår är värt upp till 1,9× genomströmning – det huvudet är inte vad en RL-loop behöver, men containern är det.

• En adapterrang och en belöning måste du välja själv, eftersom anteckningen inte anger det.

Licensfrågan har en tydligare lösning än den tekniska. Mistral släppte detta under Mistral Ecosystem Open-Weight License, en modifierad MIT-licenstext som tillåter kommersiell användning, finjustering och derivat, och som kräver en separat kommersiell licens endast för att driva en model-as-a-service-verksamhet ovanpå den. Intern finjustering, en privat adapter, en utvärderingskörning på hyrda noder – allt detta ryms inom licensens omfång. Att sätta upp ett per-token-API och sälja åtkomst till din finjusterade modell gör det inte. Om din plan är den första är licensen inte ditt problem. Om den är den andra är den hela problemet, och oavsett hur mycket AIME än förbättras ändrar det inte saken.

Hälften av loopen som blir dyr senare

AIME är det billiga fallet av en anledning som är värd att uttryckligen förklaras. Belöningen är en svarsträng som ett skript jämför. Det finns ingen domare, ingen bedömningsmall, ingen andra modell i loopen, så marginalkostnaden för en rollout är inferens och inget annat. Flytta samma recept till agentuppgifter, fritt skrivande eller allt som bedöms efter preferens, och belöningen blir ett modellanrop – utfärdat i rollout-skala, tusentals gånger per steg, under hela körningen. Det är ett annat inköpsproblem än träningsberäkning, och det är det som de flesta team upptäcker först efter att de har bokат GPU:erna.

Mistral Large 4 är i sig inte en modell vi erbjuder, så den här artikeln är inte en väg till den – att självhosta den innebär Hugging Face-repot och leverantörens eget API. Det som går att routa är andra halvan av loopen. Om din verifierare är en domarmodell i stället för ett skript måste den tåla att anropas i rollout-volym: en endpoint över 200+ modeller, leverantörens listpris som vidarebefordras utan påslag ovanpå, och failover när en enda domar-endpoint når sin gräns mitt i ett träningssteg. De modeller du faktiskt skulle använda som domare listas, med kontext och pris, i OrcaRouter-modellkatalogen. Poängen är inte att routning gör RL billigt. Det är att belöningssignalen är den del av en RL-körning som du inte kan planera runt, så det är den del som är värd att lägga bakom ett stabilt gränssnitt.

Vad du ska titta på härnäst

Tre saker skulle förvandla detta från en lovande notis till ett resultat. Att SkyRL-teamet publicerar adapterrangen, belöningsdefinitionen och en inlärningskurva, vilket skulle göra det möjligt för en annan grupp att genomföra samma körning i stället för att bara beundra den. En andra uppgift, helst en vars belöning inte är en strängjämförelse, vilket skulle visa om effekten överlever kontakten med en domare. Och en oberoende utvärdering av den publicerade checkpointen på AIME eller svårare matematik, eftersom golvet på 64 % för närvarande är partnerns egen mätning, och det enda sättet att avfärda den reservationen är att någon annan mäter den.

Fram till dess är den ärliga sammanfattningen kort. Vikterna är en dag gamla, en partner flyttade ett matematikbenchmark elva poäng på åtta hyrda noder med en LoRA-adapter, och ingen har ännu reproducerat det. Det är mer än vad de flesta släpp av öppna vikter erbjuder under sin första vecka, och mindre än rubriken antyder.