SkyRL ha aumentato di undici punti il punteggio AIME di Mistral Large 4 su otto nodi: cosa dimostra l’RL day-0 su un MoE da 1T

Mistral Large 4 è stato annunciato come anteprima API il 6 ottobre 2026, e i suoi pesi sono diventati scaricabili solo alle 14:51 UTC del 29 ottobre — il che rende notevole il rapporto sull'apprendimento per rinforzo pubblicato lo stesso giorno per un motivo su cui gli autori non si soffermano: prima di quel pomeriggio, nessuno al di fuori di Mistral aveva un risultato di fine-tuning da pubblicare. La nota proviene dal team SkyRL di NovaSky. Otto nodi NVIDIA GB200, apprendimento per rinforzo LoRA sul checkpoint NVFP4, vLLM che serve i rollout, e AIME 2024 average@8 che sale da circa il 64% a circa il 75% nell'arco di 75 passi di addestramento. Undici punti su un benchmark che di solito si decide in decimi o è il risultato day-zero più utile del trimestre o è il meno riproducibile, e la nota così com'è scritta non ti dice quale dei due.

Quello che ti dice è reale, e vale la pena separarlo da quello che non ti dice. L’hardware è nominato. Il checkpoint è nominato. Il motore di rollout è nominato. Il framework di addestramento è indicato come uno dei due. Mancano la funzione di ricompensa, il rango dell’adattatore, l’harness di valutazione e qualsiasi curva di apprendimento — le quattro cose di cui un altro team avrebbe bisogno per tentare la stessa esecuzione. Quindi questo è l’annuncio di una ricetta con un numero in evidenza allegato, non un pacchetto di riproducibilità. Leggilo come il primo e sarà davvero informativo su quanto costa post-addestrare una miscela di esperti da mille miliardi di parametri alla fine del 2026. Leggilo come il secondo e sopravvaluterai un benchmark su un singolo task.

Cosa dice effettivamente la nota di SkyRL

L'intera affermazione sta in cinque righe, quindi eccola senza il contesto:

• Hardware — 8 nodi NVIDIA GB200, in affitto anziché di proprietà, che con quattro GPU per nodo fanno 32 componenti Blackwell e circa 6,1 TB di HBM aggregata a 192 GB per GPU.

• Checkpoint — la variante quantizzata NVFP4 della release aperta, 610,1 GB su 32 shard, non il genitore FP8 da 1.060,6 GB. Quella scelta è quella portante: è ciò che permette a un modello da 1T di stare su otto nodi con spazio avanzato per le attivazioni, la KV cache e due copie dei pesi del motore di rollout.

• Metodo — LoRA anziché RL con tutti i parametri. Solo gli adapter ricevono i gradienti, quindi lo stato dell'ottimizzatore resta contenuto e la base congelata può rimanere nella sua forma quantizzata.

• Ciclo — vLLM genera i rollout; FSDP2 o Megatron gestisce la metà dell'addestramento. La nota offre entrambe le opzioni, il che indica che il backend di addestramento era ancora in fase di cambio quando il risultato è stato redatto.

• Risultato — media@8 di AIME 2024 da circa il 64% a circa il 75% in 75 passaggi di addestramento.

Nulla in quell'elenco è una specifica della run. Non c'è una batch size, non c'è una lunghezza di sequenza, non c'è un learning rate, non c'è una dimensione del gruppo per il policy gradient, non c'è alcuna indicazione di quale fosse la ricompensa al di là dell'implicito "le risposte AIME sono verificabili". La cifra di 75 passi è precisa; quasi tutto ciò che serve per interpretarla non lo è.

Perché il numero di nodi è la notizia principale, non il punteggio AIME

Un trilione di parametri è un numero che funge soprattutto da deterrente. Il checkpoint FP8 è di 1,06 TB, il che va bene se hai un datacenter e rappresenta un problema se hai un rack. Il checkpoint NVFP4 lo dimezza a 610 GB, e 610 GB è una quantità che puoi distribuire su otto nodi senza trucchi di sharding che ti costano più in comunicazione di quanto ti facciano risparmiare in memoria.

Ecco perché la frase interessante nella nota non è quella che contiene la percentuale. Hugging Face aveva già pubblicato una ricetta di fine-tuning supervisionato per questo modello — LoRA tramite il trainer SFT di TRL, su un singolo nodo di otto GPU B300, sui pesi FP8. Il SFT su un singolo nodo era quindi documentato prima che i pesi avessero un giorno di vita. Ciò che non era documentato era l'apprendimento per rinforzo, e la ragione è strutturale: il RL richiede un motore di inferenza in esecuzione accanto al trainer, che generi rollout abbastanza veloci perché il tempo GPU speso per l'addestramento non sia eclissato dal tempo GPU speso per il campionamento. Il SFT legge un dataset fisso. Il RL deve produrne uno proprio.

Quindi il delta tra le due ricette pubblicate non è otto nodi contro uno. È otto nodi più uno stack di serving contro un nodo senza stack di serving, per un task in cui il modello deve tentare trenta problemi otto volte ciascuno prima di imparare qualcosa. Il motore di rollout è il nuovo centro di costo, e indicare vLLM come generatore è la parte della nota su cui gli altri team possono agire già oggi.

Il confronto che tutti faranno, e perché è ingiusto in entrambe le direzioni

Mistral ha eseguito il proprio RL su questo modello prima di rendere disponibili i pesi, e l’azienda è stata precisa sulla sua configurazione: circa tre settimane aggiuntive dopo l’anteprima del 6 ottobre, svolte su capacità di calcolo francese che l’azienda descrive in megawatt anziché in GPU — circa 10 MW — mentre altri resoconti collocano l’infrastruttura RL più ampia su una scala di 3.000 GPU. I risultati pubblicati da quella esecuzione:

• Terminal-Bench 4.0 — 28,3% prima dell'RL aggiuntivo, 41% dopo.

• BrowseComp — 75% prima, 84,5% dopo.

• Suite di sicurezza degli agenti B3 — 93,3% prima, 97,1% dopo.

• Lunghezza dell'output — circa il 30% in meno di token per attività dopo il RL, cosa che per un acquirente conta più di qualsiasi riga di accuratezza.

Metti questo accanto a 64-75 su AIME e la tentazione è calcolare un rapporto di ore-GPU per punto. Resistila, perché le due esecuzioni non hanno quasi variabili in comune. Il guadagno di Mistral riguarda il lavoro agentico da terminale e la navigazione, misurato da un fornitore con la progettazione della ricompensa fatta internamente e tre settimane di tempo effettivo. Il guadagno di SkyRL riguarda la matematica da competizione, misurato da un partner con un cluster affittato e una ricompensa verificabile da uno script. Una variazione di 13 punti su Terminal-Bench e una di 11 punti su AIME non sono lo stesso risultato espresso in unità diverse; sono risultati diversi che per caso hanno dimensioni simili.

La lettura equa è più ristretta e più utile: tre settimane di RL su scala datacenter hanno spostato di tredici punti il punteggio terminale di Mistral, e alcune ore di RL LoRA su scala a otto nodi hanno spostato di undici il punteggio di matematica di un partner. Entrambi i numeri dicono la stessa cosa — questo checkpoint risponde prontamente all'apprendimento per rinforzo — e nessuno dei due dice alcunché sull'altro.

Che cosa dimostra e che cosa non dimostra un punteggio compreso tra 64 e 75 all'AIME 2024

Partiamo dall'aritmetica, perché è l'unica parte di questa cosa che può essere verificata senza una GPU. AIME 2024 è composto da trenta problemi. Average@8 significa otto tentativi campionati per problema, quindi il dato riportato si basa su 240 completamenti. L'errore di campionamento su una proporzione vicina al 70% con quella dimensione del campione è di alcuni punti percentuali, il che colloca uno spostamento di undici punti comodamente al di fuori del rumore. Se i due valori provengono dallo stesso harness, il miglioramento è reale su quel compito.

Questa è la cosa più forte che si possa dire, e vale la pena dirla chiaramente perché la maggior parte delle affermazioni fatte il giorno zero non è nemmeno così buona. Ora i limiti:

• Non esiste un punteggio AIME pubblicato da Mistral per questo modello. Il valore di riferimento del 64% è la misurazione di SkyRL stesso del checkpoint base sul proprio harness, quindi il delta è internamente coerente ma non ancorato a riferimenti esterni — non puoi confrontarlo con un dato del fornitore perché non esiste alcun dato del fornitore.

• Average@8 non è pass@1. Otto tentativi per problema favoriscono qualsiasi modello con un’ampia distribuzione di campionamento, e il divario tra le due metriche è comunemente di cinque-quindici punti nella matematica da competizione. Il numero che decide se distribuiresti il modello è il singolo tentativo che gli concedi in produzione.

• AIME 2024 ha due anni e mezzo ed è tra i set di matematica più ampiamente rappresentati nei dati di post-training. Un modello del 2026 che ottiene buoni risultati su di esso è prova di un checkpoint addestrabile, non un verdetto sul ragionamento. Nulla nella nota riporta una valutazione held-out o più recente.

• Un compito, un'esecuzione, una ricompensa. L'RL sulla matematica verificabile è il caso più semplice che esista: la ricompensa non richiede giudice, rubrica né intervento umano. Il risultato è un'affermazione su quanto questo modello progredisce con il segnale RL più economico possibile, che è davvero il primo esperimento giusto e anche il meno trasferibile.

Cosa ti servirebbe per riprodurlo, e cosa consente la licenza

La lista della spesa pratica, ricostruita dalla nota anziché pubblicata da essa:

• Il checkpoint NVFP4 — 610 GB, 32 shard, senza restrizioni, scaricabile oggi senza dover passare dal gate dell'account Hugging Face.

• Circa 32 GPU di classe Blackwell distribuite su otto nodi, più l'interconnessione necessaria a evitare che la sincronizzazione dell'adattatore divori il tempo dello step.

• Una build di vLLM con un percorso NVFP4 funzionante per questa architettura. La model card consiglia vLLM con un container ufficiale e una dimensione tensor-parallel pari a otto, e segnala una head di speculative decoding integrata che il fornitore sostiene valere fino a 1,9× di throughput — quella head non è ciò di cui ha bisogno un ciclo RL, ma il container sì.

• Un grado dell'adattatore e una ricompensa dovrai sceglierli tu, perché la nota non lo specifica.

La questione della licenza si risolve in modo più netto di quella tecnica. Mistral ha rilasciato questo sotto la Mistral Ecosystem Open-Weight License, un testo MIT modificato che consente uso commerciale, fine-tuning e derivati, e richiede una licenza commerciale separata solo per gestire un'attività di model-as-a-service basata su di esso. Il fine-tuning interno, un adapter privato, un'esecuzione di valutazione su nodi noleggiati: tutto questo rientra nella concessione. Creare un'API per-token e vendere l'accesso al proprio fine-tune non vi rientra. Se il tuo piano è il primo, la licenza non è il tuo problema. Se è il secondo, è l'intero problema, e nessun miglioramento di AIME lo cambia.

La metà del ciclo che diventa costosa più tardi

AIME è il caso economico per una ragione che vale la pena chiarire esplicitamente. La ricompensa è una stringa di risposta che uno script confronta. Non c'è alcun giudice, alcuna rubrica, alcun secondo modello nel ciclo, quindi il costo marginale di un rollout è l'inferenza e nient'altro. Sposta la stessa ricetta su compiti agentici, scrittura aperta o qualsiasi cosa valutata in base alle preferenze, e la ricompensa diventa una chiamata a un modello — emessa su scala di rollout, migliaia di volte per passo, per l'intera esecuzione. Questo è un problema di approvvigionamento diverso dal calcolo per l'addestramento, ed è quello che la maggior parte dei team scopre dopo aver prenotato le GPU.

Mistral Large 4 stesso non è un modello che forniamo, quindi questo articolo non è una via per accedervi — l'hosting autonomo implica il repository Hugging Face e l'API del fornitore stesso. Ciò che è instradabile è l'altra metà del ciclo. Se il tuo verificatore è un modello giudice anziché uno script, deve sopravvivere all'essere chiamato a volume di rollout: un unico endpoint per oltre 200 modelli, prezzo di listino del provider passato senza alcun ricarico aggiuntivo, e il failover quando un singolo endpoint giudice raggiunge il limite di richieste nel bel mezzo di un passo di addestramento. I modelli che useresti davvero come giudici sono elencati, con contesto e prezzo, nel catalogo modelli di OrcaRouter. Il punto non è che l'instradamento renda l'RL economico. È che il segnale di ricompensa è la parte di un'esecuzione RL che non puoi aggirare tramite pianificazione, quindi è la parte che vale la pena mettere dietro un'interfaccia stabile.

Cosa guardare dopo

Tre cose trasformerebbero questo da una nota promettente in un risultato. Il team di SkyRL che pubblica il rank dell'adattatore, la definizione della ricompensa e una curva di apprendimento, il che permetterebbe a un altro gruppo di tentare la stessa esecuzione invece di ammirarla. Un secondo compito, idealmente uno la cui ricompensa non sia un confronto tra stringhe, che mostrerebbe se l'effetto sopravvive al contatto con un giudice. E una valutazione indipendente su AIME o su matematica più avanzata del checkpoint rilasciato, perché la soglia minima del 64% è attualmente una misurazione del partner stesso e l'unico modo per eliminare quella riserva è che qualcun altro la misuri.

Fino ad allora, il riassunto onesto è breve. I pesi hanno un giorno di vita, un partner ha spostato di undici punti un benchmark matematico su otto nodi noleggiati con un adattatore LoRA, e nessuno l'ha ancora riprodotto. Questo è più di quanto la maggior parte dei rilasci open-weight offra nella prima settimana, e meno di quanto lasci intendere il titolo.