SkyRL steigerte den AIME-Wert von Mistral Large 4 auf acht Knoten um elf Punkte: Was Day-0-RL bei einem 1T-MoE beweist

Mistral Large 4 wurde am 6. Oktober 2026 als API-Vorschau angekündigt, und seine Gewichte waren erst am 29. Oktober um 14:51 UTC herunterladbar — was den am selben Tag veröffentlichten Reinforcement-Learning-Bericht aus einem Grund bemerkenswert macht, auf den seine Autoren nicht näher eingehen: Vor diesem Nachmittag hatte niemand außerhalb von Mistral ein Fine-Tuning-Ergebnis zu veröffentlichen. Die Notiz stammt vom SkyRL-Team bei NovaSky. Acht NVIDIA-GB200-Knoten, LoRA-Reinforcement-Learning auf dem NVFP4-Checkpoint, vLLM für das Serving der Rollouts und ein Anstieg von AIME 2024 average@8 von etwa 64 % auf etwa 75 % über 75 Trainingsschritte hinweg. Ein Zugewinn von elf Punkten auf einem Benchmark, der üblicherweise in Zehnteln entschieden wird, ist entweder das nützlichste Day-zero-Ergebnis des Quartals oder das am wenigsten reproduzierbare — und die Notiz in ihrer vorliegenden Form sagt nicht, welches von beidem zutrifft.

Was es Ihnen tatsächlich sagt, ist echt, und es lohnt sich, es von dem zu trennen, was es nicht sagt. Die Hardware wird genannt. Der Checkpoint wird genannt. Die Rollout-Engine wird genannt. Das Trainingsframework wird als eines von zwei genannt. Was fehlt, sind die Reward-Funktion, der Adapter-Rang, das Evaluierungs-Harness und jegliche Lernkurve – die vier Dinge, die ein anderes Team bräuchte, um denselben Lauf zu versuchen. Es handelt sich also um eine Rezept-Ankündigung mit einer Schlagzeilen-Zahl versehen, nicht um ein Reproduktionspaket. Lesen Sie es als Ersteres, und es ist wirklich informativ darüber, was eine Billion-Parameter-Mixture-of-Experts im späten 2026 im Post-Training kostet. Lesen Sie es als Letzteres, und Sie werden einen Benchmark auf einer Aufgabe überbewerten.

Was in der SkyRL-Notiz tatsächlich steht

Die ganze Behauptung passt in fünf Zeilen, also hier ist sie ohne das Drumherum:

• Hardware — 8 NVIDIA-GB200-Knoten, gemietet statt gekauft, was bei vier GPUs pro Knoten 32 Blackwell-Einheiten und rund 6,1 TB aggregierten HBM bei 192 GB pro GPU ergibt.

• Checkpoint — das NVFP4-quantisierte Geschwistermodell des Open-Release, 610,1 GB auf 32 Shards verteilt, nicht das FP8-Elternmodell mit 1.060,6 GB. Diese Entscheidung ist die entscheidende: Sie macht ein 1T-Modell auf acht Knoten unterbringbar, wobei noch Platz für Aktivierungen, KV-Cache und zwei Kopien der Gewichte der Rollout-Engine bleibt.

• Methode — LoRA statt Full-Parameter-RL. Nur die Adapter erhalten Gradienten, daher bleibt der Optimizer-Zustand klein und die eingefrorene Basis kann in ihrer quantisierten Form verbleiben.

• Schleife – vLLM erzeugt die Rollouts; FSDP2 oder Megatron übernimmt die Trainingshälfte. Die Anmerkung nennt beide als Option, was darauf hindeutet, dass das Trainings-Backend noch ausgetauscht wurde, als das Ergebnis verfasst wurde.

• Ergebnis — AIME 2024 Durchschnitt@8 von etwa 64 % auf etwa 75 % in 75 Trainingsschritten.

Nichts in dieser Liste ist eine Spezifikation des Laufs. Es gibt keine Batch-Größe, keine Sequenzlänge, keine Lernrate, keine Gruppengröße für den Policy-Gradienten und keine Aussage darüber, was die Belohnung war, über das implizite „AIME-Antworten sind überprüfbar“ hinaus. Die Angabe von 75 Schritten ist präzise; fast alles, was nötig wäre, um sie zu interpretieren, ist es nicht.

Warum die Knotenanzahl die Schlagzeile ist, nicht der AIME-Score

Eine Billion Parameter ist eine Zahl, die vor allem als Abschreckung wirkt. Der FP8-Checkpoint ist 1,06 TB groß – kein Problem, wenn man ein Rechenzentrum hat, aber ein Problem, wenn man nur ein Rack hat. Der NVFP4-Checkpoint halbiert das auf 610 GB, und 610 GB sind eine Größe, die man über acht Knoten verteilen kann, ohne Sharding-Tricks, die einen bei der Kommunikation mehr kosten, als sie beim Speicher sparen.

Deshalb ist der interessante Satz in der Notiz nicht der mit der Prozentangabe. Hugging Face hatte bereits ein Rezept für Supervised Fine-Tuning für dieses Modell veröffentlicht – LoRA über den SFT-Trainer von TRL, auf einem einzelnen Knoten mit acht B300-GPUs, aufbauend auf den FP8-Gewichten. SFT auf einem Knoten war daher dokumentiert, bevor die Gewichte einen Tag alt waren. Nicht dokumentiert war Reinforcement Learning, und der Grund dafür ist strukturell: RL braucht eine Inferenz-Engine, die neben dem Trainer läuft und Rollouts schnell genug erzeugt, dass die für das Training aufgewendete GPU-Zeit nicht von der für das Sampling aufgewendete GPU-Zeit in den Schatten gestellt wird. SFT liest einen festen Datensatz. RL muss seine eigenen erzeugen.

Die Differenz zwischen den beiden veröffentlichten Rezepten beträgt also nicht acht Knoten gegenüber einem. Sie beträgt acht Knoten plus einen Serving-Stack gegenüber einem Knoten ohne Serving-Stack – für eine Aufgabe, bei der das Modell dreißig Probleme jeweils achtmal versuchen muss, bevor es überhaupt etwas lernt. Die Rollout-Engine ist das neue Kostenzentrum, und vLLM als Generator zu nennen, ist der Teil der Notiz, auf den andere Teams heute reagieren können.

Der Vergleich, den alle ziehen werden, und warum er in beide Richtungen unfair ist

Mistral führte vor der Auslieferung der Gewichte sein eigenes RL für dieses Modell durch, und das Unternehmen hat konkrete Angaben zu dessen Zuschnitt gemacht: etwa drei zusätzliche Wochen nach der Preview vom 6. Oktober, ausgeführt auf französischer Rechenleistung, die das Unternehmen in Megawatt statt in GPUs beschreibt – rund 10 MW –, während andere Berichte die umfassendere RL-Infrastruktur in der Größenordnung von 3.000 GPUs verorten. Die Ergebnisse, die es aus diesem Lauf veröffentlichte:

• Terminal-Bench 4.0 — 28,3 % vor dem zusätzlichen RL, 41 % danach.

• BrowseComp — 75 % vorher, 84,5 % nachher.

• B3 agent-security Suite — 93,3 % vorher, 97,1 % nachher.

• Ausgabelänge – etwa 30 % weniger Tokens pro Aufgabe nach dem RL, was für einen Käufer mehr zählt als jede der Genauigkeitszeilen.

Setzen Sie das neben 64 bis 75 bei AIME, und die Versuchung liegt nahe, ein Verhältnis von GPU-Stunden pro Punkt zu berechnen. Widerstehen Sie dem, denn die beiden Läufe teilen nahezu keine Variablen. Mistrals Zugewinn liegt bei agentischer Terminalarbeit und Browsing, gemessen von einem Anbieter mit hausinternem Belohnungsdesign und drei Wochen Wall-Clock-Zeit. SkyRLs Zugewinn liegt bei Wettbewerbsmathematik, gemessen von einem Partner mit einem gemieteten Cluster und einer Belohnung, die ein Skript verifizieren kann. Ein Sprung von 13 Punkten bei Terminal-Bench und ein Sprung von 11 Punkten bei AIME sind nicht dieselbe Errungenschaft, ausgedrückt in unterschiedlichen Einheiten; es sind unterschiedliche Errungenschaften, die zufällig ähnlich groß sind.

Die faire Lesart ist enger und nützlicher: Drei Wochen RL im Rechenzentrumsmaßstab verschoben Mistrals Terminal-Score um dreizehn Punkte, und ein paar Stunden LoRA-RL im Acht-Knoten-Maßstab verschoben den Mathe-Score eines Partners um elf. Beide Zahlen sagen dasselbe – dieser Checkpoint reagiert bereitwillig auf Reinforcement Learning – und keine von beiden sagt etwas über die andere aus.

Was 64 bis 75 bei AIME 2024 beweist – und was nicht

Beginne mit der Arithmetik, denn sie ist der einzige Teil davon, der ohne GPU überprüft werden kann. AIME 2024 besteht aus dreißig Aufgaben. Average@8 bedeutet acht gezogene Versuche pro Aufgabe, sodass die berichtete Zahl auf 240 Vervollständigungen beruht. Der Stichprobenfehler bei einem Anteil nahe 70 % bei dieser Stichprobengröße beträgt ein paar Prozentpunkte, was eine Verschiebung um elf Punkte bequem außerhalb des Rauschens setzt. Wenn die beiden Zahlen aus demselben Harness stammen, ist die Verbesserung bei dieser Aufgabe real.

Das ist das Stärkste, was man sagen kann, und es lohnt sich, es deutlich zu sagen, denn die meisten Day-Zero-Behauptungen sind nicht einmal so gut. Nun die Grenzen:

• Für dieses Modell gibt es keinen von Mistral veröffentlichten AIME-Score. Die 64-%-Basislinie ist SkyRLs eigene Messung des Basis-Checkpoints mit seinem eigenen Harness; daher ist das Delta intern konsistent, aber extern nicht verankert – man kann es nicht mit einer Anbieterangabe abgleichen, weil keine Anbieterangabe existiert.

• Average@8 ist nicht pass@1. Acht Versuche pro Aufgabe schmeicheln jedem Modell mit einer breiten Sampling-Verteilung, und die Lücke zwischen den beiden Metriken beträgt bei Wettbewerbsmathematik routinemäßig fünf bis fünfzehn Punkte. Die Zahl, die entscheidet, ob man das Modell einsetzen würde, ist der eine Versuch, den man ihm im Produktivbetrieb gewährt.

• AIME 2024 ist zweieinhalb Jahre alt und gehört zu den am stärksten vertretenen Mathematik-Sets in Post-Training-Daten. Ein Modell aus 2026, das darauf gut abschneidet, ist ein Beleg für einen trainierbaren Checkpoint, kein Urteil über das Reasoning. Nichts in der Notiz berichtet von einer Held-out- oder neueren Evaluation.

• Eine Aufgabe, ein Durchlauf, eine Belohnung. RL bei verifizierbarer Mathematik ist der einfachste Fall, den es gibt: Die Belohnung braucht keinen Bewerter, kein Bewertungsraster und keinen Menschen. Das Ergebnis ist eine Aussage darüber, wie weit sich dieses Modell unter dem billigsten möglichen RL-Signal bewegt, was wirklich das richtige erste Experiment ist und zugleich das am wenigsten übertragbare.

Was Sie benötigen würden, um es zu reproduzieren, und was die Lizenz erlaubt.

Die praktische Einkaufsliste, aus der Notiz rekonstruiert und nicht von ihr veröffentlicht:

• Der NVFP4-Checkpoint – 610 GB, 32 Shards, ohne Zugangsbeschränkung, heute ohne Hugging-Face-Konto-Schranke herunterladbar.

• Etwa 32 GPUs der Blackwell-Klasse auf acht Knoten, plus die Interconnect-Anbindung, damit die Adapter-Synchronisierung nicht die Schrittzeit auffrisst.

• Ein vLLM-Build mit einem funktionierenden NVFP4-Pfad für diese Architektur. Die Modellkarte empfiehlt vLLM mit einem offiziellen Container und einer Tensor-Parallel-Größe von acht und erwähnt einen eingebetteten Speculative-Decoding-Head, der laut Hersteller bis zu 1,9× Durchsatz bringen soll – dieser Head ist nicht das, was eine RL-Schleife braucht, der Container aber schon.

• Einen Adapterrang und eine Belohnung musst du selbst wählen, weil die Notiz dazu nichts sagt.

Die Lizenzfrage lässt sich sauberer klären als die technische. Mistral hat dies unter der Mistral Ecosystem Open-Weight License veröffentlicht, einem modifizierten MIT-Text, der kommerzielle Nutzung, Fine-Tuning und Ableitungen erlaubt und nur für den Betrieb eines Model-as-a-Service-Geschäfts darauf aufbauend eine separate kommerzielle Lizenz verlangt. Internes Fine-Tuning, ein privater Adapter, ein Evaluationslauf auf gemieteten Knoten – all das fällt unter die Erlaubnis. Eine API mit Abrechnung pro Token aufzusetzen und den Zugriff auf dein Fine-Tune zu verkaufen, dagegen nicht. Wenn dein Plan der erste ist, ist die Lizenz nicht dein Problem. Wenn er der zweite ist, ist sie das ganze Problem, und keine noch so große AIME-Verbesserung ändert daran etwas.

Die Hälfte der Schleife, die später teuer wird

AIME ist aus einem Grund, den man ruhig ausführlich nennen sollte, der günstige Fall. Die Belohnung ist eine Antwortzeichenkette, die ein Skript vergleicht. Es gibt keinen Judge, keine Bewertungsrubrik und kein zweites Modell im Ablauf, sodass die Grenzkosten eines Rollouts die Inferenz sind und sonst nichts. Überträgt man dasselbe Rezept auf agentische Aufgaben, offenes Schreiben oder alles, was nach Präferenz bewertet wird, wird die Belohnung zu einem Modellaufruf – im Rollout-Maßstab ausgelöst, tausende Male pro Schritt, über den gesamten Lauf hinweg. Das ist ein anderes Beschaffungsproblem als die Trainingsrechenleistung, und es ist dasjenige, das die meisten Teams erst entdecken, nachdem sie die GPUs gebucht haben.

Mistral Large 4 selbst ist kein Modell, das wir anbieten, daher ist dieser Beitrag kein Weg dorthin – es selbst zu hosten bedeutet das Hugging Face-Repository und die eigene API des Anbieters. Was sich routen lässt, ist die andere Hälfte der Schleife. Wenn Ihr Verifier ein Judge-Modell statt eines Skripts ist, muss er es verkraften, in Rollout-Volumen aufgerufen zu werden: ein einziger Endpunkt für über 200+ Modelle, Anbieter-Listenpreis ohne Aufschlag durchgereicht, und Failover, wenn ein einzelner Judge-Endpunkt mitten in einem Trainingsschritt ins Rate-Limit läuft. Die Modelle, die Sie tatsächlich als Judges verwenden würden, sind mit Kontext und Preis in dem OrcaRouter-Modellkatalog aufgeführt. Der Punkt ist nicht, dass Routing RL billig macht. Sondern dass das Belohnungssignal der Teil eines RL-Laufs ist, um den man nicht herumplanen kann, und daher der Teil, den es wert ist, hinter eine stabile Schnittstelle zu legen.

Was als Nächstes ansehen

Drei Dinge würden dies von einer vielversprechenden Notiz zu einem Ergebnis machen. Dass das SkyRL-Team den Adapter-Rang, die Definition der Belohnung und eine Lernkurve veröffentlicht, was es einer anderen Gruppe ermöglichen würde, denselben Lauf zu versuchen, statt ihn nur zu bewundern. Eine zweite Aufgabe, idealerweise eine, deren Belohnung kein Stringvergleich ist, die zeigen würde, ob der Effekt den Kontakt mit einem Bewerter übersteht. Und eine unabhängige AIME- oder anspruchsvollere-Mathematik-Bewertung des veröffentlichten Checkpoints, denn die 64%-Untergrenze ist derzeit die eigene Messung des Partners, und der einzige Weg, diesen Vorbehalt auszuräumen, ist, dass jemand anderes sie misst.

Bis dahin ist die ehrliche Zusammenfassung kurz. Die Gewichte sind einen Tag alt, ein Partner hat mit einem LoRA-Adapter einen Mathematik-Benchmark auf acht gemieteten Knoten um elf Punkte verbessert, und niemand hat es bislang reproduziert. Das ist mehr, als die meisten Open-Weight-Veröffentlichungen in ihrer ersten Woche bieten, und weniger, als die Schlagzeile impliziert.