SkyRL повысил результат Mistral Large 4 на AIME на одиннадцать баллов на восьми узлах: что доказывает RL с первого дня на 1T MoE

Mistral Large 4 был анонсирован как API-превью 6 октября 2026 года, а его веса стали доступны для скачивания только 29 октября в 14:51 UTC — что делает опубликованный в тот же день отчёт по обучению с подкреплением примечательным по причине, на которой его авторы не задерживаются: до второй половины того дня ни у кого за пределами Mistral не было результата дообучения, который можно было бы опубликовать. Заметка подготовлена командой SkyRL из NovaSky. Восемь узлов NVIDIA GB200, обучение с подкреплением с LoRA на чекпойнте NVFP4, vLLM обслуживает роллауты, а average@8 на AIME 2024 растёт примерно с 64% до примерно 75% на протяжении 75 шагов обучения. Одиннадцать пунктов на бенчмарке, где обычно всё решают десятые доли, — это либо самый полезный результат нулевого дня за квартал, либо наименее воспроизводимый из них; и заметка в её нынешнем виде не говорит, какой именно.

То, что оно действительно сообщает, — правда, и это стоит отделять от того, чего оно не сообщает. Аппаратное обеспечение названо. Чекпойнт назван. Движок роллаутов назван. Фреймворк обучения назван как один из двух. Чего не хватает — это функция вознаграждения, ранг адаптера, стенд оценки и какая-либо кривая обучения — четыре вещи, которые понадобились бы другой команде, чтобы попытаться воспроизвести тот же запуск. Так что это анонс рецепта с прикреплённой к нему главной цифрой, а не пакет для воспроизведения. Читайте его как первое — и оно действительно информативно в отношении того, во что обходится постобучение смеси экспертов с триллионом параметров в конце 2026 года. Читайте его как второе — и вы переоцените один бенчмарк на одной задаче.

Что на самом деле сказано в заметке SkyRL

Всё утверждение умещается в пяти строках, так что вот оно без обрамления:

• Аппаратное обеспечение — 8 узлов NVIDIA GB200, арендованных, а не собственных; при четырёх GPU на узел это 32 чипа Blackwell и примерно 6,1 ТБ совокупной памяти HBM при 192 ГБ на GPU.

• Checkpoint — NVFP4-квантованный аналог открытого релиза объёмом 610,1 ГБ, распределённый по 32 шардам, а не родительская FP8-версия на 1 060,6 ГБ. Именно это решение несёт основную нагрузку: оно позволяет 1T-модели поместиться на восьми узлах с запасом места для активаций, KV-кэша и двух копий весов движка rollout.

• Метод — LoRA вместо RL с полным обновлением всех параметров. Градиенты получают только адаптеры, поэтому состояние оптимизатора остаётся небольшим, а замороженная база может храниться в своей квантованной форме.

• Цикл — vLLM генерирует роллауты; FSDP2 или Megatron отвечает за тренировочную часть. В заметке предлагается любой из них, что говорит о том, что тренировочный бэкенд всё ещё менялся, когда результат оформляли.

• Результат — average@8 на AIME 2024 вырос с примерно 64% до примерно 75% за 75 шагов обучения.

Ничто в этом списке не является спецификацией запуска. Там нет ни размера батча, ни длины последовательности, ни скорости обучения, ни размера группы для градиента политики, ни указания, какой была награда, кроме неявного «ответы AIME проверяемы». Цифра в 75 шагов точна; почти всё, что нужно для её интерпретации, — нет.

Почему количество узлов — главная новость, а не результат AIME

Триллион параметров — это число, которое в основном выполняет роль сдерживающего фактора. Чекпоинт FP8 весит 1,06 ТБ: это нормально, если у вас есть дата-центр, и проблема, если у вас всего одна стойка. Чекпоинт NVFP4 вдвое меньше — 610 ГБ, а 610 ГБ — это объём, который можно распределить по восьми узлам без шардинговых трюков, которые обходятся дороже по коммуникации, чем экономят памяти.

Именно поэтому интересное предложение в заметке — не то, в котором есть процент. Hugging Face уже опубликовал рецепт supervised fine-tuning для этой модели — LoRA через SFT-тренер TRL, на одном узле из восьми GPU B300, поверх весов FP8. Таким образом, SFT на одном узле был задокументирован ещё до того, как весам исполнился день. Незадокументированным оставалось обучение с подкреплением, и причина структурная: RL требует, чтобы рядом с тренером работал инференс-движок, генерирующий роллауты достаточно быстро, чтобы время GPU, затрачиваемое на обучение, не затмевалось временем GPU, затрачиваемым на сэмплирование. SFT читает фиксированный набор данных. RL должен создавать свой собственный.

Итак, разница между двумя опубликованными рецептами — это не восемь узлов против одного. Это восемь узлов плюс стек обслуживания против одного узла без стека обслуживания — для задачи, где модель должна по восемь раз попытаться решить каждую из тридцати задач, прежде чем чему-либо научится. Новым центром затрат стал движок rollout, а указание vLLM в качестве генератора — это та часть заметки, по которой другие команды могут действовать уже сегодня.

Сравнение, которое все будут проводить, и почему оно несправедливо в обе стороны

Mistral провела собственное обучение с подкреплением (RL) на этой модели перед выпуском весов, и компания подробно описала его формат: примерно три дополнительные недели после предварительного релиза 6 октября, вычисления выполнялись на французских мощностях, которые компания описывает в мегаваттах, а не в GPU — около 10 МВт — при этом в других публикациях масштаб более широкой инфраструктуры RL оценивается в 3000 GPU. Результаты, опубликованные по итогам этого запуска:

• Terminal-Bench 4.0 — 28,3% до дополнительного RL, 41% после.

• BrowseComp — 75% до, 84,5% после.

• Набор средств безопасности агентов B3 — 93,3% до, 97,1% после.

• Длина вывода — примерно на 30% меньше токенов на задачу после RL, и для покупателя это важнее, чем любая из строк точности.

Поставьте это рядом с 64–75 на AIME — и возникнет соблазн вычислить отношение GPU-часов на балл. Сопротивляйтесь ему, потому что эти два прогона почти не имеют общих переменных. Прирост Mistral относится к агентной работе в терминале и веб-браузинге; его измерял поставщик, у которого дизайн вознаграждения разработан собственными силами, а на всё ушло три недели реального времени. Прирост SkyRL относится к соревновательной математике; его измерял партнёр на арендованном кластере с вознаграждением, которое может проверить скрипт. Сдвиг на 13 баллов в Terminal-Bench и сдвиг на 11 баллов в AIME — это не одно и то же достижение, выраженное в разных единицах; это разные достижения, которые просто оказались похожи по масштабу.

Беспристрастное прочтение оказывается более узким и более полезным: три недели RL в масштабе дата-центра подняли терминальный балл Mistral на тринадцать пунктов, а несколько часов LoRA RL в масштабе восьми узлов подняли математический балл партнёра на одиннадцать. Оба числа говорят об одном и том же — этот чекпойнт хорошо откликается на обучение с подкреплением — и ни одно из них ничего не говорит о другом.

Что диапазон 64–75 на AIME 2024 доказывает, а что — нет

Начнём с арифметики, потому что это единственная часть, которую можно проверить без GPU. AIME 2024 — это тридцать задач. Average@8 означает восемь выборочных попыток на задачу, поэтому указанный показатель основан на 240 генерациях. Ошибка выборки для доли около 70% при таком размере выборки составляет несколько процентных пунктов, а это с большим запасом выводит сдвиг на одиннадцать пунктов за пределы шума. Если обе цифры получены в одной и той же тестовой обвязке, то улучшение на этой задаче реально.

Это самое сильное утверждение, которое можно сделать, и его стоит произнести чётко, потому что большинство заявлений нулевого дня даже не настолько хороши. А теперь ограничения:

• Для этой модели нет опубликованного Mistral результата AIME. Базовый показатель 64% — это собственное измерение SkyRL базового чекпоинта на его собственном стенде, поэтому дельта внутренне согласована, но внешне не привязана — вы не можете сверять её с цифрой поставщика, поскольку такой цифры поставщика не существует.

• Average@8 — это не pass@1. Восемь попыток на задачу льстят любой модели с широким распределением выборки, и разрыв между этими двумя метриками обычно составляет от пяти до пятнадцати пунктов на соревновательной математике. Число, которое решает, внедрите ли вы модель, — это та единственная попытка, которую вы даёте ей в продакшене.

• Набору AIME 2024 два с половиной года, и он входит в число наиболее широко представленных математических наборов в данных посттренировки. Хороший результат модели 2026 года на нём — свидетельство обучаемой контрольной точки, а не вердикт о её способности к рассуждению. Ничто в заметке не сообщает о проверке на отложенном или более новом наборе.

• Одна задача, один запуск, одна награда. RL на проверяемой математике — самый простой случай из возможных: награда не требует ни судьи, ни оценочной шкалы, ни человека. Результат показывает, насколько эта модель продвигается под воздействием самого дешёвого возможного сигнала RL, что действительно является правильным первым экспериментом и в то же время наименее переносимым.

Что вам понадобится, чтобы воспроизвести это, и что разрешает лицензия

Практический список покупок, восстановленный по записке, а не опубликованный ею:

• Чекпоинт NVFP4 — 610 ГБ, 32 шарда, без ограничений доступа, доступен для скачивания сегодня без необходимости создавать учетную запись Hugging Face.

• Примерно 32 GPU класса Blackwell на восьми узлах, плюс интерконнект, чтобы синхронизация адаптеров не съедала время шага.

• Сборка vLLM с работающим путём NVFP4 для этой архитектуры. В карточке модели рекомендуется vLLM с официальным контейнером и размером тензорного параллелизма, равным восьми; также отмечается встроенная голова спекулятивного декодирования, которую поставщик оценивает как обеспечивающую до 1,9× пропускной способности — эта голова не то, что нужно циклу RL, а контейнер — именно то.

• Ранг адаптера и награду вам придётся выбрать самостоятельно, потому что в заметке об этом не сказано.

Вопрос лицензии решается однозначнее, чем технический. Mistral выпустила это под Mistral Ecosystem Open-Weight License — модифицированным текстом MIT, который разрешает коммерческое использование, дообучение и производные работы, а отдельная коммерческая лицензия требуется только для ведения бизнеса model-as-a-service на его основе. Внутреннее дообучение, частный адаптер, прогон оценки на арендованных узлах — всё это укладывается в разрешение. А вот развернуть API с оплатой за токен и продавать доступ к вашей дообученной модели — нет. Если ваш план — первый, лицензия не ваша проблема. Если второй — это и есть вся проблема, и никакое улучшение AIME этого не меняет.

Та половина цикла, которая позже становится дорогостоящей

AIME — дешёвый случай, и причину стоит проговорить. Награда — это строка ответа, которую сравнивает скрипт. Здесь нет судьи, нет рубрики, нет второй модели в контуре, поэтому предельная стоимость одного прогона — это инференс и ничего больше. Перенесите тот же рецепт на агентные задачи, открытые письменные задания или что угодно, что оценивается по предпочтениям, — и награда станет вызовом модели, совершаемым в масштабе прогонов, тысячи раз на каждом шаге, на протяжении всего запуска. Это уже другая задача закупки, нежели вычислительные ресурсы для обучения, и именно её большинство команд обнаруживает после того, как уже зарезервировало GPU.

Сам Mistral Large 4 — не модель, которую мы предоставляем, так что этот материал не является путём к ней: для самостоятельного развёртывания нужны репозиторий Hugging Face и собственный API вендора. Маршрутизировать можно другую половину цикла. Если ваш верификатор — это модель-судья, а не скрипт, она должна выдерживать вызовы в объёме роллаутов: один эндпоинт, охватывающий 200+ моделей, списочная цена провайдера передаётся без наценки сверху, и переключение при сбое, когда один эндпоинт судьи упирается в лимит запросов посреди шага обучения. Модели, которые вы реально использовали бы в качестве судей, перечислены с указанием контекста и цены в каталоге моделей OrcaRouter. Дело не в том, что маршрутизация удешевляет RL. А в том, что сигнал вознаграждения — это та часть запуска RL, которую нельзя обойти планированием, поэтому именно её стоит поместить за стабильным интерфейсом.

Что посмотреть дальше

Три вещи превратили бы эту многообещающую заметку в результат. Публикация командой SkyRL ранга адаптера, определения вознаграждения и кривой обучения позволила бы другой группе попытаться повторить тот же прогон, а не просто восхищаться им. Вторая задача — в идеале такая, в которой вознаграждение не основано на сравнении строк, — показала бы, сохраняется ли эффект при проверке судьёй. И независимая оценка выпущенного чекпоинта на AIME или более сложной математике, потому что нижняя планка в 64% сейчас — это собственное измерение партнёра, и единственный способ снять эту оговорку — чтобы её измерил кто-то другой.

До тех пор честный итог краток. Весам один день, партнёр поднял математический бенчмарк на одиннадцать пунктов на восьми арендованных узлах с помощью LoRA-адаптера, и никто пока это не воспроизвёл. Это больше, чем большинство релизов с открытыми весами дают в первую неделю, и меньше, чем подразумевает заголовок.