Веса опубликованы, и они умещаются на восьми Blackwell: изнутри day-zero-релиза Mistral Large 4 в NVFP4

Все руководства по самостоятельному хостингу, опубликованные за последнюю неделю, говорят об Mistral Large 4 одно и то же в трёх пунктах: файл лицензии возвращает 404, квантованного чекпойнта не существует, а любая конфигурация, которую вы пишете, — это проекция, заимствованная у предыдущей модели. По состоянию на утро 29 октября 2026 года все три утверждения неверны. Лицензия лежит в репозитории — 2 632 байта, — а семейство чекпойнтов вполне реально: mistralai/Mistral-Large-4-1T-A52Bпри 54 шардах FP8 и 1 060,6 ГБ, плюс его вариант NVFP4 на 32 шардах и 610,1 ГБ. Заметка NVIDIA, опубликованная в день запуска, — та самая, где в одной фразе поздравляют команду Mistral AI и упоминают поддержку NVFP4 на Hugging Face, — это самое краткое возможное изложение этой истории. Полезная версия — длинная: что на самом деле предполагает опубликованный рецепт, что произошло с ценой, пока никто не смотрел, и какие из советов по самостоятельному хостингу, опубликованных во вторник, теперь активно вводят в заблуждение. Если вы хотите сравнить то, что сегодня доступно для маршрутизации, а не то, что можно скачать, каталог моделей OrcaRouter перечисляет каждую модель, которую мы обслуживаем, её контекстное окно и цену за токен, причём отказоустойчивость настроена для каждого маршрута.

Начните с дат, потому что именно в них большинство материалов ошибается в обе стороны. Mistral Large 4 была анонсирована 6 октября 2026 года как предварительная версия API — модель Mixture-of-Experts с 1,05 трлн параметров, из которых 49 млрд активны на токен, или 52 млрд, если учитывать эмбеддинги и выходные слои, визуальный энкодер на 1,6 млрд параметров и контекстное окно на 1 млн токенов, по цене $1,36 за миллион входных токенов против $4,18 за миллион выходных. Открытые веса обещали до конца октября. Они появились в 14:51 UTC 29 октября — примерно через два дня после даты 27 октября, на которой остановились сообщения прессы. Этот промежуток важен, потому что значительная часть материалов об этой модели была написана внутри него.

Что на самом деле сегодня утром на Hub?

Метаданные репозитория информативнее, чем текст анонса, поэтому вот они напрямую:

• Основной чекпоинт — mistralai/Mistral-Large-4-1T-A52B, 54 шарда safetensors, 1,060.6 ГБ на диске, с тегом fp8, репозиторий создан 30 сентября 2026 г., веса последний раз записаны 29 октября в 14:51 UTC, без ограничения доступа.

• Квантованный аналог — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 шарда, 610,1 ГБ, репозиторий создан 15 октября 2026 г. и обновлён сегодня в 14:11 UTC — за сорок минут до того, как завершился родительский репозиторий.

• Лицензия — Mistral Ecosystem Open-Weight License, которую Mistral описывает как модифицированную лицензию MIT, без привязки к порогу выручки.

• Архитектура, по данным params.json — 128 экспертов, из которых четыре маршрутизируются на каждый токен, плюс один общий эксперт; 72 слоя; размер скрытого слоя 6 144; 30-слойная визуальная башня, принимающая изображения размером до 1 540 пикселей; и разделение KV между большинством слоёв.

• Числа, которые не сходятся: в карточке модели NVFP4 перечислены 39 языков, а в анонсе утверждается 160+. Карточка указывает 49 млрд параметров, активных на токен; документация API и собственная таблица вендора говорят о 52 млрд — та же цифра с добавленными эмбеддингами и выходными слоями. В посте Mistral указано, что для обучения использовались 3 800 GPU Grace Blackwell; несколько изданий округлили это до 4 000. Ничего фатального в этом нет, и каждая нестыковка подсказывает, какой документ какой командой написан.

Число 610 ГБ — это релиз

Модель с 1,05 трлн параметров не скачивается так, как об этом можно было бы сказать небрежно. FP8-чекпоинт весит 1 060,6 ГБ — это уверенно больше терабайта только весов, ещё до появления хотя бы одного токена KV-кэша, активаций или фрагментации. На узле Blackwell с восемью GPU это помещается с запасом примерно в 400 ГБ. На восьми H200 это помещается почти без запаса. NVFP4-чекпоинт сокращает это до 610,1 ГБ, и экономия здесь не косметическая: это разница между узлом, который целиком занят весами, и узлом, где остаётся место для контекста на 1 млн токенов, заявленного моделью.

Схема квантования также более конкретна, чем «4-bit». Согласно карточке, веса mixture-of-experts имеют формат NVFP4, тогда как линейные слои остаются в FP8, а рецепт vLLM требует FP8 KV-кэш на слоях MLA. Это стек обслуживания со смешанной точностью, а не сплошное понижение точности, и он ориентирован конкретно на Blackwell — в качестве компонентов названы B200, B300, GB200 и GB300.

Одно следствие стоит особо подчеркнуть для всех, кто планирует покупку: официальная конфигурация по-прежнему требует восемь GPU. vLLM опубликован с tensor parallelism 8; SGLang — с tp-size 4. Квантование здесь — не столько способ сократить количество узлов, сколько способ оставить узлу достаточно памяти, чтобы реально обслуживать длинный контекст, и опубликованные параметры обслуживания это подтверждают.

Рецепт, флаг за флагом

Что отличает этот релиз от большинства публикаций открытых весов, так это то, что вендор приложил инструкции по обслуживанию, а не оставил их сообществу. Путь через vLLM, как опубликовано:

• Образ — vllm/vllm-openai:mistral-large-4

• Параллелизм — --tensor-parallel-size 8

• Кэш — --kv-cache-dtype fp8_ds_mla, с --gpu-memory-utilization 0.85

• Парсеры — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Необязательная спекуляция — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Путь SGLang отличается так, что его стоит перечитать дважды:

• Образ — lmsysorg/sglang:mistral-large-4, с --tp-size 4 и --mem-fraction-static 0.85

• Спекуляция — --speculative-algorithm DSPARK, включён по умолчанию в публикуемой команде

• Ограничения обслуживания — --max-running-requests 64, при этом парсеры рассуждений и инструментов оба установлены в auto

Три вещи, которые флаги сообщают вам, но не сообщает объявление.

Первое: DSpark не является отдельной моделью. В файле конфигурации описаны три слоя предсказания нескольких токенов с небольшим рекуррентным черновым head — марковский ранг 512 — встроенным в сам чекпоинт. Спекулятивное декодирование обычно означает запуск второй, меньшей модели рядом с большой и расход памяти на неё. Здесь черновой head уже находится внутри 610 ГБ, поэтому спекулятивный флаг — это короткая строка конфигурации, а не второе развёртывание.

Второй момент: стек внимания — это история про сжатие. В конфигурации есть разреженный индексатор с top-k = 2 048 по 32 головам, ранг KV LoRA 512 и совместное использование KV в большинстве из 72 слоёв — типичная схема, ставшая стандартной для моделей линейки DeepSeek. Контекст в 1M достижим потому, что память внимания агрессивно разделяется, а KV-кэш хранится в FP8, а не потому, что у модели есть терабайт кэша, который можно потратить.

Третий момент — арифметика. Опубликованный блок YaRN расширяет нативное окно RoPE на 512 токенов в 2 048 раз, что при перемножении даёт ровно 1 048 576 — заявленную длину контекста. Каким бы ни было расписание обучения, конфигурация, которую вы скачиваете, достигает 1 млн токенов за счёт экстраполяции, и это стоит знать, прежде чем вы подадите ей документ на 900 000 токенов и предположите, что модель уже видела такую форму.

Прайс-лист сдвинулся, пока писались руководства.

В документации Mistral указана текущая ставка: $0.70 за миллион входных токенов, $0.07 за миллион кэшированных входных и $2.10 за миллион выходных. В анонсе от 6 октября приводилась прейскурантная цена $1.36 и $4.18, а скидка предварительного просмотра составляла примерно половину этой суммы. Если читать оба документа вместе, становится ясно, что релиз модели с открытыми весами не просто выпустил файлы — он снизил постоянную прейскурантную цену примерно до уровня, по которому предоставлялся предварительный просмотр. Для всех, кто составлял бюджет по октябрьскому анонсу, новая карточка тарифов примерно вдвое меньше цифры, которую они записали.

Независимая картина менее лестна, чем снижение цены. Artificial Analysis в своём текущем Intelligence Index — серии v5, перестроенной 27 октября, — присваивает Mistral Large 4 оценку 26, указывает, что выполнение одной задачи Index стоит $2.06, и измеряет 161,3 выходных токена в секунду при 1,42 секунды до первого токена. Скорость действительно хороша: 161 токен в секунду более чем вдвое превышает медиану для набора сравнения. А вот стоимость за задачу — нет: при $2.06 она находится в нижней четверти своего класса, потому что модель, которая долго рассуждает, тратит деньги на токены, а не на тарифную сетку.

Собственные цифры Mistral, и та, которую она не опубликовала

Все бенчмарки в релизном посте Mistral принадлежат Mistral, и об этом стоит сказать до того, как цитировать любой из них. Terminal-Bench 4.0 заявлен на уровне 41% — на тринадцать пунктов выше превью и, согласно посту, лидерство среди open-weight-моделей; FrontierCode 2.0 — 19,7%; AA Coding Agent Index — 48%, описывается как фактически наравне с GLM-5.3; BrowseComp — 84,5% против 75% у supervised checkpoint из превью; FinWorkBench — 73,3%, позади 77,3% у Kimi K3; и средняя доля отказов 96,6% на вредоносные киберзапросы — именно вокруг этого числа на самом деле построен релиз. Некоторые из них происходят из сторонних харнессов — FrontierCode от Cognition, Coding Agent Index от Artificial Analysis, человеческие предпочтения от Surge Code — но Mistral запускала их и Mistral сообщала о них. Ни один из них не был публично воспроизведён на момент написания.

Недостаёт числа, которое нужнее всего тому, кто разворачивает модель у себя: качества NVFP4 против чекпоинта FP8 на одном и том же прогоне оценки. В карточке квантование преподносится как снижение памяти «при сопоставимой производительности», но это утверждение, а не измерение. Пока кто-нибудь не опубликует сопоставимый прогон, честная позиция такова: чекпоинт на 610 ГБ — это тот, который можно уместить, а чекпоинт на 1 060,6 ГБ — тот, по которому есть документальные подтверждения.

Сопоставьте таблицу вендора с теми же бенчмарками, которые прогоняет Artificial Analysis, и картина меняется. Текущая строка AA для Mistral Large 4 — хостируемый API, высокий уровень рассуждений — показывает Terminal-Bench 4.0 на уровне 25%, на шестнадцать пунктов ниже 41% из релизного поста, а FrontierCode 2.0 — 15% против 19,7%, которые приводит Mistral. Оба — это харнессы, на которые ссылается сама Mistral. Вероятное объяснение — конфигурация: релизные цифры могут происходить из конкретной настройки рассуждений или определённого среза оценки, а AA измеряет то, что возвращает публичный API. Неприемлемое объяснение — то, к которому пришла большая часть публикаций: печатать оба числа так, будто они измеряют одно и то же.

Пункт лицензии, определяющий, кто может его обслуживать

Лицензия достаточно коротка, чтобы прочитать её за один присест, и главное — это пункт о model-as-a-service. Запуск хостингового сервиса на весах требует отдельной коммерческой лицензии от Mistral. Но определение model-as-a-service исключает встроенные продукты для конечных пользователей и, отдельно, «простое перенаправление запросов к моделям, размещённым у других». Эта оговорка уже, чем кажется на первый взгляд: она не позволяет вам развернуть собственный инференс и перепродавать его, зато позволяет шлюзу пропускать запросы в инференс, размещённый у Mistral, не становясь лицензиатом. Выдержит ли такое толкование проверку в споре — вопрос к юристам Mistral, а не к этому блогу.

Что подводит нас к неудобному моменту. OrcaRouter не включает Mistral Large 4 в список — в нашем каталоге из 214 моделей нет ни одного эндпоинта Mistral — так что сегодня здесь не маршрутизируется ничего из этого релиза, и любой, кто утверждает обратное, вводит вас в заблуждение. А вот что в каталоге действительно есть — это вторая половина подобного развёртывания: DSL маршрутизации, который позволяет закрепить рабочую нагрузку за одной моделью и переключить её без изменения кода, автоматическое переключение при деградации эндпоинта и сквозное ценообразование с наценкой 0%, так что изменение тарифа самим вендором отражается у нас в тот же день, когда оно происходит у него. Команды, которые скачивают 610 ГБ и поднимают собственный сервер vLLM, почти всегда первые недели держат за ним хостинговый маршрут — и именно эту часть мы действительно можем обслуживать.

Кто должен начать загрузку сегодня вечером?

Если вы уже используете восемь GPU Blackwell или у вас есть правило резидентности данных, которому не соответствует ни одна хостинговая конечная точка, расклад изменился сегодня утром — и изменился в вашу пользу: веса существуют, лицензия существует, а поставщик передал вам проверенную команду запуска сервиса, а не просто предложение. Сначала скачайте чекпоинт NVFP4 — 610,1 ГБ вполне можно стерпеть за вечер, а образ vLLM закреплён. Проведите собственную оценку в сравнении с хостинговым API, прежде чем делать его частью производственного пути, потому что заявление о квантовании не измерено, а бенчмарки поставщика — это бенчмарки самого поставщика.

Если вы не работаете с оборудованием такого класса, в этом выпуске для вас пока ничего нет. 1T-модель с 49 млрд активных параметров на токен — это не загрузка для ноутбука и не эксперимент на одной видеокарте, а FP8-чекпоинт весит терабайт. Новость, которую вам стоит услышать, — это ценовая линейка, а не список файлов: цены облачного API теперь начинаются с $0,70 и $2,10, что примерно вдвое меньше того, чего вы ожидали после октябрьского анонса, и это изменение, которым можно воспользоваться, не имея ни одной видеокарты.

Открытый вопрос — самый интересный. Модель с триллионом параметров, которая помещается в 610 ГБ, — это доказательство того, что NVFP4 способен сжать смесь экспертов масштаба фронтира, не меняя её форму. А вот сжимает ли он её без изменения ответов — это решат следующие две недели независимых запусков, и пока этого не опубликовал никто, включая тех, кто выпустил модель.