Самостоятельное развёртывание Mistral Large 4: во что вам на самом деле обойдётся 1,06 ТБ

Веса опубликованы, доступ открыт, а лицензия разрешает коммерческое использование. Три факта, из-за которых самостоятельный хостинг Mistral Large 4 выглядит как взвешенное решение, а не фантазия. А затем вы смотрите список файлов: 54 шарда safetensors, 1 060,6 ГБ в bf16 — ещё до единого токена KV-кэша. Именно это число, а не заголовок о триллионе параметров, определяет, как вы планируете хранилище и GPU, и именно поэтому большинство команд прочитают эту страницу и останутся на API.

Две контрольные точки и то, что требует каждая из них.

• bf16 — 54 шарда, 1 060,6 ГБ, два из них — 16,9 ГБ и 4,2 ГБ, а остальные 52 — от 19,7 до 20,0 ГБ. Это не помещается с пользой на восемь ускорителей по 141 ГБ, если резервировать KV-состояние, поэтому рассчитывайте на дополнительное оборудование или на квантованный вариант.

• NVFP4 —отдельный репозиторий, 32 шарда, 610,1 ГБ, позиционируемый Mistral для оборудования Blackwell с нативной поддержкой NVFP4. Собственная рекомендация Mistral: четыре GPU B200 или B300. Утверждение о сохранении «той же производительности» — это заявление вендора, а не результат измерений.

• Рецепт обслуживания — конфигурация vLLM из карточки модели требует тензорного параллелизма со степенью 8 и типа данных FP8 для KV-кэша. Именно с этой конфигурацией следует сравнивать результаты бенчмарков, а не считать её обещанием пропускной способности.

• Контекст — настроено 1M токенов, измерено 524 288 на тестируемой конфигурации. Длинный контекст многократно усиливает нагрузку на KV-кэш, а в случае с 1,6-миллиардным визуальным энкодером плюс MoE на 1,05 триллиона параметров это и есть разница между «помещается» и «не помещается».

Расчёт безубыточности, который никто не делает

Возьмите промоцену как ориентир, который хостинг должен превзойти: $0,68 за миллион входных токенов и $2,09 за миллион выходных. Четыре B200 по реалистичной облачной ставке — скажем, $8–$12 за GPU-час — это $32–$48 в час, или примерно $23 000–$35 000 в месяц до учёта хранения, сетей, инженерных работ и времени на настройку стека обслуживания.

Чтобы выйти в ноль при такой ежемесячной стоимости при цене $2.09 за миллион выходных токенов, вам нужно было бы генерировать где-то более одиннадцати миллиардов выходных токенов в месяц, каждый месяц, при полной загрузке. Такой объём есть практически не у одной команды за пределами гиперскейлера, и это не учитывает две недели инженерной работы, которых стоит первое развёртывание.

Иначе говоря: при 100 млн выходных токенов в месяц — крупном, но реальном производственном показателе — API стоит около $209 по промо-тарифу или $418 по прайс-листу, тогда как счёт за хостинг составляет десятки тысяч. Собственный хостинг в таком масштабе — не скидка. Это покупка чего-то другого.

Что представляет собой это нечто иное

Четыре вещи — и это единственные честные причины скачать 1,06 ТБ.

Локализация данных. Веса никогда не покидают ваш периметр. Для регулируемой рабочей нагрузки это не предпочтение, а требование, и никакая цена API с этим не сравнится.

Определённость лицензии. Mistral's Ecosystem Open-Weight License допускает коммерческое использование, модификацию, дальнейшее обучение и производные работы с одной оговоркой: для работы модели как услуги — когда третьи стороны получают существенный контроль над входными данными, параметрами или обучающими данными — требуется отдельное коммерческое соглашение. Встроенные функции, внутреннее использование и простой ретрансляция исключены. Владение артефактом означает, что применяются именно те условия, на которые вы согласились.

Право на тонкую настройку. Обученная вами производная модель принадлежит вам, и ни один размещённый API не может предложить этого ни за какую цену.

Детерминизм. Чекпоинт, который вы валидировали, — это чекпоинт, который вы запускаете. Хостируемую модель можно переключить на новую версию под тем же именем; файл на вашем диске — нельзя.

Чего нет ни у одного из этих четырёх вариантов: более низкой цены за токен. Приведённая выше арифметика исключает это для любой команды, не достигшей гиперскейла, а план, построенный на ожидании экономии, не выдержит и первого счёта.

Пункт лицензии, который хостеру приходится перечитывать дважды

Если вы занимаетесь самостоятельным хостингом, чтобы предоставлять модель клиентам, пункт 2 — это тот абзац, который определяет вашу правовую форму. Вычисления для собственных продуктов допустимы; платформа, которая предоставляет клиентам модель и существенный контроль над входными данными, параметрами или обучением, по этой лицензии не существует без отдельного соглашения. Исключение для «простой пересылки запросов к моделям, размещённым у других лиц» является узким и означает именно то, что в нём сказано: пересылка на чужую конечную точку не является хостингом.

Это различие — единственное на этой странице, на что не может ответить прайс-лист, и оно стоит часа работы юриста перед покупкой GPU.

Кому стоит это скачать?

Скачивайте, если регулятор, клиентский договор или политика классификации данных уже дали вам ответ. Скачивайте, если собираетесь дообучать модель и выпускать производную версию, потому что API такую возможность не продаёт. Скачивайте, если у вас есть уже оплаченные и простаивающие мощности Blackwell — путь NVFP4 на четырёх B200 является единственной конфигурацией, где цифры приближаются к безубыточности.

Если речь о цене — оставайтесь на API. При $0,68 и $2,09 по акции или $1,36 и $4,18 по прайс-листу вызов этой модели — один из самых дешёвых способов на рынке получить мультимодальный ответ от модели с триллионом параметров, если воспринимать акцию как временное окно, а не как тариф. Mistral Large 4 отсутствует в каталоге OrcaRouter, поэтому этот маршрут идёт через собственный API Mistral и сторонние хостинги; в целом мы предлагаем один OpenAI-совместимый эндпоинт для 224 моделей по прайс-листу провайдера без наценки, где изменение цены вендора вступает в силу в день объявления, а не при следующем продлении.