Контекстное окно Mistral Large 4: заявлено 1M, измерено 524K — и почему за разницу выставляют счёт

В карточке модели Mistral написано одно, а независимое измерение говорит другое, и расхождение это не косметическое. В карточке указано контекстное окно размером 1M токенов. Artificial Analysis, которая оценивает ту конфигурацию, которую действительно может запустить, измерила 524 288 токенов. Каждый отправленный вами входной токен тарифицируется, поэтому вопрос «сколько у меня контекста» — это также вопрос «сколько мне разрешено потратить в одном запросе».

Разница между этими двумя числами составляет 2×, что для модели, взимающей $1,36 за миллион входных токенов, не является ошибкой округления.

Что представляют собой эти числа и откуда берётся каждое из них

• 1 048 576 токенов — значение в конфигурационном файле, с которым Mistral поставляет веса. Это потолок, записанный вендором, и карточка модели повторяет его как «1M».

• 524,288 токенов — то, что Artificial Analysis измерила на тестировавшейся конфигурации. Половина потолка.

• Сколько это стоит — при $1.36 за миллион заполнение 524K обходится примерно в $0.71 за запрос; заполнение полного 1M стоило бы $1.43. И то и другое — входная сторона одного вызова, до любого вывода.

Цифра от вендора — не ложь, а измеренная — не баг. Контекстное окно — это возможность архитектуры; то, что фактически примет конкретная конфигурация обслуживания — с её бюджетом KV-кэша, тензорным параллелизмом и размером батча — меньше, и разрыв между этими двумя величинами нормален для всей отрасли. Просто об этом редко говорят в одной строке с ценой.

Почему это важнее, чем где-либо ещё

Три причины, характерные именно для этой модели.

Это MoE с триллионом параметров. 1,05 триллиона параметров, из которых 52 миллиарда активны на токен, плюс визуальный энкодер с 1,6 миллиарда параметров. KV-кэш для длинного контекста в модели такого класса — это ограничивающий фактор при обслуживании, а не замысел конфигурационного файла. Измеренное число — это честное число для планирования.

Цена рассчитывается за токен, а не за запрос. Запрос с длинным контекстом на этой карточке — это отдельная статья расходов, которая линейно масштабируется с тем, что вы отправляете. Вы покупаете не «окно на 1 млн», а токены; окно определяет лишь, сколько их может поступить за один вызов.

Веса поставляются вместе с конфигурацией. Когда вы скачаете 1 060,6 ГБ в bf16 и прочитаете code>config.json/code>, вы увидите 1 048 576 и у вас возникнет соблазн планировать, исходя из этого значения. Рецепт vLLM требует тензорного параллелизма со степенью 8 при использовании FP8 KV-кэша — это именно та конфигурация, в которой обслуживаемое окно и настроенное окно перестают совпадать.

Как измерить свой потолок за один день

Отправьте запрос, превышающий, по вашему мнению, лимит, и прочитайте ошибку — в большинстве случаев провайдеры возвращают сообщение с количеством токенов, а не молча обрезают запрос. Так вы узнаете фактический потолок на хосте, который реально используете, — и только это число должно фигурировать в вашем бюджете.

Затем отправьте запрос при 80% от этого предела и следите за задержкой. У модели с триллионом параметров, читающей длинный контекст, время до первого токена растёт с длиной промпта; цифра 524K — это окно, а не обещание скорости.

Наконец, сравните получившийся верхний предел с длиной входных данных 95-го процентиля, а не со средним. Среднее никогда не задаёт ограничение; именно в хвосте проявляется конвейер разбиения на чанки, который вы не предусмотрели.

Как выглядят витрины конкурентов

• DeepSeek V4 Pro — контекст 1M, вывод 384K, $0.66 за вход и $1.98 за выход в непиковые часы.

• Grok 4.7 —Контекст 500K, вывод 450K, $2.00 и $6.00 — фиксированная цена.

• Qwen3-Max — контекст 262K, вывод 65K, $0.36 и $1.43.

• Mistral Large 4 — заявлено 1M, измерено 524K, $1.36 и $4.18 по прайсу.

На фоне этого поля измеренное окно Mistral находится между заявленными значениями 262K и 1M — ближе к середине, чем к верхней границе. Если контекст — причина, по которой вы на него смотрите, то именно измеренное число должно стоять в таблице сравнения, и это стоит половины громкого заголовка.

Mistral Large 4 отсутствует в каталоге OrcaRouter, поэтому этот маршрут мы предложить не можем; его можно вызвать через собственный API Mistral и сторонние хосты. Что мы действительно предлагаем в целом — это один OpenAI-совместимый эндпоинт для 224 моделей по прайс-листовой цене провайдера без наценки, где окно вендора — каким бы оно ни оказалось — именно то, по которому вам выставят счёт.