
NVIDIA Nemotron 3.5 Super VL Base BF16: чекпоинт на 249 ГБ, который NVIDIA указала, но так и не дала к нему ссылку
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 247 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 104 tok/s
- orcaНОВИНКАOrca: OrcaC2 1.02026-11-0722 tok/s
- OrcaНОВИНКАOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 138 tok/s
- OrcaНОВИНКАOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 413 tok/s
- OrcaНОВИНКАOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 за 1 млн токенов · 43 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 130 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 57 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 165 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 за 1 млн токенов · 69 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Интеллект
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Интеллект
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 за 1 млн токенов · 414 tok/s
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 — это артефакт в NVIDIA Nemotron 3.5 Super VL — релизе, на который NVIDIA так и не дала ссылку. В анонсирующем посте компании от 15 октября одной фразой сказано, что «релиз включает базовые, постобученные и квантованные в NVFP4 чекпойнты с рецептами обучения, данными и средами обучения с подкреплением». Все ссылки на репозитории на этой странице ведут на nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4. Строка «Base-BF16» в посте вообще не встречается.
Репозиторий реальный и публичный. Hugging Face фиксирует его первоначальный коммит в 2026-10-12T15:31:49Z, загрузку его шардов весов в 2026-10-13T04:55Z, а в поле даты выпуска его собственной карточки модели указано «Hugging Face - 10/15/2026». Доступ к нему не ограничен, для скачивания не нужен токен, и весит он ровно столько же, сколько весит пост-обученная nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 сборка: 248,9 ГБ в 63 шардах BF16 против 248,9 ГБ в 64 шардах у пост-обученной сборки, при этом два индексных файла различаются на 16 байт. Через три дня после появления весов его скачали 4 раза — против 142 у репозитория пост-обученной полной точности и 81 у аналога NVFP4. Это собственные счётчики Hugging Face, считанные 16 октября.
Так что это не утечка и не слух. Веса — не то, в чём стоит ошибаться: они просто наименее освещённый артефакт в остальном громком релизе, а карточка модели, стоящая за ними, противоречит сама себе так, что это имеет значение, если вы из тех, кто скачал бы чекпоинт до пост-тренировки размером 249 ГБ. Это противоречие — ниже.
Что приземлилось, и предложение, которое об этом упоминает
Три основных репозитория и один драфтер появились в одном и том же релизном окне — все от самой NVIDIA, все под лицензией OpenMDW-1.1, без ограничений доступа:
• Base BF16 — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16, репозиторий создан 2026-10-12T15:31:49Z, веса 2026-10-13T04:55Z, README последний раз изменён 2026-10-15T15:22:08Z.
• BF16 после посттренировки — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, создан 2026-10-12T15:32:06Z, через семнадцать секунд после базового репозитория.
• NVFP4 после дообучения — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4, создана 2026-10-12T15:32:30Z, и 75,1 ГБ в общей сложности вместо 248,9 ГБ.
• NVFP4-драфтер — nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, созданный ещё на день раньше, в 2026-10-11T20:20:59Z.
Соотнесение этих репозиториев с текстами NVIDIA — вот где всё становится непоследовательным, и это стоит проверить, а не предполагать. Все ссылки на развёртывание из анонса ведут к сборке NVFP4. Вступительная заметка в самой карточке базовой модели указывает наружу, на две другие: «Ищете дообученную модель? Смотрите выпуск BF16 для кастомизации или выпуск NVFP4 для оптимизированного развёртывания», — так что базовый репозиторий сам скажет вам, куда идти, в первой же строке. Обратное неверно. Карточка дообученной модели BF16 нигде не содержит ссылки на базовый репозиторий, и карточка NVFP4 тоже. Базовый чекпойнт — единственный артефакт в выпуске, к которому документация самой NVIDIA вас никогда не направляет; вы находите его, прочитав фразу из девяти слов в анонсе, а затем просматривая список файлов организации, — именно так его нашли здесь. Ничто в материалах NVIDIA не объясняет, почему базовый чекпойнт опубликован с теми же 249 ГБ, что и модель, которая фактически дообучена, или что вам следует с ним делать такого, чего не может сделать дообученная версия.
Это отсутствие и есть вся суть. Релиз с открытыми весами, в котором поставщик даёт ссылки на два из трёх чекпойнтов, а третий описывает девятью словами, ничего не скрывает — веса прямо там, — но это означает, что нужной вам документации нет в анонсе. Она в репозитории.

Что означает «base» в этом релизе
На это отвечают две карточки моделей, а разница между ними даёт ясное представление о том, что здесь дало постобучение.
В базовой карточке описаны три этапа обучения. Этап 1 создаёт языковой бэкбон на основе Nemotron 3 Super Base и обучает общую MTP-голову на 100 млрд токенов при замороженном бэкбоне, после чего выполняет дистилляцию на 1 трлн токенов из Nemotron 3 Ultra Base. Этап 2 — это 100 млрд токенов продолженного предобучения на индийских языках, расширение до контекста 1M на 35 млрд токенов, 67 млрд токенов промежуточного обучения по программной инженерии при контексте 256K и этап восстановления длинного контекста на 9 млрд токенов. Этап 3 добавляет визуальный энкодер C-RADIO и визуально-языковой коннектор.
В карточке post-trained задокументировано шесть этапов, и три, которых нет в базовой карточке, — это именно те три, которые делают модель пригодной к использованию: этап 4 — контролируемая тонкая настройка на данных по зрению, рассуждениям, коду, инструментам, чату, безопасности и длинному контексту с использованием упакованных последовательностей длиной до 524 288 токенов; этап 5 — обучение с подкреплением с проверяемыми наградами плюс RLHF плюс дистилляция на политике с несколькими учителями; и этап 6 — усиление MTP-головы относительно замороженного пост-тренированного бэкбона, чтобы спекулятивное декодирование действительно оправдывало себя.
Сама карточка Base-модели говорит об этом в разделе Inference: «Базовая модель предназначена служить отправной точкой для дальнейшего обучения. Для чата, рассуждений и приложений с вызовом инструментов используйте прошедший постобучение релиз BF16 или NVFP4 и инструкции по его развёртыванию». Заявленный сценарий её использования — «разработчики и исследователи, создающие собственные визуально-языковые модели с помощью продолженного предобучения, дообучения с учителем, обучения с подкреплением и дистилляции».
Это необычно прямое заявление об отказе от ответственности, и это правильное прочтение артефакта. То, что здесь поставляется как «base», — не более слабая чат-модель. Это субстрат, на котором прогонялись этапы с 4-го по 6-й, опубликованный вместе с ними, чтобы кто-то другой мог прогнать другие этапы с 4-го по 6-й — на своих данных, на своих условиях лицензии, без повторного запуска предобучения на 20 триллионов токенов.
Утверждение о 1M токенов, которое конфигурация не подтверждает
Вот расхождение, которое стоит 249 ГБ вашего внимания.
В карточке базовой модели в разделе «Описание» указано, что модель «поддерживает длину контекста до 1M токенов», и это повторяется в разделе «Дизайн модели»: «Модель поддерживает до 1M токенов контекста». Методология обучения подтверждает замысел — Этап 2 явно включает «расширение до 1M контекста на 35B токенов, за которым следует этап восстановления длинного контекста на 9B токенов».
Поставляемый config.json говорит другое. Его max_position_embeddings равен 262,144 — 256K, а не 1M. Тут нет ни блока rope_scaling, ни поля original_max_position_embeddings, так что схема позиций тоже не объявляет расширения. Конфигурация репозитория после постобучения, напротив, объявляет max_position_embeddings равным 1,048,576. Два родственных чекпоинта, одна и та же строка архитектуры, одна и та же структура слоёв — и разница в четыре раза в пределе позиций, о которой не говорится в тексте базовой карточки.
Сопоставьте эти три факта, и наиболее обоснованный вывод не в том, что базовая модель короткоконтекстная. А в том, что базовый репозиторий поставляется с консервативным заявленным лимитом и предполагает, что вы его измените. Расширение до 1M было обучено. В опубликованном конфиге оно не выставлено. Если ваш план продолженного предобучения предполагает длину последовательности в 1M токенов сразу из коробки, это предположение исходит из карточки, а не из файла, который фактически прочитает рантайм, — а исправление заключается в правке конфига, о необходимости которой вам нужно знать.

Стоит отметить по той же причине: таблицы «Сводка по модели» в карточке базовой модели просто не существует. В карточке дообученной модели она есть — общее число параметров, архитектура, точность, длина контекста, целевое развёртывание, спекулятивное декодирование, режим рассуждений, рекомендуемые параметры сэмплирования, для чего лучше всего подходит, лицензия. В карточке базовой модели после «Описания» сразу идёт «Лицензия», а затем таблица бенчмарков. Строки с рекомендуемыми параметрами сэмплирования там нет нигде, и строки о развёртывании тоже нет, так что ничто в карточке базовой модели не подскажет, какое оборудование ей требуется.
Архитектура, считанная из поставляемой конфигурации
Поскольку описание базовой архитектуры от вендора — это один абзац, а реальная структура находится в файле, вот что говорит файл. Всё это взято непосредственно из config.json в базовом репозитории, а не из какого-либо резюме.
• Глубина и состав — 88 блоков в языковом каркасе. 40 — это слои Mamba-2, 40 — слои смеси экспертов, а 8 — слои полного внимания, с индексами 7, 16, 25, 36, 47, 58, 69 и 78. Один блок внимания примерно каждые девять слоёв — это весь механизм длинного контекста.
• MoE — 512 маршрутизируемых экспертов на слой MoE, 22 выбираются на токен, один общий эксперт, латентный размер 1024, а промежуточный размер общего эксперта — 5376 против 2688 у маршрутизируемых экспертов. В этом заключается арифметика, стоящая за заголовком «120B всего, 12B активных».
• Внимание — 32 головы запросов против 2 голов ключей-значений при размерности головы 128, то есть групповое внимание запросов (grouped-query attention) с соотношением 16:1. Размер скрытого слоя 4096.
• MTP — один слой предсказания следующего токена, сам состоящий из блока внимания и блока MoE, в стиле головы многотокенного предсказания DeepSeek. Один шаг предсказания, а не несколько.
• Зрение — башня C-RADIO ViT-H: 32 слоя, размер скрытого слоя 1280, 16 голов, размер патча 16, 7 регистровых токенов, 3 классовых токена, максимальный размер изображения 2048 и бюджет патчей от 1024 до 13312. Коннектор проецирует в 20 480, затем коэффициент понижающей дискретизации 0,5 и принудительный размер изображения 512 сокращают число токенов обратно.
• Видео — размер временного патча 2 и заявленная доля прунинга 0,7.
• Две странности — конфигурация объявляет <audio> контекстный токен, тогда как её sound_config равно null, так что инфраструктура для аудио существует в этой архитектуре, а эта контрольная точка не содержит ничего из этого. И tie_word_embeddings равно false, что стандартно для модели такого размера, и это стоит знать, если вы планируете изменять размер словаря.
Для понимания масштаба: собственные метаданные safetensors репозитория в сумме составляют 124 453 395 974 параметра, подсчитанных по одному байту тензора за раз, против заявленных NVIDIA 120B всего / 12B активных. Эти два числа приводятся на разных основаниях — цифра поставщика отражает арифметику маршрутизируемых и общих параметров языковой модели, а цифра из файла — это всё, что хранится в репозитории, включая vision tower и MTP head. Не воспринимайте этот разрыв как расхождение; закладывайте бюджет на файл.
Что на самом деле измеряет таблица бенчмарков
Базовая карта публикует 24 строки бенчмарков и, надо отдать должное NVIDIA, столбец, в котором указано, что представляет собой каждая из них:
• MMLU — 84,14 (точное совпадение) · MMLU-Pro — 76,25 · AGIEval-En — 75,65 CoT · SuperGPQA — 47,65 CoT · GPQA Diamond — 66,16 при 5-shot CoT (точное совпадение)
• GSM8K 91.74 при 8-shot CoT · Minerva MATH 87.66 · MATH-500 81.56 при сэмплировании pass@1 n=32 · HumanEval 81.31 EvalPlus sanitized · MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench 48.42 complete и 49.39 instruct
• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39
• Global MMLU 86.56 в среднем по 8 языкам · MGSM 87.53 при 8-shot нативном CoT по 6 языкам
В этой таблице легко упустить две вещи, и обе важны.
Во-первых, вводная фраза самой карточки гласит, что результаты «оценивают чисто текстовый базовый бэкбон Nemotron 3.5 Super до визуально-языкового обучения». Что бы это ни значило, это значит, что эти числа — не мультимодальная сводка показателей: на карточке базовой модели нигде нет ни OCR-бенчмарка, ни строки для понимания документов, ни строки для видео, хотя входные данные для видео и документов описаны двумя разделами ранее. Если причина, по которой вам нужен базовый чекпоинт, — его визуальная башня, карточка не даёт вам никаких эмпирических данных, на которые можно опереться при планировании.
Во-вторых, в таблице нет столбцов с базовыми моделями. Таблица карточки дообученной модели насчитывает семь столбцов — Nemotron 3.5 Super GA против Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, Nemotron 3 Ultra, Inkling-Small и GLM-5.3-Flash. В карточке базовой модели ровно один столбец. И набор запущенных тестов показателен: карточка дообученной модели полностью отказывается от MMLU в пользу MMLU-ProX, тогда как карточка базовой модели запускает и MMLU, и MMLU-Pro, но не MMLU-ProX и не агентные и harness-уровневые наборы, на которые опирается карточка дообученной модели. По карточке нельзя ответить на вопрос «эта база лучше той базы?». Пришлось бы запускать обе.
Каждый показатель выше принадлежит NVIDIA и получен с помощью собственного стенда NVIDIA NeMo Gym — в карточке дообученной модели это прямо указано, а в карточке базовой модели вообще нет примечания о стенде. Ни один показатель ни в одной из таблиц не был независимо воспроизведён.
Базовая модель против прошедшей пост-обучение — на единственном общем для них бенчмарке
У этих двух карт нет общей таблицы тестов, но есть ровно одна строка, которую можно поставить рядом, — и она важнее всего.
• GPQA Diamond — 66,16 в базовой карточке, при точном совпадении по цепочке рассуждений в режиме 5-shot. 89,52 в карточке после дообучения. Разрыв в 23,36 пункта — по двум собственным документам NVIDIA, причём базовая цифра прямо помечена как ориентированный только на текст бэкбон.

Это честный заголовок того, чего стоят этапы 4–6 в научных рассуждениях уровня выпускника: пост-обучение — это не полировка этой модели, а примерно ещё половина её возможностей. Это также указывает направление компромисса. Если вы планируете сами дообучить базовый чекпоинт, вы стартуете на 23 пункта позади модели, которую продаёт NVIDIA, и ставите на то, что ваши данные и ваш сигнал вознаграждения закроют этот разрыв в вашей предметной области, — а это ровно та ставка, которую описывают собственные показатели клиентов NVIDIA: Scale AI сообщает о 40-кратном снижении стоимости инференса при обработке кредитов поставщиков, Ramp ожидает до 50% более высокой пропускной способности и в 10 раз меньшей задержки при извлечении данных из чеков в JSON. Это результаты, заявленные поставщиком и клиентами, без независимых измерений, и это единственное опубликованное свидетельство того, что разрыв можно закрыть.
Обратите внимание на ловушку при совместном чтении двух карточек. «MMLU-Pro» на базовой карточке со значением 76,25 и «MMLU-ProX» на карточке дообученной модели со значением 76,91 выглядят как разрыв в 0,66 пункта, но они несопоставимы — это разные бенчмарки, причём для одного из них заявлен метод извлечения TigerLab. У «MMLU» на базовой карточке со значением 84,14 вообще нет аналога на карточке дообученной модели. Если вам нужна дельта по одному и тому же бенчмарку, то для GPQA Diamond вы её получаете, а для LiveCodeBench — нет: на базовой карточке указан CodeGen со значением 47,61, тогда как на карточке дообученной модели указан LiveCodeBench v6 со значением 88,22, а это другая версия того же семейства бенчмарков, а не дельта.
Что можно купить за 249 ГБ, а что нет
Само скачивание — это одна команда, и это единственная команда во всей карточке базовой модели:
• hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16
Это и есть весь быстрый старт. Базовая карточка содержит один блок кода; карточка после постобучения содержит двадцать два. Там нет vllm serve строки, ни запуска SGLang, ни рекомендаций по тензорному параллелизму, ни --max-num-seqs, ни флага reasoning-парсера, ни конфигурации MTP для спекулятивного декодирования, ни примера API-клиента. Карточка после постобучения содержит всё это, включая рецепт для 4×H100 с --enable-mamba-shared-prefix-checkpoint и рецепт для 2×GB200 при TP2.
• Движки времени выполнения — в карточке базовой модели указаны PyTorch, Megatron-LM и NeMo, а в её разделе Inference — только PyTorch. В карточке после постобучения указаны vLLM и SGLang. С одной стороны, это названия фреймворков для обучения, с другой — названия сред выполнения для обслуживания, и такое разделение намеренно, а не случайно.
• Тестовое оборудование — Hopper H100 и H200, Grace Blackwell GB200 и GB300, Blackwell B200 и B300. Для развертывания карта после постобучения сокращается до 4×H100 или 2×GB200.
• Диск — 248,9 ГБ в 63 шардах, столько же, сколько у дообученной полнопрецизионной сборки. Версия на NVFP4 — 75,1 ГБ. Если вы скачиваете базу, чтобы изучить или адаптировать её, а не запускать, вы платите за загрузку в 3,3 раза больше, чем за NVFP4, ради привилегии остаться без рецепта для обслуживания.
Что вы действительно получаете и что реально можно использовать: репозиторий поставляет полный chat_template.jinja размером 12 513 байт, и в нём есть переключатель enable_thinking, включая вариант со средними усилиями. Он также поставляет generation_config.json с temperature 1.0, top_p 0.95 и do_sample true. Сравнение этого шаблона с посттренированным даёт разницу в 414 байт, и вся она — обработка пробельных символов вокруг плейсхолдеров изображений и видео; в остальном эти два шаблона — один и тот же файл.
Итак, инфраструктура для обращения к базовому чекпоинту как к чат-модели присутствует и почти идентична поставляемой чат-модели. Чего нет — так это какого-либо утверждения, что так следует делать. На базовой карточке нет строки с рекомендуемыми параметрами сэмплирования, нет строки режима рассуждений, и для неё нет бенчмарка в конфигурации чата. Вы можете запустить её как чат-модель примерно за десять минут. Заслуживает ли вывод того, чтобы выйти за пределы тестового стенда, — другой вопрос, и ответ карточки — нет.
Раскрытие корпуса, о котором никто не говорит
Вот та часть базового релиза, которая, возможно, даже полезнее самих весов, и она почти не привлекала внимания, потому что хранится в таблицах на репозитории, на который никогда не давали ссылку.
Карточка базовой модели подробно публикует обучающий корпус, чего не содержит карточка постобученной модели: базовый корпус объёмом более 20 триллионов токенов, собранных с 2013 года по декабрь 2025 года, с разбивкой по источникам — Nemotron-CC-v2 и v2.1 — 9,1 трлн, Nemotron-CC-Code-v1 — 427,9 млрд, наборы Nemotron-Pretraining-Code — в совокупности 1,7 трлн, Nemotron-CC-Math-v1 — 133,3 млрд, специализированные и SFT-синтетические наборы — 660 млрд, а также юридический набор — 4,3 млрд. Английский, ещё 19 других разговорных языков, 43 языка программирования.
Затем идут две таблицы, которые большинство релизов с открытыми весами просто не публикуют. В одной перечислены частные наборы данных третьих сторон, не находящиеся в открытом доступе, и указаны модели, создавшие их разметку — Qwen3.5-122B-A10B в целом ряде задач по переразметке OCR и ответов на вопросы по изображениям, DeepSeek-OCR на отфильтрованном подмножестве китайского OCR, Qwen3.5 на подмножестве с проверенной корректностью, Gemini 3 и GPT-5 на RL-данных для поиска. В другой перечислены собственные частные наборы данных NVIDIA, и снова указаны генераторы: Kimi K3 для SFT-данных с цепочками рассуждений по математике, DeepSeek-V4-Pro для OCR в задачах соревновательного программирования, gpt-oss-120b для RL со структурированным выводом, GLM-5.2 для доработки, MiniMax-M2 для обходов графа поиска и длинный хвост прочих.
А затем идут две таблицы, которые большинство релизов с открытыми весами попросту не публикуют. В одной перечислены закрытые, недоступные публично наборы данных, принадлежащие третьим сторонам, и названы модели, создавшие их разметку: Qwen3.5-122B-A10B — в целом ряде задач по переразметке OCR и ответов на визуальные вопросы, DeepSeek-OCR — на отфильтрованном подмножестве китайского OCR, Qwen3.5 — на проверенно корректном подмножестве, Gemini 3 и GPT-5 — на RL-данных для поиска. В другой перечислены собственные закрытые наборы данных NVIDIA, и снова названы генераторы: Kimi K3 — для SFT-данных с цепочками рассуждений по математике, DeepSeek-V4-Pro — для OCR в задачах соревновательного программирования, gpt-oss-120b — для RL со структурированным выводом, GLM-5.2 — для доработки, MiniMax-M2 — для обходов графа поиска, и длинный хвост остальных. Эти парные таблицы напоминают о том, как на самом деле работает индустрия: обучающий сигнал фронтирной модели регулярно включает выходы моделей конкурентов, и NVIDIA — одна из очень немногих лабораторий, которая говорит, какие именно и для чего.
В репозитории также поставляется Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf, добавленный 15 октября, — это раскрытие обучающего контента для ЕС. Смесь для промежуточного обучения раскрывается с той же степенью детализации, и одна её строка непосредственно актуальна, если вы собираетесь дообучать модель для работы с ПО: этап программной инженерии объёмом 67 млрд токенов состоит на 20% из целых репозиториев, на 41% из пар «issue — pull request», на 3% из diff-ов коммитов, на 1% из журналов сборки и CI, на 10% из трассировок агентов, на 20% из реплея предобучения и на 5% из данных с длинным контекстом, а его источники деконтаминированы относительно репозиториев SWE-bench и Terminal-Bench. Это утверждение о деконтаминации — та единственная строка в карточке, которая говорит, чего стоит оценка на любом из этих бенчмарков.
Лицензия и для кого предназначен базовый чекпоинт
OpenMDW-1.1 — та же лицензия, что и у сборок, прошедших постобучение, а в карточке модели прямо сказано: «Эта модель готова к коммерческому или некоммерческому использованию». Доступ к репозиторию не ограничен, и для загрузки не требуется токен Hugging Face, хотя собственные рецепты контейнеров NVIDIA в других частях семейства предполагают его наличие.
Поставьте лицензию рядом с вариантом использования — и целевая аудитория становится однозначной. Никто не скачивает 249-гигабайтный чекпойнт до пост-обучения, чтобы сэкономить на инференсе: сборка NVFP4 в 3,3 раза меньше, быстрее и на 23 пункта лучше на GPQA Diamond. Базовый чекпойнт предназначен для команды, которая намерена самостоятельно пройти этап пост-обучения: другой домен, другой сигнал вознаграждения или другая политика работы с данными, чем те, что использовала NVIDIA. По лицензии OpenMDW-1.1, допускающей коммерческое использование и не ограничивающей доступ к весам, это законная основа для создания продукта — и именно поэтому отсутствующая документация обходится дорого.
И здесь стоит разделить два типа читателей. Если ваш вопрос — «что мне вызвать на этой неделе для парсинга документов или понимания видео», то базовый чекпоинт — не ваш ответ и никогда им не был; посттренированная модель — вот ответ, и открытый вопрос там — верификация бенчмарков, а не доступность. Если ваш вопрос — «могу ли я получить гибридный визуально-языковой бэкбон Mamba-MoE класса 120B с разрешительной лицензией в качестве отправной точки для моего собственного запуска обучения», то этот репозиторий — ответ, и он лежит без ссылки с 12 октября.
Если бы вы собирались это оценить
Дорогостоящая ошибка с таким чекпоинтом — считать загрузку проверкой. Это не так: 249 ГБ, 63 шарда и правка конфига перед первым прямым проходом не говорят ничего о том, переносится ли vision tower на ваш класс документов.
Дешёвая проверка — сначала выяснить вопрос о возможностях на обслуживаемой модели и лишь затем тратить диск. Шлюз маршрутизации полезен для этого и ни для чего другого в этом решении — один ключ и один эндпоинт для пары сотен моделей по прайс-листовой цене провайдера с 0% наценки сверху означает, что вы можете поставить дообученную сборку Nemotron 3.5 Super VL против любой vision-модели, которой вы уже пользуетесь, на своих изображениях, за один день и за стоимость токенов. Автоматическое переключение при сбоях между провайдерами важно здесь по узкой причине: прогон оценки, который умирает на 4 000-м запросе из 5 000, стоит вам всего прогона, а шлюз, который при ошибке провайдера повторяет запрос в другом месте, — это разница между одним днём и двумя.
Говоря прямо о единственном моменте, который иначе остался бы неоднозначным: NVIDIA Nemotron 3.5 Super VL отсутствует в нашем каталоге. Сегодня мы не обслуживаем эту модель, а конкретно базовый чекпоинт — это вообще вряд ли то, что станет предоставлять размещённый эндпоинт, поскольку базовые чекпоинты не являются продуктами для инференса. То, что даёт вам шлюз, — это дешёвая половина эксперимента: сравнение, которое подскажет, стоит ли платить за эти 249 ГБ.
Что всё ещё не установлено
Четыре вещи, сформулированные как пробелы, а не как риски.
• Какой лимит контекста реален. В карточке указано 1M, в поставляемой конфигурации заявлено 262,144, а в описании обучения сказано, что было выполнено расширение до 1M. Нет опубликованного заявления, которое разрешало бы это противоречие между тремя значениями. Любой, кто планирует запуск продолженного предобучения с длинным контекстом, должен считать значение из конфигурации значением по умолчанию и проверять его в своей среде выполнения, а не по карточке.
• Что умеет башня зрения. В карточке базовой модели не опубликовано никаких мультимодальных оценок. Ни OCR, ни документа, ни диаграммы, ни строки с видео — для единственного чекпоинта в семействе, единственная цель которого — дообучение на этих модальностях. Это самая большая брешь в опубликованных доказательствах.
• Как база соотносится с чем угодно. Таблица бенчмарков с одним столбцом, без базовых показателей, без примечания о тестовом стенде. Показатель 66.16 GPQA Diamond в принципе воспроизводим с помощью NeMo Gym и не был воспроизведён никем за пределами NVIDIA.
• Поставляются ли вместе с базовой моделью где-либо рецепты развёртывания на 1M. В карточке пост-обученной модели приведены команды запуска 4×H100 и 2×GB200 для всего окна. В карточке базовой модели есть только hf download. Неясно, это пробел в документации или заявление о том, что обслуживание базовой модели на 1M не входит в планы NVIDIA по поддержке.
Ничто из этого не делает релиз менее интересным. Это делает базовый чекпоинт наименее документированным артефактом семейства и — для узкого и специфического типа команд — самым полезным из них; разница в том, будет ли вашим следующим шагом вызов API или запуск обучения.
Для модели, чьи режимы отказов всё ещё не документированы, полезным аналогом служит сводка о том, что уже пошло не так в других местах: документированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, степень серьёзности, уровень уверенности и флаг оспаривания.
