Nemotron 3.5 Transcribe против Nemotron 3.5 Transcribe 30B: два имени, один чекпойнт, четыре файла

Если каталог, сайт сравнения или ваша собственная таблица закупок указывает Nemotron 3.5 Transcribe и Nemotron 3.5 Transcribe 30B как две позиции, то он дважды перечисляет одну модель. Опубликованный репозиторий — NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, карточка NVIDIA указывает общее количество как 34 млрд параметров, а число активных — около 4,3 млрд, и простое название во всех заголовках — это тот же самый продукт, только без указания размера. Отдельной модели на 30B для сравнения не существует, поэтому это уже не столько прямое сравнение, сколько проблема именования, внутри которой скрыто решение о развёртывании.

Однако это решение реально, и именно поэтому два названия постоянно появляются рядом. Одно название — это то, что вы ищете и что может отображаться в каталоге моделей или в листинге API. Другое — это то, что вы скачиваете, в одной из четырёх точностей и с одним из четырёх объёмов памяти, и выбор между этими файлами — единственное сравнение, которое эта модель действительно предлагает вам провести. Далее следует согласование: что именно входит в 30B, почему в карточке указано 34B и какой файл подходит для вашей GPU, а не для той, которую предполагает страница запуска.

Имя, которое противоречит само себе

В обращении находятся два числа, и оба они официальные. Название репозитория заканчивается на 30B-A4B, что соответствует соглашению, которое NVIDIA использует для своей линейки mixture-of-experts: сначала общее число параметров, затем активные параметры. Карточка модели на той же странице указывает 34B общих и примерно 4.3B активных, явно включая аудиоэнкодер. Исследовательская страница повторяет название 30B-A4B в заголовке и значение 4.3B активных в основном тексте.

Карточка также перечисляет компоненты, и именно здесь арифметика начинает иметь значение. Языковой каркас — Nemotron 3.5 Lightning 30B-A3B, гибридная MoE на основе Mamba-2 и Transformer с 3,5 млрд активных параметров. Объединённый аудиокодер — ASR-кодер на базе Transformer плюс кодер диктора — составляет около 800 млн параметров. Сложите их, и получится примерно 30,8 млрд, а не 34B. Либо 34B учитывает что-то, что NVIDIA не перечислила по пунктам, либо 30B в названии репозитория — это округлённое обозначение каркаса, который фактически больше, чем в его названии. NVIDIA не опубликовала сверку, и стороннего аудита параметров полного чекпоинта пока не существует.

Для покупателя это означает меньше, чем кажется. То, 31B у системы или 34B, не меняет, на какую карту она поместится, поскольку объём файла определяется точностью гораздо сильнее, чем последними тремя миллиардами параметров. Но это означает, что любой лист спецификаций с «30B» и любой с «34B» описывают одну и ту же загрузку, а закупочное сравнение, построенное на этой разнице, сравнивает всего лишь правило округления.

Что на самом деле считает суффикс 30B

Суффикс обозначает языковую модель, а не транскрибатор. Nemotron 3.5 Transcribe — это LLM, дополненная речевыми возможностями: аудио проходит через Transformer-энкодер, замороженная модель Nemotron 3 Diarization передаёт представления говорящих через так называемый параллельный экспертный энкодер NVIDIA, а гибридный MoE-декодер формирует транскрипт. Обозначение 30B относится к декодеру и его стеку эмбеддингов. Речевой тракт — энкодер, диаризатор и CTC-голова временных меток — надстроен сверху и не является тем, что обещает название.

Именно поэтому модель ведёт себя как LLM в тех отношениях, в которых классическая ASR-система этого не делает. Она принимает промпты. Она отвечает на вопросы об аудио. Она выполняет перевод для 31 языковой пары в направлении к английскому и от него за один проход. Она удерживает контекст в 65 536 токенов, так что час речи помещается без разбиения на фрагменты. Ничто из этого не объясняется тем, что 30B-декодер большой; это объясняется тем, что декодер вообще является универсальной языковой моделью, а речь проецируется в его входное пространство.

Это также объясняет то отсутствие, которое все продолжают искать. Нет родственной модели только на 30B, нет меньшей плотной Transcribe и нет большей. Репозиторий содержит варианты точности одной модели, а не семейства. Единственные другие размеры, которые сейчас можно встретить, — это квантованные варианты, созданные сообществом, и один действительно меньший потоковый распознаватель — Nemotron Speech Streaming EN 0.6B; это другая модель с поддержкой только английского и без диаризации, а не мини-версия этой.

Четыре файла, стоящие за названием, и сколько памяти занимает каждый из них

Это и есть то сравнение, на которое на самом деле указывают два этих названия. NVIDIA публикует три точности, а сообщество добавило четвёртый формат поставки; приведённые ниже показатели памяти взяты из опубликованных контрольных точек и репозиториев сообщества, а не из единой таблицы производителя.

• BF16 — эталонный чекпоинт, занимающий примерно 67–68 ГБ на диске и обслуживаемый на одной H100 80GB. Именно на этой версии были получены опубликованные результаты бенчмарков, и её следует использовать, когда нужно их воспроизвести.

• FP8 — около 35 ГБ, что снижает минимальные требования до карты с 48 ГБ, такой как L40S. Потери точности по сравнению с BF16 невелики в собственной трактовке NVIDIA, но это именно трактовка NVIDIA; независимая оценка FP8 не публиковалась.

• NVFP4 — около 21 ГБ, этого достаточно, чтобы разместиться на RTX 5090 с 32 ГБ или на RTX PRO 6000. Именно эта точность лежит в основе заявленной NVIDIA рекордной пропускной способности — 2 238 секунд аудио в секунду на одной RTX PRO 6000 с подключённой драфт-моделью DFlash2.

• GGUF — четыре community-декодера объёмом от 19,7 ГБ до 35 ГБ плюс обязательный файл энкодера F16 на 1,67 ГБ. Сборка IQ4_NL на 19,7 ГБ предназначена для карт с 24 ГБ, вывода на CPU, Metal и Vulkan; сборка NVFP4 на 19,7 ГБ ориентирована на Blackwell; Q5 занимает около 29 ГБ, а Q8 — около 35 ГБ. Необязательный драфтер DFlash2 на 1,15 ГБ добавляет спекулятивное декодирование на пути CUDA.

• MLX — порты сообщества с 4-битным и 8-битным квантованием объёмом примерно от 19 ГБ до 35 ГБ для Apple silicon; один автор сообщает о примерно 154 токенах в секунду на 4-битной сборке. Полезно для оценки на Mac, но не для производственного пути обслуживания.

Что ими управляет, и одна ошибка времени выполнения, которую допускают люди

Файлы GGUF — это ловушка. Расширение .gguf не означает, что модель работает в llama.cpp, Ollama или LM Studio, и ни одна из этих трёх программ не запускает данную модель: ей нужна среда выполнения speech-LLM со встроенным аудиоэнкодером. Рабочие варианты на момент выпуска уже, чем можно предположить по списку форматов.

• vLLM 0.32.0 — основной путь и единственный, который обеспечивает доступ ко всему объёму выходных данных, включая временные метки слов через раннер V1 и промежуточное ПО временных меток. Здесь же реализованы вывод с указанием говорящего и перевод.

• SGLang-Omni 0.2.0 на SGLang 0.5.22 — транскрипция целого файла через совместимый с OpenAI аудиоэндпоинт, без временных меток слов, атрибуции говорящих, перевода или спекулятивного декодирования.

• NeMo Speech — набор инструментов для дообучения; NVIDIA заявляет от 0,5 до 2,3 GPU-часа на задачу на одном GPU. Опубликованные рецепты LoRA работают на одной карте.

• NeMo-Speech.cpp и speech.cpp — это путь на C++, на который ориентируются сборщики GGUF, и единственный, который загружает эти кванты. Оба файла выше — 19,7 ГБ и 35 ГБ — распространяются для него, а README репозиториев — честный источник о том, что куда помещается.

• Transformers — использование в процессе из установки из исходников: достаточно для оценки, но не для пропускной способности.

Ошибка — скачать самый маленький квант, указать на него llama.cpp и сделать вывод, что модель сломана. Она не сломана; это речевая LLM с энкодером, о котором текстовые рантаймы понятия не имеют. Если среда выполнения не указывает Nemotron 3.5 Transcribe в числе поддерживаемых архитектур, файл не загрузится, каким бы маленьким он ни был.

Где место каждого файла — простыми словами

Стройте рассуждения в обратном порядке — от аппаратного обеспечения, а не в прямом — от карточки модели. Указанная в карточке базовая конфигурация — один H100 80GB при BF16 — это путь максимальной точности, а не минимальный.

• Видеокарта на 24 ГБ класса RTX 4090 или L4 — GGUF IQ4_NL объёмом 19,7 ГБ с энкодером на 1,67 ГБ. Оставьте запас для KV-кэша и аудиобуфера; 24 ГБ — впритык, но задокументировано как рабочий вариант.

• Карта на 32 ГБ, RTX 5090 или RTX PRO 6000 — 21-ГБ чекпоинт NVFP4, то есть конфигурация, которую описывает заявление NVIDIA о пропускной способности, с драфтером DFlash2, если вам нужно спекулятивное декодирование.

• 48 ГБ карта, L40S или A6000 — чекпоинт FP8 на 35 ГБ, наименее неудобный компромисс между точностью и стоимостью.

• Ускоритель на 80 ГБ, H100 или A100 — BF16, эталонная конфигурация и единственная, которая воспроизводит опубликованную таблицу WER без оговорки о точности.

• Совсем без GPU — ни одного из этих файлов. Энкодер работает на CPU в C++-пути, но час аудио на декодере 30B-A3B без ускорения — это пакетная задача, измеряемая часами, а не сервис.

Одно ограничение сохраняется при любой точности: на входе — 16 кГц, моно, PCM, а верхний предел — один час аудио на запрос. Понижение частоты дискретизации и выбор канала происходят до того, как модель что-либо увидит, а стереофоническая запись совещания в переговорной комнате микшируется в моно, если только вы сами не разделите каналы. Это решение относится к предварительной обработке, а не к выбору чекпойнта, и ошибка здесь снижает качество транскрипции сильнее, чем переход с BF16 на FP8.

Проверки, которые следует выполнить, когда в объявлении отображаются оба имени

Поскольку ситуация с дублирующимися названиями реальна и будет повторяться в каталогах и на страницах сравнения, короткая процедура проверки ценнее ещё одного абзаца объяснений.

• Идентификатор репозитория — единственный официальный артефакт — это NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Строка с названием Nemotron 3.5 Transcribe 30B и другим идентификатором репозитория — это либо квантование, либо вообще другая модель.

• Строка лицензии — OpenMDW-1.1 в официальном релизе, коммерческое использование разрешено. Если в описании указано «только для исследований» или «некоммерческое использование», речь идёт о чём-то другом.

• Окно контекста и аудио — 65 536 токенов и один час. Если в описании указано большее окно, это неверно или относится к другому чекпойнту.

• Заявленные параметры — 30B-A4B в названии, 34B в карточке, 4,3B активных в обоих случаях. В объявлении, где указано 4B суммарно, активное количество перепутано с общим — это самый распространённый вариант записи этой модели в интернете.

• Список файлов — BF16, FP8 и NVFP4 от NVIDIA, а также draft-модель DFlash2. Если страница предлагает «Nemotron 3.5 Transcribe 30B» в виде одного загружаемого файла и без указания точностей, то это квант сообщества, носящий имя производителя.

Вопрос маршрутизации, который на самом деле отдельный

Когда файл выбран и среда выполнения работает, вопрос развёртывания закрыт, и возвращается более старый: что происходит с текстом. Транскрипт — это сырьё для суммаризации, извлечения сущностей, редактирования конфиденциальных данных, индексирования для поиска и ответов на вопросы, а эти вызовы — обычный трафик текстовых моделей с обычными проблемами текстовых моделей: ограничения частоты запросов, сбои вышестоящих систем, дешёвая классификационная модель, которая сгодилась бы для девяти десятых объёма.

OrcaRouter не обслуживает Nemotron 3.5 Transcribe, и в его каталоге нет записи ни под одним из этих названий; если вы где-либо видите две строки для этой модели, проверка репозитория, описанная выше, — самый быстрый способ это выяснить. Что платформа действительно предоставляет, так это слой, который работает после появления транскрипта: один ключ, совместимый с OpenAI, для более чем 200 текстовых и визуальных моделей по цене из прайс-листа провайдера с наценкой 0%, автоматическое переключение при сбое между провайдерами, а также DSL маршрутизации, который объединяет несколько моделей в один вызов, чтобы дешёвый этап извлечения и дорогостоящий этап оценки могли находиться за единой конечной точкой. GPU выполняет транскрипцию; маршрутизация решает, чего стоит транскрипт.

Суффикс — это обозначение размера файла, а не вторая модель.

Самый простой способ удержать в голове оба названия таков: Nemotron 3.5 Transcribe — это продукт, Nemotron 3.5 Transcribe 30B — это репозиторий, причём «30B» считает только декодер, а карточка считает систему целиком. Расхождение между 30,8B и 34B — нерешённая деталь, которую NVIDIA стоило бы согласовать, но оно не меняет ни одного решения покупателя, потому что решение принимается в гигабайтах и в поддерживаемых средах выполнения, а не в третьей цифре количества параметров.

Выберите точность, которую выдерживает ваша видеокарта, убедитесь, что среда выполнения указывает архитектуру, и считайте любой список, где эти два имени представлены как отдельные модели, ошибкой каталога, а не выбором. Настоящая развилка в этом релизе — та, что оправдала бы настоящее прямое сравнение, — это потоковый распознаватель 0.6B с одной стороны и этот офлайн-транскрибатор 30B с другой. Это сравнение касается задержки и покрытия, и его стоит провести. А сравнивать модель с её собственным именем файла — нет.