Nemotron 3.5 Transcribe: речевая LLM от NVIDIA превосходит каскад диаризации — на 13 языках

NVIDIA выпустила Nemotron 3.5 Transcribe 28 октября 2026 года по открытой лицензии, и число, которое фигурирует в каждом заголовке о ней, — 40: сорок языков, один чекпоинт, включая метки говорящих. Число, которое действительно меняет то, как вы строите стек транскрипции, — 15,80. Это средний cpWER модели на собственном многоговорящем бенчмарк-наборе NVIDIA по сравнению с 16,83 у лучшего специализированного каскада, с которым компания её сравнивала — распознаватель речи плюс отдельный конвейер диаризации, соединённые так, как до сих пор устроено большинство производственных систем транскрипции совещаний. NVIDIA утверждает, что это первая речевая LLM, превзошедшая такую схему, и именно это утверждение стоит проверить, потому что оно убирает компонент из вашей архитектуры, а не добавляет язык в список.

Цифра «40 языков» реальна, но охватывает меньше, чем кажется. Атрибуция говорящих — та часть, которая заменяет каскад, — обучена для тринадцати языков, а не сорока. Модель читает только записанные файлы, до часа за раз, без потокового режима. И это не маленькая загрузка: 34B параметров всего, около 4.3B активных на токен, при этом H100 80GB указан как базовая конфигурация для обслуживания в BF16. Эти три ограничения решают, можно ли использовать результат диаризации в этом квартале или его стоит отметить для следующего.

Что NVIDIA на самом деле выпустила

Чекпойнт опубликован как NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, а разрыв между этим названием и опубликованным количеством параметров — первое, что нужно прояснить. Модель построена на Nemotron 3.5 Lightning 30B-A3B — гибридной языковой модели со смесью экспертов на основе Mamba-2 и Transformer; в карточке модели NVIDIA указано общее число параметров — 34 млрд, из которых примерно 4,3 млрд активных, включая аудиостек. Дополнительный вес сверх 30B в названии — это энкодеры: около 600 млн у ASR-трансформера и около 99 млн у энкодера диктора, в сумме примерно 800 млн; таким образом, на языковой бэкбон приходится около 3,5 млрд активных параметров. В нескольких публикациях это описывали как несоответствие; это не несоответствие: это название, в котором учитывается LLM, и карточка, в которой учитывается вся система.

С архитектурной точки зрения ключевой момент, который стоит понять, — это параллельный экспертный энкодер. Замороженная модель Nemotron 3 Diarization формирует представления активности говорящих, и они внедряются в выход ASR-энкодера, так что языковая модель за один проход видит как слова, так и то, кто, вероятно, их произносит. Затем лёгкий CTC-адаптер выравнивает сгенерированный текст обратно с аудио, чтобы получить временные метки слов с атрибуцией говорящего. Здесь нет второго этапа выравнивания и нет вызова pyannote посередине. Нативное предсказание нескольких токенов служит одновременно черновиком для спекулятивного декодирования внутри vLLM, а NVIDIA также выпускает отдельно обученную черновую модель DFlash2.

• Общее и активное число параметров — 34 млрд всего, ~4,3 млрд активных на токен, из которых ~3,5 млрд составляет языковая основа

• Контекст и аудио — 65 536 токенов, записи длительностью до 1 часа в формате 16 кГц моно, декодирование внутренними фрагментами по 30 секунд

• Языковой охват — 40 языков для транскрипции, 32 для перевода с английского и на английский, 13 для транскрипции с атрибуцией говорящего

• Лицензия — OpenMDW-1.1, разрешено коммерческое и некоммерческое использование

• Базовая конфигурация сервиса — один H100 80GB в BF16; сборки BF16, FP8 и NVFP4 опубликованы.

• Стриминг — отсутствует; это модель «файл на входе — транскрипт на выходе».

Релиз представляет собой пару артефактов, и их стоит держать отдельно, поскольку большинство публикаций их смешивают. Вместе с моделью NVIDIA опубликовала Granary v2 — релиз конвейера речевых данных, а не чекпойнт: 463 062 часа по 48 языкам и 16 исходным корпусам, по сравнению с 25 языками в Granary v1, созданный с помощью NeMo Curator и поставляемый с публичным манифестом. Каждая запись содержит три формы расшифровки — дословную с текстовой нормализацией, обратно нормализованную с дисфлюенциями и обратно нормализованную без них — а также метки задач, пары вопрос-ответ, привязанные к речи, термины контекстного смещения и флаг качества для каждой записи. Это данные, которые ожидают рецепты тонкой настройки, а не веса, которые можно запустить. Исходное аудио по-прежнему нужно загружать по собственной лицензии каждого корпуса, поэтому Granary v2 открыт в том смысле, что открыты его манифест и конвейер, а не в том, что аудио можно свободно распространять.

Лицензия важна не меньше, чем веса. OpenMDW-1.1 разрешает коммерческое использование, что ставит этот продукт в одну категорию с линейкой Voxtral от Mistral, а не в исследовательский край спектра открытых весов. Поддержка сред выполнения при запуске шире, чем у большинства релизов речевых LLM: vLLM 0.32.0 — основной путь и единственный, который даёт полный набор функций, при этом временные метки слов требуют V1 runner и timestamp middleware, а DFlash2 отсутствует. SGLang-Omni 0.2.0 на SGLang 0.5.22 обеспечивает транскрипцию целых файлов через OpenAI-совместимую аудиоконечную точку, но не поддерживает временные метки слов, вывод с указанием говорящего, перевод или спекулятивное декодирование. NeMo Speech поставляется с инструментарием для дообучения, Transformers поддерживает использование в процессе при установке из исходного кода, а сборка GGML покрывает отдельные компоненты Blackwell, включая RTX 5090 и RTX PRO 6000.

Результат диаризации — это и есть история.

Многодикторная таблица NVIDIA — это место, где приводится сравнение с каскадной схемой, и она необычно подробна для анонса запуска. Средний cpWER по набору составляет 15,80 против 16,83 у DiCoW v3.3 в сочетании с DiariZen. Цифры по отдельным условиям показывают, откуда берётся преимущество, а откуда нет: AMI в условиях близкого разговора достигает 10,29, AMI с одним дистанционным микрофоном — 17,34, CALLHOME CH109 — 11,50, Mixer 6, канал 4 — 14,80, NOTSOFAR-1 в условиях близкого разговора — 14,94 и одноканальный — 25,91, при этом AISHELL-4 — 32,91 cpCER, а AliMeeting — 34,95. Случай широкополосных многоканальных совещаний силён; дальнее поле с одним микрофоном и аудио китайских совещаний намного слабее, что честно описывает, где испытывают трудности все системы диаризации.

Внешне независимое подтверждение, на которое опирается NVIDIA, — это Diarization-Bench от VoiceArena: там модель сообщает 32,4% cpWER на полных англоязычных сессиях и занимает первое место среди четырнадцати систем. Ближайший преследователь — Multitalker Parakeet в паре с Nemotron 3 Diarization — показывает 34,2%, а остальные участники — от 34,7% до 71,9%. NVIDIA также сообщает, что удаления слов составляют 8,32% эталонных слов при медиане по участникам около 31%. Второй показатель полезнее для любого, кто уже выпускал транскрипты: cpWER можно искусственно улучшить, отбрасывая слова, в которых не уверен, а система, которая сохраняет 92% эталонных слов и при этом выигрывает метрику, делает более сложную работу. Оба показателя — числа, заявленные вендором на стороннем бенчмарке, а не независимая оценка модели.

Ограничение — количество языков. Атрибуция говорящих обучена для тринадцати языков — английского, французского, немецкого, хинди, итальянского, корейского, португальского, русского, испанского, японского, тайского, арабского и китайского — и поддерживает до восьми говорящих. Если ваши записи — это совещания на английском или на одном из тех двенадцати других языков, аргумент о замене каскадом актуален. Если ваша аудиозапись на польском, турецком или вьетнамском, вы получите транскрипцию без диаризации, и вам всё ещё понадобится второй компонент.

Какое место он на самом деле занимает: три таблицы лидеров — три разных ответа

Цифра для английского языка зависит от того, какую страницу NVIDIA вы читаете, и стоит быть точным в этом вопросе, а не выбирать более выгодный вариант. Средняя частота ошибок в словах по девяти наборам в карточке модели составляет 4,71%, следом идёт Qwen3-ASR-1.7B с 4,94%. В публикации NVIDIA на Hugging Face, вышедшей в тот же день, приводится 5,33% как средний WER на Hugging Face Open ASR Leaderboard при RTFx 462,09, а у Qwen3-ASR-1.7B — 5,4%. Обе цифры — собственные данные производителя, опубликованные с разницей в несколько часов, и разница состоит в том, какие тестовые наборы входят в среднее. Не усредняйте их, не вычитайте одну из другой и не считайте, что вопрос с десятичными знаками решён. Что остаётся неизменным при обеих трактовках — это место в рейтинге: первое среди моделей с открытыми весами в этом рейтинге.

Остальная часть набора, по данным поставщика, согласована по структуре. Средний WER в многоязычном наборе составляет 4,62% по семи языкам против 6,49% у Qwen3-ASR-1.7B. Среднее по длинным формам — 10,98% против 13,37% у Parakeet-TDT-0.6B-v3. Оценки управления стилем составляют 7,56% по умолчанию и 6,16% при инструкции, против 8,16% и 8,36% у Canary-Qwen. Контекстные подсказки улучшают результат ContextASR-Bench с 3,33% без контекста до 1,71% с детализированным контекстом, а транскрипцию звонков о финансовых результатах — с 12,54% до 9,58% при предоставлении локального контекста.

Независимая проверка рисует менее лестную картину, и именно её стоит прочитать, если на этой неделе вы выбираете между моделями. В индексе частоты ошибок в словах без потокового режима от Artificial Analysis, проверенном 29 октября, Nemotron 3.5 Transcribe составляет 2,8%. Voxtral Small Transcribe 3 показывает 2,1%, а MAI-Transcribe-2 — 2,0% по тому же срезу, тогда как Gemini 3.5 Transcribe находится на уровне 2,6%. Формулировку NVIDIA «делит первое место среди моделей с открытыми весами» можно защитить применительно к конкретной модели, которую она называет, а именно к Voxtral Small: по тому же индексу он также находится на уровне 2,8%, и NVIDIA описывает его как модель на 24B в сравнении с примерно 4B активных параметров у этой модели. Но таблица лидеров ушла дальше этой пары ещё до выхода данной модели. Более новая модель от Mistral, Voxtral Small Transcribe 3, имеет примерно на четверть более низкую частоту ошибок по тому же срезу. Это не делает результат диаризации неверным, потому что Voxtral не выполняет атрибуцию говорящего за один проход. Это означает, что правильная фраза — «лучшая модель с открытыми весами для ASR с атрибуцией говорящего», а не «лучший транскрайбер с открытыми весами».

Хвост для каждого языка — именно там развёртывания и ломаются.

Покрытие и паритет — это разные утверждения, и карточка модели NVIDIA публикует достаточно детализации по каждому языку, чтобы увидеть расстояние между ними. Языковая матрица содержит 41 строку; норвежский присутствует в ней без отметок о задачах, так что фактически для ASR отмечены 40 языков. По FLEURS частоты ошибок варьируются от 1.41% до 63.76% — и 63.76 — это норвежский. Итальянский достигает 1.41, испанский — 2.20, немецкий — 2.73, французский — 3.16, английский — 3.35, арабский — 6.35, хинди — 7.47; японский показывает 4.42 CER, корейский — 2.78 CER, китайский — 8.62 CER. В средних значениях по языкам мультиязычного лидерборда у хинди 9.15 OIWER против 5.96 у нидерландского и 2.81 у немецкого.

Код-свитчинг, который карточка указывает для всех 40 языков, столь же неравномерен: ASCEND Mandarin-English достигает 18,74% смешанной ошибки, MUCS Hindi-English — 19,28%, MUCS Bengali-English — 35,46%, а Monsoon Hindi — 9,40% OIWER. Качество перевода тоже варьируется в широком диапазоне: BLEU для направления FLEURS→английский — от 6,40 до 44,33, для English→FLEURS — от 8,70 до 42,65, а для CoVoST2→английский — от 6,95 до 54,46. Устойчивость на наборе HALAS составляет 31,50% WER — именно это число должно заставить пересмотреть любой план, основанный на акцентных или шумных полевых записях.

Практический вывод таков: «40 языков» — это заявление о покрытии, вокруг которого можно планировать ресурсы, а не заявление о качестве, вокруг которого можно планировать продукт. Проверьте конкретный язык и конкретные условия записи, которые для вас важны, на нескольких сотнях собственных клипов, прежде чем принимать решение. Приведённый в самой model card кейс дообучения служит шаблоном: на индийском медицинском речевом бенчмарке ошибка «из коробки» составляла 30.8%, промпт с указанием английского языка и латиницы снизил её до 23.8%, а адаптация на примерно 245 часах данных довела её до 11.8% — примерно на 62% меньше ошибок, за 14 GPU-часов одного GB300. На отложенных дикторах показатель сместился с 22.44% до 12.17%, относительное снижение на 45.8%, при этом LibriSpeech test-clean ухудшился с 1.54% до 1.69% — обычный признак узкой адаптации.

Во сколько обходится эксплуатация и где место маршрутизации

NVIDIA не опубликовала цену на эту модель. На странице исследования и в карточке модели нет поминутной ставки, веса бесплатны в соответствии с OpenMDW-1.1, а хостинговый доступ на момент запуска осуществляется через собственный эндпоинт NIM от NVIDIA и несколько сторонних платформ, которые устанавливают собственные тарифы. Таким образом, вопрос стоимости — это вопрос о GPU, и данные по нему необычайно полны.

На одной карте RTX PRO 6000 Blackwell Server Edition сборка NVFP4 с драфтом DFlash2 обрабатывает до 2 238 секунд аудио в секунду — 30-секундная запись возвращается за 0,13 секунды, — что укладывает 100 часов аудио менее чем в три минуты. Это оптимизированный путь NIM, и NVIDIA заявляет, что открытая интеграция с vLLM примерно вдвое медленнее. На H100 при BF16 показатели RTFx у этой карты составляют 410 при спекуляции с двумя токенами, 270 — с восемью, 340 с DFlash2 при K=7 и 260 при K=15. На верхней границе этого диапазона один час работы H100 покрывает около 410 часов аудио, так что тысяча часов транскрипции — это примерно два с половиной GPU-часа вычислений. Побьёт ли это облачный тариф с оплатой за минуту, целиком зависит от того, насколько плотно вы загружаете карту: при нескольких сотнях часов в месяц простаивающий GPU на 80 ГБ оказывается более дорогим вариантом, и арифметика переворачивается только тогда, когда очередь остаётся заполненной.

Адаптация дешева по меркам этого класса. NVIDIA сообщает о 0,5–2,3 GPU-часа на задачу на одном GPU для новых языков, предметных областей или стилей вывода; оценка проводилась на 17 задачах, с LoRA на языковой модели и обучением энкодера и проекции. Это достаточно малая величина, чтобы адаптацию к предметной области стоило рассматривать как часть развертывания, а не как исследовательский проект — медицинский случай выше занимает 14 GPU-часов от начала до конца.

Одна архитектурная деталь, важная для дальнейшего: эта модель выдаёт текст, а суммирование, извлечение сущностей и тегирование соответствия требованиям, выполняемые после расшифровки, — обычная работа для LLM. Именно этот последующий этап покрывает OrcaRouter — один API для 200+ моделей с нулевой наценкой к прайс-листу провайдера, автоматическое переключение при сбое, когда провайдер деградирует посреди пайплайна, и DSL маршрутизации для отправки длинных транскриптов и коротких фрагментов разным моделям без отдельной интеграции каждый раз. Мы не размещаем Nemotron 3.5 Transcribe; это речевая модель, которую вы запускаете на своём оборудовании или через эндпоинт NVIDIA. Слой маршрутизации начинается там, где заканчивается расшифровка.

Две модели носят одно и то же название, и только одна из них — эта.

Значительная часть написанного об этом релизе за последние сутки относится к другому чекпоинту. NVIDIA также публикует nemotron-3.5-asr-streaming-0.6b — небольшой потоковый ASR-чекпоинт, созданный для локальных и ориентированных на CPU сред выполнения, где его квантованные сборки достаточно малы, чтобы поставляться в составе приложения. Это не эта модель, он не выполняет атрибуцию говорящих, и его показатели скорости и точности не переносятся. Речевая LLM 30B-A4B — это та, что была анонсирована 28 октября; потоковая модель 0.6B — та, что работает на ноутбуке. Если в сравнении, которое вы читаете, упоминаются задержка менее секунды или загрузка размером в один гигабайт вместе с заявлением о 40 языках, значит, там объединили две модели.

Кому следует действовать сейчас, а кому — подождать?

Действуйте сейчас, если вы обрабатываете записанные совещания, звонки или интервью на английском или одном из двенадцати других языков диаризации, в файлах длительностью менее часа, и у вас уже есть GPU-мощности класса 80 ГБ или хостинговый эндпоинт, за который вы готовы платить. Аргумент наиболее силён там, где вы сейчас поддерживаете каскад из двух моделей: один чекпойнт, один проход, с включёнными метками спикеров и временными метками слов, по лицензии, допускающей коммерческое использование. Проверьте это на собственном аудио, прежде чем отказываться от pyannote — приведённые выше показатели для дальнего поля и аудио с акцентом — это то, что с наибольшей вероятностью разочарует.

Подождите, если вам нужен потоковый режим в реальном времени, потому что потокового пути нет; если ваши языки находятся в хвосте этого диапазона FLEURS; если записи длятся больше часа; или если у вас нет GPU и нет желания оплачивать поминутный счёт за хостинг. Подождите также, если ваш стек уже использует более новый транскрибатор, который показывает меньшую ошибку в Artificial Analysis и не требует диаризации — однопроходная атрибуция говорящих и есть причина переходить, и она единственная.

Открытые вопросы, за которыми стоит следить, узкие и проверяемые. Независимая оценка полной точности всё ещё скудна; ранние отчёты людей, запускающих общественные 4-битные квантованные модели, описывают обычное замедление и потерю точности, что говорит больше о квантовании, чем о модели. SGLang-Omni должен достичь паритета по функциям, прежде чем путь без vLLM станет реальной альтернативой. А тринадцать языков диаризации — это число, которое, скорее всего, изменится первым, потому что именно там сосредоточено архитектурное утверждение.