Nemotron 3.5 Transcribe против Whisper Large v3 Turbo: в 40 раз больше объёма ради одного пункта WER

Если ваша задача по транскрипции — это папка трёхминутных монофонических клипов с интервью, а машина, которая у вас есть, — рабочая видеокарта на 24 ГБ, то сравнение Nemotron 3.5 Transcribe и Whisper Large v3 Turbo решается ещё до того, как в дело вступает точность. Новая модель NVIDIA — это речевая система с 34 млрд параметров, проверенная на ускорителе с 80 ГБ. Turbo-вариант OpenAI — модель с 809 млн параметров, которая умещается в 0,8 ГБ весов int8 и работает на CPU. Их сравнивают на этой неделе, потому что их уровни ошибок оказались в пределах примерно одного процентного пункта друг от друга, и это наименее полезный факт об этой паре.

Nemotron 3.5 Transcribe вышел 2026-10-28 как открытые веса под лицензией OpenMDW-1.1, которая разрешает коммерческое использование. Whisper Large v3 Turbo датируется 2024-10-01 и распространяется по лицензии MIT; это не новость — это базовая модель, с которой сравнивают каждую новую речевую модель. Вопрос, на который отвечает эта статья, не в том, какая модель показывает лучшие оценки — оба поставщика хотели бы, чтобы вы прочитали это именно так — а в том, какую из них вы действительно сможете запустить, с какими затратами и на тех аудиоданных, которые у вас есть.

Что на самом деле представляет собой каждая модель

Разница в архитектуре — это не разрыв между поколениями. Это разница категорий, и она объясняет почти каждый последующий компромисс.

• Архитектура — гибридная LLM Mamba–Transformer со смесью экспертов, с речевым энкодером и встроенным замороженным 99M энкодером диаризации, примерно 34B всего при 4,3B активных на токен, в сравнении с энкодером–декодером, дистиллированным из large-v3, декодер которого сокращён с 32 слоёв до 4.

• Аудиоокно — записи длительностью до одного часа обрабатываются за один проход, тогда как для всего более длинного используется фиксированное 30-секундное окно с поблочным декодированием длинных фрагментов.

• Метки говорящих — встроены в вывод, до 8 говорящих, для 13 языков, против полного их отсутствия; в словаре Whisper нет токена говорящего, поэтому обязателен отдельный диаризатор.

• Тайминги на уровне слов — лёгкий CTC-адаптер выравнивает готовую транскрипцию по аудио, тогда как при использовании только сегментных токенов временных меток тайминги слов требуют принудительного выравнивания.

• Языковой охват — 40 языков с транскрипцией, 31 с переводом на английский или с английского, 13 с указанием говорящего, против 99 языков с транскрипцией и без перевода.

• Веса на диске — примерно 68 ГБ в BF16 по лицензии OpenMDW-1.1, против 1,6 ГБ в fp16 и 0,81 ГБ в int8 — по MIT.

Показатели точности не сходятся, и в этом-то и дело.

Artificial Analysis ведёт единственный публичный индекс, где обе модели фигурируют в одной шкале, и его цифры стоит читать внимательно, поскольку они расходятся между собой. В таблице лидерборда Whisper Large v3 Turbo указан на уровне 4.6% AA-WER на одном эндпоинте быстрого вывода и 5.5% — на втором. Nemotron 3.5 Transcribe указан на уровне 3.4% для хостингового эндпоинта. В собственном анонсе NVIDIA приводится 2.80% AA-WER — это делёж первого места среди моделей с открытыми весами, — а текстовый раздел того же лидерборда повторяет 2.8%, тогда как в его таблице стоит 3.4%: расхождение в пределах одной страницы, ещё до того, как кто-то начнёт сравнивать поставщиков.

Если принимать таблицу за чистую монету, Nemotron 3.5 Transcribe лучше примерно на 1,2 пункта. А теперь обратите внимание: две собственные строки Whisper Large v3 Turbo различаются на 0,9 пункта на одной и той же модели. Большая часть кажущегося разрыва между этими двумя системами — это конфигурация эндпоинтов: батчинг, настройки декодирования, предварительная обработка аудио, — а не архитектура. Любой, кто приводит одну разницу в WER как окончательный вердикт, приводит число, которое смещается почти на ту же величину при смене хост-платформы.

Open ASR Leaderboard рисует картину, которая звучит масштабнее. Средний показатель для английских коротких высказываний у Whisper Large v3 Turbo там составляет около 7,8%, тогда как NVIDIA сообщает 4,71% для своей модели по девяти тестовым наборам на исследовательской странице и средний английский WER 5,33% в сопроводительном посте на Hugging Face. Это разные тестовые смеси с разной нормализацией, так что разрыв в три пункта в лучшем случае указывает лишь на направление. Важнее то, чего не существует: прямого сравнения от производителя с Whisper Large v3 Turbo. NVIDIA сравнивает свою модель с каскадными системами диаризации и с другими речевыми моделями с открытыми весами, а не с turbo-чекпоинтом, который сегодня использует большинство команд. Любая цифра «превосходит Whisper», ходящая в обороте, — это вывод, сделанный поперёк бенчмарков, включая наш.

Разрыв в возможностях, который Whisper не может закрыть

Оставив в стороне вывод, управляемый промптом, ключевое практическое отличие в том, что Nemotron 3.5 Transcribe создаёт транскрипты с атрибуцией говорящих за один проход. Метки говорящих поступают от замороженного энкодера диаризации, объединённого с аудиопризнаками, ответ содержит исходные сегменты говорящих наряду с размеченным транскриптом, а модель обозначает их как <spk:0> … <spk:7>. Для подкаста с двумя участниками это удобство. Для 60-минутного дисциплинарного слушания, приёма у врача или многостороннего звонка по продажам это и есть продукт.

Whisper Large v3 Turbo вообще не может указать говорящего. В транскриптах, на которых он обучался, никогда не было меток говорящих, а его входной сигнал сводится к моно 16 кГц, что уничтожает единственный физический признак, который мог бы сохраниться. Если попросить его выдавать метки, получится текст, который выглядит правильным, но не имеет никакой основы в аудио. Стандартный обходной путь — WhisperX: принудительное выравнивание для временных меток слов плюс отдельно размещённая модель диаризации, объединяемые на границах сегментов. Это работает, широко применяется, но здесь три движущихся компонента, тогда как Nemotron 3.5 Transcribe — один.

Такое же структурное преимущество действует и для длинного аудио. Один час за один проход лучше склейки 30-секундных окон, а у склейки окон есть известный режим отказа: декодирование без токенов временных меток теряет слова почти на каждой границе — в одном измеренном 20-минутном докладе так было потеряно около 3% слов. CTC-адаптер Nemotron 3.5 Transcribe существует именно для того, чтобы избежать ошибок этого класса, хотя обратите внимание, что временные метки слов не входили в начальную поддержку vLLM.

На задачах, для которых эта модель создавалась, приводимые NVIDIA цифры выглядят убедительно, но это данные самого производителя: 18,26% DER на 21 языке в бенчмарке диаризации David AI — заявлено как лучший результат среди 14 систем; 32,4% cpWER на VoiceArena — также лучший среди 14. Контекстным спискам сущностей, передаваемым в промпте, приписывают шестикратное сокращение ошибок в именованных сущностях на ContextASR-Bench. Пока ничто из этого не получило независимого воспроизведения, и всё это — утверждения о модели, которой всего один день.

Где Whisper Large v3 Turbo всё ещё безоговорочно побеждает

Широта языкового покрытия — это первый ответ, и он менее скучен, чем кажется. Whisper Large v3 Turbo охватывает 99 языков. Nemotron 3.5 Transcribe охватывает 40 языков для транскрипции, 31 — для перевода и 13 — для атрибуции говорящих. Если в вашей очереди есть казахский, тамильский, суахили или валлийский, сравнение на этом заканчивается: turbo-модель транскрибирует их, а более новая и крупная модель на это не претендует.

Второй ответ — это сложность развертывания. Whisper Large v3 Turbo работает под управлением whisper.cpp, faster-whisper и MLX — на CPU, на ноутбуке, на Jetson. Nemotron 3.5 Transcribe требует vLLM 0.32.0 плюс плагин NeMo Speech или SGLang-Omni 0.2.0 — на 80-ГБ H100 в BF16, L40S в FP8 или RTX 5090 в NVFP4. Это несопоставимые эксплуатационные обязательства.

Третье — цена turbo опубликована и представляет собой скучный почасовой тариф. Хостинговые эндпоинты тарифицируют примерно $0,04 за час аудио при минимальном платеже в десять секунд, и на быстром эндпоинте обработка идёт примерно в 250 раз быстрее реального времени. Тысяча часов аудио стоит около $40. У Nemotron 3.5 Transcribe нет раскрытой каталожной цены за полный чекпоинт, а хостинговые эндпоинты, которые его предоставляют, не публикуют поминутные тарифы.

Проверьте, какой Nemotron 3.5 вы тестируете.

Самая распространённая ошибка в освещении этой недели — сравнение не с той моделью. Значительная часть опубликованных сравнений «Nemotron 3.5» на самом деле оценивает nvidia/nemotron-3.5-asr-streaming-0.6b — потоковую модель на 0,6B с учётом кэша из более раннего релиза, со своими показателями и своими слабыми местами. Если в таблице упоминаются фрагменты от 80 мс до 1120 мс, то в ней тестируется не Nemotron 3.5 Transcribe. Это важно, потому что потоковая модель проигрывает Whisper Large v3 Turbo по чистой точности в сравнениях на реальных данных (3,35% против 2,55% в одном многоязычном лидерборде) и сильно проигрывает по выравниванию слов, тогда как обсуждаемая здесь модель — это другая, не потоковая система на 34B.

Вторая ловушка — это сервинг. Простой путь, SGLang-Omni 0.2.0, даёт рабочий эндпоинт без NeMo — и без временных меток, меток говорящих или перевода. Полный путь, vLLM 0.32.0 с плагином NeMo Speech, даёт все три, но временные метки на уровне слов появились как последующее дополнение, а не в первом PR. Поэтому три рецепта развёртывания под названием «Nemotron 3.5 Transcribe» могут вести себя как три разных продукта. Если атрибуция говорящих — причина, по которой вы переходите, проверьте этот путь, прежде чем вкладывать в него инженерное время.

Во сколько на самом деле обходится эксплуатация

Сравнение облачных вариантов почти тривиально: Whisper Large v3 Turbo примерно за $0,04 за час аудио — это ~$40 за тысячу часов, и при этом не нужно владеть оборудованием. Nemotron 3.5 Transcribe пока не продаётся таким образом, поэтому команда, которая хочет его использовать, оценивает стоимость GPU, а не счёта за услугу.

Собственная заявленная пропускная способность NVIDIA — это вычислительный нижний предел: 2 238 секунд аудио на каждую секунду времени GPU, NVFP4 с драфтером DFlash2 на RTX PRO 6000 Blackwell, что соответствует примерно 100 часам аудио менее чем за три минуты. При цене около $2 за GPU-час в режиме on-demand это подразумевает нижнюю границу заметно ниже одного цента за час аудио — при полном батчинге, а очередь в продакшене ведёт себя не так. Считайте это потолком возможностей оборудования, а не скоростью, которую вы реально достигнете.

А значит, реальное сравнение — это не Whisper Large v3 Turbo против Nemotron 3.5 Transcribe, а Nemotron 3.5 Transcribe против Whisper Large v3 Turbo плюс модель диаризации, инструмент принудительного выравнивания, код объединения сегментов и настройка под каждый язык, которой требует вся эта связка. Если вы уже используете WhisperX в продакшене, вы уже оплатили большую часть этих затрат, и аргумент в пользу перехода слабее, чем предполагает разрыв в WER. Если вы ещё не построили его, 30B-модель конкурирует с пайплайном, для которого вам иначе пришлось бы нанимать персонал.

Одно практическое замечание для тех, кто во время миграции использует оба варианта: если держать два бэкенда транскрипции за одним OpenAI-совместимым эндпоинтом, переключение становится изменением конфигурации, а не вторым договором с поставщиком. Именно такой слой и призван предоставлять OrcaRouter — один ключ и один эндпоинт для всех провайдеров, которые он маршрутизирует, с передачей прейскурантной цены провайдера с наценкой 0% и автоматическим переключением при отказе между ними. Это не меняет то, какая модель лучше. Это меняет то, сколько стоит это выяснить и сколько стоит ошибиться в этом.

Кто должен выбирать

• Совещания, юридические и клинические записи, а также записи контакт-центра с несколькими говорящими и журналом аудита — Nemotron 3.5 Transcribe. Атрибуция говорящих и временные метки слов за один проход — это та возможность, которую иначе пришлось бы собирать самостоятельно, а часовое окно полностью устраняет логику разбиения на фрагменты.

• Много моно-аудио с высокой нагрузкой, широкий языковой охват, развёртывание на ноутбуке или CPU, предсказуемая почасовая оплата — Whisper Large v3 Turbo. При 809M параметров и $0.04 в час это самый дешёвый правильный ответ для очень большой доли реального трафика, и он проверен двумя годами практики.

• Смешанные нагрузки — запускайте turbo для всего, а на более крупную модель направляйте только то аудио, для которого нужно разделение по спикерам, списки жаргонизмов или перевод. Правило выбора — свойства аудио, а не престиж модели: количество спикеров, наличие предметного глоссария и длительность записи.

Вопросы, которые стоит задать перед миграцией

Может ли Nemotron 3.5 Transcribe работать на одной GPU объёмом 24 ГБ?

Не сказать, чтобы комфортно. NVIDIA подтвердила работоспособность BF16 на H100 с 80 ГБ, FP8 на L40S и чекпоинта NVFP4 на RTX 5090 — карте с 32 ГБ. Устройство с 24 ГБ не дотягивает ни до одной из проверенных конфигураций, а аудиомодуль копируется на каждый ранг тензорного параллелизма, поэтому шардинг между несколькими GPU не спасёт маломощную одиночную карту.

Whisper Large v3 Turbo выполняет маркировку говорящих или перевод?

Ни то, ни другое. Вариант turbo обучался только транскрипции, поэтому подача задачи перевода даёт непригодный результат — для перевода нужен полный чекпоинт large-v3. Метки спикеров требуют отдельного диаризатора, например pyannote, а сопоставление его реплик с грубыми временными метками сегментов Whisper — это та часть пайплайна, на которую уходит больше всего времени, чтобы сделать её правильно.

Проявляется ли разрыв параметра в виде задержки?

Нет, не за минуту аудио. Whisper Large v3 Turbo возвращает результат для 30-секундного окна существенно меньше чем за секунду на быстром размещённом эндпоинте, а Nemotron 3.5 Transcribe обрабатывает часовой файл за один проход с пропускной способностью, которую NVIDIA описывает как тысячи аудиосекунд на GPU-секунду. Заметная разница в другом: у turbo нет режима потоковой обработки, и у Nemotron 3.5 Transcribe его тоже нет, поэтому субтитрование в реальном времени недоступно для обоих.

Какой из них лучше для аудио не на английском языке?

Ни один из ответов нельзя назвать безопасным. Whisper Large v3 Turbo поддерживает 99 языков, причём качество сильно варьируется от языка к языку, а Nemotron 3.5 Transcribe — 40 языков, с заявленными производителем результатами по многоязычности и рецептом адаптации: NVIDIA сообщает, что на отложенном медицинском домене WER улучшился с 22,44% до 12,17% после дообучения на одном GPU за несколько часов. Независимого многоязычного сравнения «лицом к лицу» пока нет, поэтому для любого языка, кроме английского, ответственный шаг — слепое тестирование на собственных аудиоданных.

Что могло бы изменить этот вердикт?

Три вещи в порядке убывания вероятности. Появление временных меток на уровне слов в API транскрипции vLLM сделало бы полный путь обслуживания вариантом по умолчанию и сократило бы разрыв между тремя рецептами развёртывания. Массовый выпуск квантованных чекпоинтов сдвинул бы минимальные требования к оборудованию с 80-ГБ видеокарты в сторону потребительских устройств. А по-настоящему независимое многоязычное прямое сравнение с Whisper Large v3 Turbo заменило бы предположения измерениями.

Пока один из них не выйдет, решение не будет зависеть даже от десятой доли пункта WER. Вопрос в вашем аудио: если в нём больше одного голоса и вам нужно знать, какой голос что сказал, Nemotron 3.5 Transcribe — первая открытая модель, которая делает это за один проход без стоящего за ней пайплайна. Если нет, модель на 809M, выпущенная год назад, всё ещё справляется за сорок долларов за тысячу часов, а для модели на 34B придётся покупать слишком много оборудования ради цифры, которая меняется при смене хоста.