Nemotron 3.5 Transcribe против Granite Speech 5.0 470M TurboCTC: в 64 раза больше параметров, в 43 раза медленнее

Самый полезный объект в этом сравнении — файл размером 279 мегабайт. Это Q4_K_M-квантование Granite Speech 5.0 470M TurboCTC, распознавателя речи IBM на основе только энкодера, и он будет транскрибировать английский на CPU ноутбука без GPU, без сколько-нибудь полноценного окружения Python и без сервисного контракта. Nemotron 3.5 Transcribe, которую NVIDIA опубликовала в виде открытых весов 28 октября 2026 года, — это языковая модель с речевым расширением на 30 миллиардов параметров, которой нужен ускоритель класса дата-центра и примерно шестьдесят гигабайт весов BF16. Модель NVIDIA в шестьдесят четыре раза больше и, по показателям пропускной способности, которые публикует каждый производитель, примерно в сорок три раза медленнее в расчёте на GPU-секунду. Кроме того, только она из этих двух может сказать, кто говорил.

Ни один из этих фактов не является решающим. Они описывают две разные машины, которые случайно измеряются в одном и том же рейтинге, и весь вопрос в том, нужен ли вашей рабочей нагрузке запас или только слова.

Неавторегрессионная CTC-модель против генеративной речевой LLM

Granite Speech 5.0 470M TurboCTC — это шестнадцать блоков Conformer с выходным слоем BPE на 16 384 единицы; модель обучена с CTC-целью и декодируется жадно. В ней нет языковой модели, проектора и цикла генерации: на вход подаётся аудио, а на выходе получается синхронная с кадрами последовательность меток, прореженная со 100 Гц до 12,5 Гц. Именно благодаря такой конструкции она быстрая, компактная и не способна делать ничего, что не покрывается набором меток. У неё нет понятия промпта, нет стиля вывода, нет цели перевода и нет поля диктора.

Nemotron 3.5 Transcribe имеет противоположную архитектуру, и эта разница не объясняется сменой поколений. Речевой кодировщик подаёт данные в замороженную модель Nemotron 3 Diarization, сигнал активности говорящего которой внедряется в кодировщик через Parallel Expert Encoder, а гибридный декодер Mamba–Transformer со смесью экспертов формирует расшифровку в виде текста, при этом на каждый токен активно примерно 4 млрд из его 30 млрд параметров. Поскольку выходные данные генерируются, а не классифицируются, модели можно задавать инструкции: дословная или письменная форма, список ожидаемых сущностей, целевой язык перевода, вывод с атрибуцией говорящего или устный ответ на вопрос об аудио.

• Параметры — всего около 30B, примерно 4B активных на токен против 470M у модели только с энкодером.

• Декодирование — авторегрессионная генерация на 30B MoE против жадного неавторегрессионного CTC.

• Лицензия — OpenMDW-1.1 vs Apache-2.0 (более разрешительная из двух; отдельный -nc аналог от IBM — CC-BY-NC-SA-4.0).

• Занимаемое место — примерно 60 ГБ в предлагаемых сборках BF16, NVFP4 и GGUF против 279 МБ при Q4_K_M в GGUF-порте от сообщества.

• Языки — 40 транскрибировано, 31 переведён против 7 (английский, французский, немецкий, испанский, португальский, итальянский, японский) после многоязычного обновления 21 октября 2026 года.

• Говорящие — до 8, с указанием говорящего, на 13 языках, в отличие от отсутствия; для диаризации требуется отдельная модель.

• Временные метки — на уровне слов с помощью постдекодирующего CTC-адаптера по сравнению с его отсутствием; позиции пиков CTC не являются границами слов.

• Стриминг — нет; только записанное аудио или ничего.

Разрыв в точности меньше, чем разрыв в размере, а средние значения не совпадают.

IBM сообщает о средней частоте ошибок в словах 5,51% по девяти публичным английским тестовым наборам для мультиязычного релиза TurboCTC — улучшение по сравнению с 5,78% на момент августовского запуска. NVIDIA сообщает средний WER по английскому 5,33% в Hugging Face Open ASR Leaderboard и 4,71% по девяти публичным тестовым наборам на собственной исследовательской странице. Оба показателя приведены производителями, и эти два средних значения относятся не к одной и той же смеси: девять наборов IBM и запись NVIDIA в лидерборде по восьми наборам различаются по составу и нормализации, а отдельный показатель по девяти наборам на исследовательской странице, в свою очередь, отличается от собственной записи NVIDIA в лидерборде. Не вычитайте их и не называйте разницу разрывом в качестве. Корректное утверждение более узкое: в публичном лидерборде для английской короткой речи эти две модели отстоят друг от друга на пару десятых процентного пункта, что является примечательным результатом для модели в 64 раза меньше и предупреждением о том, какая доля среднего значения в лидерборде приходится на чистую начитанную речь, похожую на LibriSpeech.

Частота ошибок в словах также скрывает то, что на самом деле их разделяет. Granite — это классификатор: он выдаёт наиболее вероятную последовательность меток, а там, где акустика неоднозначна, выдаёт что-то правдоподобное. Nemotron генерирует текст с лежащей в основе языковой моделью, и именно поэтому его утверждение о контекстном промптинге — о шестикратном сокращении ошибок в именованных сущностях на ContextASR-Bench при наличии списка сущностей в промпте — вообще возможно. На транскрипте звонка отдела продаж, полном кодов продуктов, у маленькой модели нет механизма для этого смещения, а у большой есть.

Пропускная способность: 19 870 RTFx против 462

Запись в таблице лидеров Hugging Face для Nemotron 3.5 Transcribe имеет RTFx 462,09 — это означает, что модель обрабатывает примерно 462 секунды аудио за секунду вычислений на стенде таблицы лидеров. В октябрьском обновлении IBM сообщается о 19 870 RTFx для TurboCTC на одном H200 — рост с примерно 12 600 на момент запуска после оптимизации повторного использования графа для одного блока. Это сорокатрёхкратная разница, и, в отличие от показателей WER, она по крайней мере измерена на двух конкурирующих ускорителях, а не на двух разных тестовых смесях.

Собственная цифра NVIDIA в заголовке — это число иного рода: до 2 238 секунд аудио на секунду на одном RTX PRO 6000 Blackwell с использованием чекпойнта NVFP4 и черновой модели DFlash2. Она выше, чем 462 в таблице лидеров, потому что это другое измерение — 30-секундные фрагменты при высокой параллельности, как указано в собственном посте NVIDIA на Hugging Face, с включённым спекулятивным декодированием и квантизацией, которую всё ещё описывали как предстоящую. Если сопоставить эти два показателя, честный вывод таков: пропускная способность Nemotron зависит от конфигурации вплоть до различий на порядок, тогда как у TurboCTC она является свойством архитектуры. Модель без авторегрессионного цикла не может быть медленной так, как это возможно для 30B MoE.

Что можно получить с 470 миллионами параметров, чего нельзя получить с 30 миллиардами

Первый ответ — это конфигурация развёртывания. GGUF размером 279 МБ работает на CPU, на граничном устройстве, сопоставимом с телефоном, внутри настольного приложения, а также на плате класса Raspberry Pi — если у вас хватит терпения. Сейчас существуют community-порты GGUF и семейство сред выполнения на C++, которые относятся к модели как к полноценному движку. Nemotron 3.5 Transcribe работает под vLLM с плагином NeMo Speech или SGLang-Omni — на ускорителе на 80 ГБ в BF16 или на карте Blackwell в NVFP4. Это не две точки на одном спектре; это разные категории закупок.

Второе — это нижняя граница задержки. CTC-модель возвращает транскрипцию за один прямой проход. Генеративная модель возвращает по одному токену за раз, и её фактическая задержка на коротком файле определяется главным образом циклом декодирования, а не аудио. Для пакетной обработки архивов это не имеет значения. Для всего интерактивного — поля диктовки, монитора качества связи, инструмента для субтитров, который должен успевать за перемоткой, — маленькая модель является единственной из двух, которая успевает завершиться прежде, чем пользователь это заметит.

Третье — ясность в вопросах лицензирования. Apache-2.0 — это лицензия, которую юридические отделы уже одобрили; OpenMDW-1.1 настолько новая, что некоторые из них захотят её проверить. Если вашим препятствием является форма закупки, а не бенчмарк, модель IBM пройдёт её быстрее.

Что вам дают 30 миллиардов параметров, чего не могут 470 миллионов

Сначала — и со всей определённостью — о говорящих. В TurboCTC вообще нет представления говорящих. Чтобы получить транскрипты с атрибуцией говорящих, нужна модель диаризации перед TurboCTC, этап объединения и бюджет ошибок для объединения — стандартный каскад. Nemotron 3.5 Transcribe встраивает замороженную модель диаризации в энкодер и напрямую выдаёт метки говорящих — до восьми — на 13 языках, с таймингами слов, привязанными к говорящим, из CTC-адаптера, применяемого после декодирования. Сообщаемый NVIDIA показатель ошибок диаризации составляет 18,26% на 21 языке в бенчмарке David AI — лучший результат среди 14 систем; ближайший конкурент — её собственная модель Nemotron 3 Diarization с 18,38%. Это цифры производителя, полученные на стенде производителя, и независимо они не воспроизводились. Подразумеваемое этими данными сравнение с каскадом — одна модель против трёх — вовсе не является утверждением о бенчмарке, это описание схемы развёртывания.

Языки и перевод — во вторую очередь. После октябрьского обновления TurboCTC поддерживает семь языков; Nemotron — сорок языков для транскрипции и тридцать один для перевода на английский или с английского. Если ваша очередь европейская и одноязычная, семи достаточно. Если нет, сравнение на этом заканчивается.

Третье — дообучение. NVIDIA сообщает об адаптации на одном GPU за 0,5–2,3 GPU-часа на задачу, а также о примере из медицинской речи, где дообучение снизило частоту ошибок в словах с 30,8% до 11,8% на 3 619 клипах, при этом на отложенных дикторах показатель улучшился с 22,44% до 12,17%. TurboCTC от IBM тоже поддаётся дообучению — она доступна под лицензией Apache-2.0, — но вам придётся дообучать CTC-голову на гораздо меньшей модели, и потолок того, что может дать дополнительный контекст, ниже, потому что нет языковой модели, которую можно было бы склонить на нужную сторону.

Модель затрат, которая это решает

Экономика TurboCTC почти скучна. Один H200, обслуживающий 19 870 RTFx, насыщает очень большую очередь; квантованная сборка на 279 МБ на обычных CPU стоит почти ничего за час аудио, а электроэнергия — это основная статья расходов. Нигде в стеке нет поминутного счётчика.

Экономика Nemotron устроена так же, только в другом масштабе: нет поминутной тарификации, зато гораздо более мощный ускоритель и гораздо более низкий потолок пропускной способности. Одна карта Blackwell, обрабатывающая 2 238 секунд аудио в секунду, покрывает 100 часов менее чем за три минуты при высокой параллельной нагрузке и существенно меньше — на часовых встречах с перекрытием.

Очередь на 20 часов в месяц — TurboCTC на CPU фактически бесплатен; Nemotron требует арендованного или собственного ускорителя, который большую часть месяца будет простаивать.

• Архив объёмом 2 000 часов в месяц без требований к дикторам — TurboCTC на одном GPU или небольшой парк CPU — это значительно более дешёвая и быстрая конфигурация.

• Архив встреч с шестью участниками объёмом 2 000 часов в месяц — TurboCTC плюс диаризатор плюс слой слияния; сравнение с Nemotron проводилось на одной карте. Это единственная конфигурация, в которой цена большой модели оправдана, и даже здесь каскад дешевле по аппаратному обеспечению.

• Всё, что подпадает под ограничение конфиденциальности, запрещающее загрузку аудио, — оба варианта можно развернуть на собственных серверах, поэтому ограничение выполняется в любом случае, а решение сводится к дикторам и языкам.

Часть конвейера, отвечающая за постобработку, — это место, где слой маршрутизации оправдывает себя независимо от того, какой распознаватель вы выбрали. Транскрипты проходят суммаризацию, тегирование и маршрутизацию, и OrcaRouter объединяет более 200 текстовых и мультимодальных моделей за одним ключом с передачей прайс-листовых цен провайдеров без наценки — 0%, автоматическим переключением при отказе, а также DSL маршрутизации, позволяющим направлять один класс транскриптов в дешёвый суммаризатор, а другой — в более мощную модель без второй интеграции. В этом каталоге не обслуживаются ни Nemotron 3.5 Transcribe, ни Granite Speech 5.0 470M TurboCTC — мы не размещаем системы распознавания речи — поэтому выбор для распознавания речи остаётся отдельным контрактом, а переносимым становится только слой над ним.

Выбирайте по характеру задачи, а не по таблице лидеров.

Если задача — «превратить много чистого, преимущественно английского аудио в текст как можно дешевле и быстрее», то Granite Speech 5.0 470M TurboCTC побеждает, и преимущество здесь очевидно: это модель размером 279 МБ под лицензией Apache, которая обгоняет 30B-систему более чем в сорок раз и почти ничего не теряет на среднем публичном показателе для английского. Каскад, который приходится строить для работы со спикерами, — такова цена этой эффективности; но если спикеры вам никогда не нужны, вы за это не платите.

Если задача — «создать одну атрибутированную, структурированную расшифровку с временными метками из сложной записи на одном из сорока языков», то Nemotron 3.5 Transcribe — единственная из двух, кто на это пытается это сделать, а показатели диаризации от производителя — пока не воспроизведённые независимо — говорят о том, что она справляется с этим лучше, чем каскады, которые заменяет. Издержки по пропускной способности реальны, затраты на оборудование реальны, и для нагрузки с большим объёмом совещаний ни то, ни другое не является запредельным.

Ошибка, которой нужно избежать, — воспринимать это как состязание поколений. Модель CTC с 470M параметров — не устаревшая версия речевой LLM с 30B параметров; это другой инструмент, который просто показывает схожие результаты на бенчмарке, построенном преимущественно из чистой начитанной речи. Следующий релиз не сделает её устаревшей. Ваша собственная худшая запись подскажет, какая из них вам была нужна.