Nemotron 3.5 Transcribe заменяет конвейер из пяти моделей. В открытой сборке всё ещё есть пробелы.

45-минутный звонок совета директоров с шестью участниками раньше требовал пять отдельных компонентов: детектор голосовой активности, модель ASR, диаризатор, модуль принудительного выравнивания и языковую модель, которая приводила бы сырой вывод в вид, читаемый человеком. NVIDIA Nemotron 3.5 Transcribe, выпущенный 28 октября 2026 года под лицензией OpenMDW-1.1, — это попытка NVIDIA свернуть этот стек в один прямой проход. Что делает релиз достойным второго прочтения, так это не само сворачивание, а список того, чего контур обслуживания с открытым исходным кодом пока ещё не умеет делать.

Чекпоинт представляет собой языковую модель с речевыми возможностями, а не ASR-модель с прикрученными дополнительными функциями.Nemotron 3.5 Lightning 30B-A3BЕго 34 млрд параметров в основном составляют гибридный бэкбон Mamba–Transformer со смесью экспертов; около 4,3 млрд параметров активны на каждый токен, включая примерно 800 млн параметров аудиоэнкодера. В названии репозитория по-прежнему указано 30B-A4B — это учитывает декодер, а не собранную систему. Собственная матрица поддержки NVIDIA, таблицы бенчмарков и лицензия размещены на карточке модели, и эта карточка — самый полезный документ в релизе.

Пять задач, одна контрольная точка

Суть в том, что промпт выбирает транскрипт. NVIDIA обучает пять стилей вывода в одних и тех же весах, а вызывающая сторона выбирает один из них с помощью инструкций на естественном языке, а не отдельной модели или скрипта постобработки:

• Дословно — с сохранением речевых сбоев, ложных начал и повторов, для юридических и комплаенс-записей.

• Письменная форма — исправленные пунктуация и регистр, для субтитров и удобочитаемых протоколов.

• Контекстный — список сущностей, переданный в промпте, определяет написание имён, названий продуктов и жаргонных выражений.

• С атрибуцией говорящего — каждый сегмент содержит тег говорящего, формируемый на этапе ASR.

• Rich — стиль «всё включено», который объединяет метки говорящих, пунктуацию, регистр и форматирование.

Помимо транскрипции, тот же чекпоинт выполняет перевод речи в обоих направлениях между английским и 31 языком, идентификацию языка речи и понимание аудио — ответы на вопросы и выполнение голосовых инструкций по записи. Он обрабатывает записи длительностью до одного часа в контексте на 65 536 токенов, используя внутренние чанки декодирования по 30 секунд, которые являются инженерной деталью, а не ограничением записи. Временные метки слов получаются от лёгкого CTC-адаптера после декодирования.

Откуда на самом деле берутся метки говорящих

Большинство заявлений «одна модель делает всё» рассыпаются на диаризации, потому что идентичность говорящего — это задача кластеризации, а транскрипция — задача последовательности, и обычно эти две задачи решаются отдельно. Ответ NVIDIA — параллельный экспертный энкодер: замороженная модель Nemotron 3 Diarization создаёт представления речевой активности, которые внедряются в выход речевого энкодера, так что языковой бэкбон видит, кто говорит, пока решает, что было сказано. Сама LLM не дообучается под эту задачу.

Именно благодаря такой архитектуре компания может заявлять об одном проходе вместо каскада. NVIDIA сообщает среднюю объединённую минимальную по перестановкам частоту ошибок в словах (WER) 15,80 на своём наборе для оценки с несколькими говорящими против 16,83 у лучшего специализированного каскада ASR и диаризации, и описывает результат как первую речевую LLM, превзошедшую систему такого типа в транскрипции с атрибуцией говорящих при перекрывающейся речи. Это вендорские цифры из набора для оценки, построенного вендором, и ни одна независимая лаборатория пока их не воспроизвела. Направление стоит считать правдоподобным, а величину преимущества — предварительной.

Числа с прикреплёнными метками

Видеокарта NVIDIA сообщает среднюю частоту ошибок в словах 4,71% по девяти общедоступным англоязычным тестовым наборам Open ASR Leaderboard. Разброс вокруг этого среднего значения широк, и о нём стоит знать, прежде чем его приводить: LibriSpeech test-clean находится на уровне 1,09%, а SPGISpeech — 1,91%, тогда как AMI — 7,81%, а URGENT24 — 11,00%. Многоязычный рейтинг в среднем даёт 4,62% по семи языкам, причём немецкий — 2,81%, а хинди — 9,15% по собственной метрике слов вне словаря.

В прессе, освещавшей запуск, также приводилась цифра 5,33% для английской доски. Это другой агрегат, рассчитанный по другому составу набора, а не исправление, и эти два показателя никогда не следует помещать в одну строку. Цифра 4,71% на карточке — это то число, на которое следует ссылаться, если вы ссылаетесь на карточку.

Утверждение о контекстном промптинге — самое конкретное в релизе. На ContextASR-Bench общий WER снижается с 3,33% без списка сущностей до 1,71% с детализированным списком; WER по именованным сущностям падает с 12,21% до 2,20%, а доля ложноотрицательных результатов по именованным сущностям — с 14,99% до 1,32%. Это реальный, проверяемый механизм — дайте модели названия ваших продуктов, и она перестанет угадывать их, — даже если абсолютные показатели получены с помощью тестового стенда NVIDIA.

Независимая картина менее лестна и более полезна. Artificial Analysis указывает Nemotron 3.5 Transcribe с показателем 3,4% в своей таблице AA-WER v2 для нестримингового режима, где модель делит примерно 20–23-е места, тогда как в собственном FAQ показатель модели описывается как 2,8%. Оба числа относятся к одной и той же таблице на одной и той же странице. Разрыв объясняется различием объекта измерения — эндпоинт, квантизация или срез оценки — и примерно равен ширине шума, который этот индекс демонстрировал в разных конфигурациях обслуживания. На момент написания таблица также указывает цену хостинга $2.00 за 1 000 минут аудио, что составляет около $0.12 в час.

Заявление о пропускной способности — это то, что будет важно для операционных команд: 2 238 секунд аудио обрабатывается за секунду на одном GPU RTX PRO 6000 Blackwell с использованием чекпойнта NVFP4 и черновой модели DFlash2. Собственная оговорка NVIDIA состоит в том, что оптимизированный стек обслуживания не входит в открытый релиз, и ожидается, что поставляемая интеграция для разработки будет работать примерно в два раза медленнее. Прежде чем планировать мощность, уменьшите это число вдвое.

Где заканчивается открытая сборка

Это та часть, которую освещение запуска пропускает. Чекпоинт работоспособен; интеграции вокруг него неравномерны, и карточка модели прямо об этом говорит.

• Без потоковой обработки — «Это офлайн-модель», — указано на карточке, и добавляется, что внутреннее разбиение аудио на фрагменты не делает её сервисом потоковой обработки в реальном времени. Каждая секунда записи должна существовать до начала декодирования.

• Интеграция SGLang-Omni предназначена только для транскрипции — она выполняет транскрипцию целых файлов, но, согласно карточке, не включает временные метки слов, вывод с указанием говорящего, перевод или спекулятивное декодирование. Путь через vLLM поддерживает фиксацию временных меток. Выбор среды выполнения определяет, какие функции вы получите.

• Метки времени и DFlash2 взаимоисключающи — метки времени недоступны, когда используется черновая модель спекулятивного декодирования. Быстрый режим или выравнивание, но не оба одновременно, в поставляемой конфигурации.

• Понимание аудио работает только на английском — карточка предупреждает, что рассуждения, выполнение голосовых инструкций и ответы на аудиовопросы «могут работать ненадёжно на других языках», хотя транскрипция охватывает 40.

• Он может не остановиться — карточка рекомендует защитный механизм очистки, поскольку модель иногда может зацикливаться, не завершая работу. Это эксплуатационное требование, а не просто примечание.

Один час — это жёсткий практический предел: работа с объёмом свыше 65 536 токенов или с часовой записью «не гарантирует обобщения на другие случаи». Если допрос длится весь день, файл придётся разделить, а говорящих сопоставлять самостоятельно.

Атрибуция говорящих тоже уже, чем обещает заголовок о 40 языках: на матрице NVIDIA 13 из 40 языков отмечены как поддерживающие многодикторный вывод, а обучающие смеси охватывают до восьми говорящих. Если ваша встреча проходит на турецком или вьетнамском, вы можете хорошо её транскрибировать и всё равно не получить метки говорящих.

Развёртывание и его стоимость

Веса доступны для коммерческого и некоммерческого использования по лицензии OpenMDW-1.1, опубликованы в форматах BF16, FP8, NVFP4 и GGUF, с эталонной конфигурацией на одном H100 80 GB и поддержкой на компонентах Ampere, Hopper, Blackwell и Lovelace. Также есть контейнер NIM для команд, которые предпочли бы не собирать стек обслуживания самостоятельно, и NeMo Speech для дообучения — NVIDIA сообщает об адаптации модели к 17 задачам при затратах от 0,5 до 2,3 GPU-часов на задачу на одном GPU, и это как раз тот показатель, который делает адаптацию к предметной области реалистичной, а не теоретической.

Экономика четко разделяется на два варианта. При размещении у провайдера указанная в листинге Artificial Analysis цена $2.00 за 1 000 минут — это около $0.12 за час аудио: дешевле большинства управляемых сервисов транскрипции и примерно треть типичного счета за облачный STT. При самостоятельном размещении предельная стоимость — это время GPU: при пропускной способности 2 238 к 1 у вендора тысяча часов аудио требует менее получаса вычислений на подходящей карте, так что вопрос перестает быть вопросом цены и становится вопросом о том, владеете ли вы оборудованием или арендуете его и разрешено ли аудио покидать вашу сеть. Оба пути законны; но на электронной таблице они совсем не близки друг к другу.

Та половина работы, которую не выполняет чекпоинт

В результате транскрипции получается текст, и именно на тексте приходится основная часть затрат на последующих этапах: составление краткого содержания звонка, извлечение задач, маскирование персональных данных, перевод англоязычного результата для регионального офиса и проверка того, что метки говорящих сохранились при передаче. Это типовые задачи текстовых моделей, и им не обязательно выполняться на той же машине, что и ASR.

Именно здесь роутер оправдывает своё место. OrcaRouter ставит эти последующие вызовы за один ключ с наценкой 0 % — цена из прайс-листа провайдера передаётся без изменений, поэтому изменение цены поставщика применяется в тот же день — с автоматическим переключением при сбоях, когда один провайдер деградирует, и DSL маршрутизации, который может направлять суммаризацию, маскирование и перевод к разным моделям в рамках одного рабочего процесса. Чтобы быть точным: NVIDIA Nemotron 3.5 Transcribe отсутствует в каталоге OrcaRouter, и ничто здесь не подразумевает обратного. Мы маршрутизируем текстовый слой после появления транскрипта — это тот слой, который большинство команд недооценивают при планировании бюджета конвейера транскрипции.

Если вы оцениваете саму модель, честный путь — сначала размещённый эндпоинт, а затем собственное оборудование. Показатели самой карты расходятся более чем на пункт между данными производителя и независимыми измерениями, и единственное аудио, которое решает вопрос, — ваше.

Что могло бы изменить рекомендацию

В следующем квартале стоит следить за тремя вещами. Во-первых, догонит ли стек обслуживания с открытым исходным кодом оптимизированный путь NIM: пока это не произойдет, заявленная пропускная способность остается показателем только для хостингового варианта, а открытый релиз дает примерно половину от нее. Во-вторых, воспроизведет ли кто-нибудь за пределами NVIDIA показатель 15.80 cpWER и шестикратное улучшение по именованным сущностям: оба утверждения звучат серьезно, но сейчас опираются на тестовый стенд одной лаборатории. В-третьих, выйдет ли понимание аудио за пределы английского, поскольку именно эта возможность — задавать вопросы к записи, а не просто транскрибировать ее, — является тем, чего не предлагает ни один конкурирующий открытый чекпоинт такого размера.

Пока что практический вывод узок и прозаичен. Если вам нужна часовая многоязычная транскрипция с разметкой говорящих и вы можете согласиться на пакетный режим работы, этот чекпоинт — самый сильный из доступных открытых вариантов, а механизм контекстного промптинга действительно является его отличительной особенностью. Если вам нужны живые субтитры, потоковый агент или выравнивание на уровне слов вместе с максимально быстрым декодированием, релиз пока не покрывает эти потребности, и продукты, которые это умеют, по-прежнему остаются теми, к кому стоит обращаться.