Nemotron 3.5 Transcribe против Voxtral 3: разрыв в два пункта, который ещё ничего не решает

Одна модель — три показателя доли ошибок в словах. Artificial Analysis указывает NVIDIA Nemotron 3.5 Transcribe на уровне 3,4% в своей таблице для нестримингового режима; в FAQ на той же странице приводится значение 2,8%. Тем временем Mistral Voxtral 3 — семейство, которое выпускается как Voxtral Small Transcribe 3 — находится на уровне 2,1%, занимая третье место в этой таблице и примерно на половину процентного пункта опережая лучший опубликованный показатель NVIDIA. Если брать 3,4%, разрыв выглядит решающим. Если брать 2,8%, он укладывается в полосу шума, которую этот индекс демонстрировал на разных точках обслуживания. А если посмотреть на субпоказатель, охватывающий разговорное аудио, рейтинг меняется на противоположный.

Два числа для одной модели, и ни одно из них не является ложью.

3,4% и 2,8% взяты из одной и той же таблицы лидеров в один и тот же день. Они различаются потому, что AA-WER v2 вычисляется на определённом срезе оценки через конкретный сервисный эндпоинт, а индекс исторически смещался почти на целый процентный пункт между провайдерами, использующими один и тот же чекпоинт. 2,8% NVIDIA — это цифра, которую компания приводит в материалах запуска; 3,4% — это то, что таблица показывает для эндпоинта, который она фактически тестировала. Ни одна из них не выдумана, и ни одну не следует вычитать из 2,1% Mistral так, как будто эти две измерены на идентичном оборудовании, с идентичной точностью и на идентичном аудио.

Это не делает разрыв бессмысленным. Это превращает его в диапазон: где-то от 0,6 до 1,3 пункта в пользу Voxtral по пакетному индексу, причём истинное значение зависит от того, чей эндпоинт вы используете. Для развёртывания в клиентской поддержке, где каждый пункт WER стоит минут ручной проверки, это стоит денег. Для продукта с заметками встреч, где человек в любом случае быстро просматривает результат, это не так.

Откуда на самом деле берётся разница

Индекс AA — это среднее по трём компонентам: VoxPopuli, Earnings-22 и AgentTalk. Первые два — это речь, читаемая вслух, и звонки о финансовых результатах: чистая, одноголосная, хорошо записанная речь, то есть аудио, с которым обе модели хорошо справляются. AgentTalk — разговорный и более шумный. На этом сегменте модель NVIDIA, по сообщениям, показывает 1,8% против 2,3% у Voxtral Small; это настоящий разворот и самое интересное число в сравнении.

• VoxPopuli и Earnings-22 — лидирует Voxtral Small; эти корпусы вознаграждают модель, настроенную на чистую длинную речь.

• AgentTalk — Nemotron лидирует: 1,8% против 2,3% на разговорном аудио, которое напоминает реальный звонок в службу поддержки или встречу с перекрывающимися голосами.

• Общий индекс — Voxtral Small на уровне 2,1%, Nemotron — между 2,8% и 3,4%. Компоненты чистой речи имеют достаточный вес, чтобы обеспечить такой порядок.

Эта закономерность согласуется с двумя архитектурами. Voxtral Small — это модель транскрипции, обученная отлично справляться с расшифровкой; чекпойнт NVIDIA — это языковая модель с речевым энкодером, приделанным спереди, а языковые модели обычно показывают себя лучше, когда аудио грязное, а контекст разговорный. Это также объясняет, почему самые крупные заявленные преимущества NVIDIA вовсе не касаются WER на чистых данных: 15,80 среднего cpWER на перекрывающейся речи с атрибуцией говорящих и WER по именованным сущностям, который падает с 12,21% до 2,20%, если предоставить список сущностей.

Таблицы поставщиков тоже не перекрываются

Mistral публикует макро-усреднённый WER FLEURS-45: 4,1% при принудительном указании языка и 4,0% при автоматическом определении для Voxtral Small Transcribe 3 — против 4,6% у его 4B-собрата Mini и 16,0% у Whisper large-v3. NVIDIA публикует Open ASR Leaderboard: в среднем 4,71% по девяти английским наборам и 4,62% по семи многоязычным наборам. Оба представляют собой испытательные стенды, запускаемые производителями, на разных корпусах с разной нормализацией, и почти идентичные значения — это совпадение, а не прямое сравнение. Любой, кто представляет 4,0 против 4,62 как преимущество в 0,6 пункта, сравнивает оценку FLEURS с оценкой Open ASR.

У показателей диаризации та же проблема, только в обратную сторону. Mistral сообщает о 18,4% конкатенированного WER с минимальной перестановкой (concatenated minimum-permutation WER) на AMI, Switchboard, CallHome и AISHELL-4. NVIDIA сообщает о среднем cpWER 15,80 на собственном наборе с несколькими говорящими. Число NVIDIA ниже, а набор другой; без общего корпуса единственное защитимое утверждение состоит в том, что обе компании полагают, будто превзошли специализированные каскадные системы, с которыми они сравнивались, и ни одна не опубликовала прогон на данных другой.

Что Voxtral 3 делает такого, чего не может Nemotron

Релиз Mistral — это семейство, а не один чекпойнт, и это семейство охватывает области, которые не охватывает единственная офлайн-модель NVIDIA.

• Языковой охват — Voxtral Small Transcribe 3 поддерживает более 50 языков, включая все 24 официальных языка ЕС; NVIDIA — 40, причём маркировка говорящих доступна для 13 из них.

• В реальном времени — Voxtral Mini Transcribe Realtime 3 обеспечивает потоковую обработку с задержкой менее 500 мс за $0,008 в минуту, с WER 7,4% при задержке 240 мс и 5,7% при 2400 мс. У NVIDIA нет потокового режима для этого чекпоинта ни за какие деньги.

• Голосовые агенты — в рамках запуска Voxtral 3 был выпущен Voice Agent SDK на базе LiveKit, объединяющий транскрипцию, модель рассуждений с вызовом инструментов и генерацию речи, с поддержкой перебивания и SIP-телефонии. Это целая продуктовая категория, которую чекпоинт NVIDIA не охватывает.

• Простота эксплуатации — поминутная тарификация, без GPU и без стека обслуживания, эндпоинты в ЕС, США и по всему миру. Для команды без инфраструктуры это разница между двухдневной интеграцией и двухмесячной.

• Контекстное смещение — 94,6% полноты распознавания ключевых фраз с контекстом против 81,4% без контекста на Earnings-22. По духу сопоставимо с механизмом списка сущностей NVIDIA, измеренным на другом корпусе.

Что делает Nemotron, чего не может Voxtral 3

Обратный список короче, но для подходящего покупателя он весомее.

• Открытые веса — OpenMDW-1.1, коммерческое использование разрешено, опубликованы в форматах BF16, FP8, NVFP4 и GGUF. Страница Mistral предлагает доступ через API и «самостоятельное развёртывание на собственной инфраструктуре» через Mistral, а на момент публикации не публикует ни весов, ни лицензии, ни контрольной точки. Если вашей команде по соблюдению требований нужно проверить артефакт, для аудита существует только один из них.

• Один час за один проход — 65 536 токенов контекста и записи длительностью до часа. Mistral не публикует данные о максимальной длине записи или размере контекстного окна для Voxtral 3, что само по себе является поводом провести тестирование, прежде чем переходить к рабочему процессу с длинными записями.

• Перевод — 31 язык в обоих направлениях с английского и на английский. На странице запуска Voxtral 3 документированы транскрипция, диаризация и контекстное смещение; она не документирует задачу перевода речи так, как это делает чекпоинт NVIDIA.

• Вывод по запросу — пять стилей транскрипции, выбираемых инструкцией, а не один формат плюс постобработка.

• Понимание аудио — ответы на вопросы и выполнение голосовых инструкций по записи. На этом чекпоинте поддерживается только английский, и это нигде не документировано в материалах запуска Voxtral 3.

Сравнение затрат даже не близко, и в этом вся суть.

Voxtral Small Transcribe 3 стоит $0,0040 за минуту, или $0,24 за час аудио. 4B Mini — $0,0035, или $0,21 за час. Хостинговый тариф NVIDIA — $2,00 за 1 000 минут, или $0,12 за час. Самостоятельный хостинг — это совсем другая арифметика: при заявленных NVIDIA 2 238 секундах аудио в секунду на одной RTX PRO 6000 Blackwell тысяча часов аудио — 3,6 млн секунд — занимает около 27 минут времени GPU. Даже при вдвое меньшей пропускной способности, а именно её, по словам NVIDIA, обеспечивает открытая интеграция, это меньше часа.

• 1 000 часов в месяц — Voxtral Small: $240, Voxtral Mini: $210, Nemotron с хостингом: $120, Nemotron при самостоятельном размещении: около $2 за GPU-время при ставке аренды $2/час плюс эксплуатационные расходы.

• 10 000 часов в месяц — $2,400, $2,100, $1,200 и около $20 за время GPU соответственно.

• Подвох — вариант с самостоятельным размещением предполагает, что у вас уже есть GPU, стек обслуживания и кто-то, кто сможет поддерживать его работу. Один RTX PRO 6000 — это капитальная покупка на пятизначную сумму; при 1 000 часов в месяц вы не успеете его амортизировать до выхода следующего поколения. При 10 000 часов он окупается за несколько месяцев.

• Другой подвох: эти показатели пропускной способности зависят от NVFP4 и черновой модели DFlash2, а такая комбинация отключает временные метки слов. Если вам нужно выравнивание, вы используете более медленную конфигурацию, чем указана в маркетинговой таблице.

Ценовой вопрос зависит от объёма и от того, может ли аудио покидать вашу сеть. Поминутная ставка Mistral достаточно низкая, чтобы большинству команд с объёмом менее нескольких сотен часов в месяц вообще не стоило думать о GPU. При объёме свыше десяти тысяч часов самостоятельный хостинг открытого чекпоинта становится более дешёвым вариантом на порядок, и единственный реальный вопрос — операционная нагрузка.

Пятидесятичасовой тест

Каждое число выше — это чужое аудио. Прежде чем закрепить любую из этих моделей за производственным контуром, расшифруйте пятьдесят часов собственных записей обеими моделями и оцените результат так, как это будут делать ваши пользователи: правильность именованных сущностей, правильность определения смены говорящих, правильность чисел и денежных сумм и правильность распознавания тех акцентов, которые есть у ваших клиентов. Индекс AA не подскажет, какая модель лучше справляется с колл-центром в Глазго, и тестовый стенд ни одного из поставщиков тоже этого не сделает.

Этот тест также показывает, где роутер полезен не только для экономии. OrcaRouter помещает последующие текстовые вызовы — суммаризацию, извлечение сущностей, маскирование конфиденциальных данных, перевод готовой расшифровки — за один ключ с наценкой 0%, с передачей цены из прайс-листа провайдера без изменений, автоматическим переключением при сбое между провайдерами и DSL маршрутизации, который позволяет направлять разные этапы к разным моделям в рамках одного рабочего процесса. Ни Nemotron 3.5 Transcribe, ни Voxtral 3 нет в каталоге OrcaRouter, поэтому роутер не помогает вызывать их; он помогает обрабатывать то, что они возвращают, не создавая для текстового слоя отдельные отношения со вторым поставщиком.

Вердикт зависит от того, какое предложение описывает вашу задачу. Если это «нам нужна точная транскрипция на пятидесяти языках, мы не хотим владеть GPU, и задержка имеет значение», Voxtral Small Transcribe 3 — лучший продукт, и 2,1% — реальная причина. Если это «нам нужны транскрипты встреч длиной в час с атрибуцией говорящих, перевод и артефакт, который сможет проверить наша команда по комплаенсу», Nemotron 3.5 Transcribe — единственный вариант в этом списке, который соответствует всем трём требованиям, и один процентный пункт WER на чистой читаемой речи — цена этого. Если это «нам нужно и то, и другое», честный ответ таков: они не заменяют друг друга, и команды, получающие максимум от этого поколения, используют один для живого аудио, а другой для архива.