Ming-3.0-audio-tiny vs Voxtral 4B TTS: один — слушатель с прикреплённым голосом, другой не продаёт ничего, кроме него

Если вы хотите генерировать речь и ничего больше, это сравнение займёт около тридцати секунд. Voxtral 4B T​TS — это модель синтеза речи: текст на входе, аудио 24 кГц на выходе, двадцать предустановленных голосов, девять языков, опубликованная таблица задержек и лицензионные условия, которые запрещают продавать результат. Ming-3.0-audio-tiny — это аудиоязыковая модель, которая заодно включает генератор речи: Talker объёмом 1,4 ГБ, прикрученный к Thinker объёмом 17,74 ГБ, с тремя именованными голосами и возможностью клонирования — и всё это в репозитории, раздел оценки которого ни разу не измеряет синтез. Если речь — это продукт, сравнение заканчивается, не успев начаться. Задокументированные сбои ИИ и инциденты с агентами, связанные с подобными релизами, собраны в Архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, степень серьёзности, уровень уверенности и флаг спорности.

Интересная версия этого вопроса — другая: вы создаёте что-то, что должно понимать аудио и отвечать голосом, и решаете, купить ли одну модель, которая умеет и то и другое, или подключить слушатель к специализированному голосу. Именно здесь тридцать секунд превращаются в полдня, потому что эти два варианта отказывают в разных местах, и только один из них даёт число, на которое можно опираться при планировании.

Лицензия решает больше, чем бенчмарк.

Начнём с того, что не сможет исправить никакая оценка. Voxtral 4B TTS распространяется по лицензии CC BY-NC 4.0 — некоммерческой — унаследованной от наборов данных эталонных голосов, на которых обучалась модель: EARS, CML-TTS, IndicVoices-R и набора арабских естественных аудиозаписей. Mistral прямо указывает это в карточке модели и направляет коммерческих пользователей к своему API. Таким образом, веса открыты для исследований и личного использования, а коммерческий путь — это тарифная сетка, а не скачивание.

Ming-3.0-audio-tiny указана как MIT в метаданных карточки и в LICENSE репозитория GitHub, на который она ссылается. Полезно знать: сам репозиторий Hugging Face не содержит файла LICENSE, а два поставляемых в комплекте референсных голоса не сопровождаются отдельными условиями. MIT здесь — действительно разрешительная лицензия, но это утверждение в метаданных, а не файл в артефакте, и закупочная служба это заметит.

• Коммерческое использование — Ming: да, MIT, веса и код. Voxtral: не из весов; санкционированный путь — API поставщика.

• Включённые голоса — Ming: три именованных, два из них поставляются в виде референсных WAV-файлов с транскриптами. Voxtral: двадцать пресетов.

• Языки — Ming: китайский и английский для модели в целом, без отдельного списка языков Talker. Voxtral: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, арабский и хинди.

• Выход — Ming: то, что выдаёт Talker; в карточке не указаны ни частота дискретизации, ни контейнер. Voxtral: 24 кГц, WAV, PCM, FLAC, MP3, AAC или Opus.

• Что вы запускаете — Ming: Thinker, 17,74 ГБ, плюс Talker на 1,4 ГБ и VAE на 1,6 ГБ на втором устройстве. Voxtral: один чекпоинт BF16 на одной GPU с не менее 16 ГБ памяти.

• Опубликованное качество речи — Ming: отсутствует. Voxtral: тоже отсутствует, но вместо этого есть таблица задержки и пропускной способности, что больше, чем ничего.

Эта последняя строка — честная сводка доказательной базы этого сравнения. Ни один из поставщиков не опубликовал оценку естественности, показатель сходства с диктором или частоту ошибок в словах на синтезированной речи. Mistral опубликовал данные о том, насколько быстро он работает; inclusionAI опубликовал данные о том, насколько хорошо модель слушает. Никто не опубликовал данных о том, насколько хорошо звучит каждый из них.

Что на самом деле говорят цифры Mistral

Таблица Voxtral — это бенчмарк обслуживания, и важно правильно её интерпретировать. Замеры выполнены на одном NVIDIA H200 с vLLM-Omni 0.18.0, входной текст из 500 символов и десятисекундный эталонный аудиофрагмент:

• Параллелизм 1 — задержка 70 мс, коэффициент реального времени 0,103, около 119 символов в секунду на GPU.

• Параллелизм 16 — 331 мс, RTF 0,237, около 879 символов в секунду.

• Параллелизм 32 — 552 мс, RTF 0,302, около 1 431 символа в секунду.

Из этого следуют две вещи. Во-первых, RTF растёт с параллелизмом — с 0,103 до 0,302, — поэтому прирост пропускной способности от батчинга реален, но сублинеен; вы получаете примерно в двенадцать раз больше символов при примерно в восемь раз большем коэффициенте реального времени. Во-вторых, 70 мс до первого аудио при параллелизме 1 — это число, которое определяет, ощущается ли голосовой агент живым, и такого числа у Ming-3.0-audio-tiny нет. Не худшего. Никакого.

Mistral называет всё это невоспроизведённым и выполненным силами поставщика, и это действительно так. Но это по крайней мере утверждение с приложенной методикой: указанное оборудование, указанная версия среды выполнения, указанная длина входных данных, указанная эталонная длина. Вы могли бы пересобрать тестовый стенд.

То, на что не может ответить логопед Мина

Крошечная модель речевого вывода описана в карточке тремя предложениями: встроенные голоса или эталонный голос, три именованных голоса, клонирование по эталонному клипу вместе с его точной транскрипцией. Руководство по развёртыванию добавляет эксплуатационную деталь — Talker работает как вторая ступень при 0,18 секунды карты, с ограничением в один выходной токен и температурой 0,0, поскольку он не генерирует текст.

Нигде в репозитории нет ни частоты дискретизации для синтезированного вывода, ни показателя естественности, ни показателя сходства с эталонным аудиофрагментом, ни утверждения о том, являются ли три голоса одним и тем же голосом в разных регистрах или действительно разными дикторами. Изображения с оценкой охватывают распознавание, аудиоинтеллект и текст. Генерация речи — единственная возможность, которую поставщик рекламирует в своих ключевых преимуществах и вообще не оценивает.

Это не скандал, а ограничение при планировании. С Voxtral можно рассчитать конфигурацию развёртывания ещё до того, как вы услышите голос: одна карта, 16 ГБ, 119 символов в секунду при параллелизме 1, а также тарифная сетка для коммерческого варианта. С Ming вы сначала подбираете оборудование (две карты, вторая с загрузкой 0,18), а затем узнаёте о голосе, только сгенерировав что-нибудь.

Когда комбинированная модель в любом случае является правильным ответом

Для Talker есть реальный сценарий применения, и дело не в «более дешёвом TTS». А в том, что одна и та же модель услышала аудио и теперь говорит о нём. Ming-3.0-audio-tiny принимает аудио вместе с текстовой инструкцией и возвращает текст или текст вместе с речью. Вопрос о записи, на который отвечают вслух, за один проход, без транскрипта, сериализуемого во вторую модель. Никакого сбоя в духе «ASR выдал „their“, а TTS прочитал это неправильно», потому что нет второй модели и нет промежуточного текста, который можно было бы испортить.

Это важно для голосового ответа на вопросы, для ассистента, который слушает комнату и отвечает, и для любого сценария, где ответ — это предложение о том, что он только что услышал. Это не важно для нарации, аудиокниг, дубляжа или любой задачи, где текст пришёл откуда-то извне — и именно для таких задач создавался Voxtral, с двадцатью голосами и девятью языками против трёх и двух у Ming.

• Непрерывность в рамках одной модели — Ming: да, один прямой проход от аудио к речи. Voxtral: на входе текст, поэтому половина, отвечающая за слушание, должна откуда-то браться.

• Разнообразие голосов — Ming: три именованных плюс клонирование. Voxtral: двадцать пресетов плюс адаптация под референсный голос.

• Потоковый режим — Ming: не предлагается; Talker — это этап, а не поток. Voxtral: в карточке заявлены потоковая и пакетная инференция, а собственное API-демо поставщика является эталонной реализацией.

• Многоязычная речь — Ming: китайский и английский. Voxtral: девять языков, с указанием диалектов.

• Структура затрат — Ming: фиксированное оборудование, две карты, без оплаты за символ. Voxtral: веса бесплатны для некоммерческого использования, API тарифицируется за символ для всего остального.

Что маршрутизатор добавляет к голосовому продукту, а что — нет

OrcaRouter не предоставляет ни то, ни другое. Ming-3.0-audio-tiny — это контрольная точка, которую вы запускаете сами, а Voxtral 4B T​TS доступна через собственный API Mistral; ни той, ни другой нет в нашем каталоге, и этот материал не является предложением хостинга для обеих. Место роутера в голосовом продукте — это текст, окружающий голос: генерация сценария, его перевод на девять языков, поддерживаемых Voxtral, составление резюме сказанного вызывающим, решение о том, нужен ли для какого-либо сегмента человек. Это обычные текстовые вызовы — более 200 текстовых моделей за одним ключом по прейскурантной цене провайдера с наценкой 0%, с автоматическим переключением при сбое, чтобы партия из десяти тысяч клипов не останавливалась из-за того, что у одного из поставщиков выдался неудачный день.

Это реальная экономия в конвейере дубляжа и погрешность округления в демо с одной моделью. Это также не затрагивает вопрос, которому посвящена эта статья, — а именно, хорош ли сам голос.

Как выбрать, не услышав заранее ни один из них

Если продукт — это речь, выбирайте Voxtral и закладывайте в бюджет стоимость лицензии: запустите некоммерческие веса для оценки, а затем переходите на API для всего, что выпускаете, по действующей ставке за символ. Вы получаете таблицу задержек, двадцать голосов, девять языков и среду выполнения, протестированную с vLLM-Omni. Вы отказываетесь от права на коммерческое самостоятельное развёртывание — и для многих команд именно это и есть настоящее решение.

Если продукт — это понимание, которое иногда говорит, выберите Ming-3.0-audio-tiny, заложите бюджет на два GPU и рассматривайте Talker как неизмеренную функцию — сначала создайте резервный вариант. Сгенерируйте двадцать предложений для всех трёх голосов, прослушайте их и сохраните возможность позже заменить это на выделенную модель TTS. Архитектура чисто поддерживает такую замену, потому что Thinker всё равно возвращает текст; Talker — это надстройка, а не несущая основа.

И в обоих случаях запишите, что вы измеряли. Ни один из поставщиков этого не сделал, и первая команда, которая опубликует показатель естественности или сходства для любой из этих моделей, окажет услугу всей отрасли — включая самих поставщиков.

Тридцать второй ответ, исправленный

Краткая версия в начале этого материала говорила, что сравнение завершается за тридцать секунд. Оно завершается за тридцать секунд, если речь — это ваш продукт и вы готовы платить за лицензию. Это занимает больше времени, если вы создаёте нечто, что сначала слушает, а затем говорит, потому что эти два варианта не взаимозаменяемы: один — это голос без ушей, другой — уши с голосом, который никогда не оценивали. Тридцать секунд подводят вас к вопросу. Остальная часть материала — это место, где вы выясняете, какой из этих вариантов вам на самом деле нужен.