Phonon vs Whisper Large v3 Turbo: две половины офлайн-голосового цикла

Сравнение Phonon 31M с Whisper Large v3 Turbo — это категориальная ошибка, и сейчас это самая полезная категориальная ошибка в речевой инженерии. Phonon 31M, выпущенный Gradium 20 октября 2026 года, превращает текст в аудио. Whisper Large v3 Turbo, выпущенный OpenAI 1 октября 2024 года, превращает аудио в текст. Они не конкурируют. Это два конца одной и той же петли, и оба они достаточно малы и быстры, чтобы работать на оборудовании, которым вы владеете.

Есть вторая причина, по которой это сопоставление сбивает людей с толку. Обе публикуют число под названием WER, и эти два числа означают противоположные вещи. Для Whisper word error rate показывает, как часто транскрипция оказывается неверной. Для Phonon он показывает, как часто транскрибатор неверно слышит речь, сгенерированную моделью. Более низкое число лучше в обоих случаях, но это не одно и то же измерение, и объединение их в один столбец — так и появляются некорректные сравнения.

Один слушает, другой говорит.

Whisper Large v3 Turbo — модель распознавания речи. Она сохраняет полный энкодер Whisper large-v3 и сокращает декодер с 32 слоёв до четырёх, что даёт 809 млн параметров вместо 1,55 млрд. Она поддерживает 99 языков, автоматически определяет язык и не обучена переводу. В документации OpenAI она описывается как примерно в восемь раз быстрее большой модели при небольшом снижении точности; компания не опубликовала точный коэффициент в карточке модели, поэтому любые точные цифры скорости — это сторонние тесты.

Phonon 31M — это модель синтеза речи. Она принимает текст и голос и создаёт монофоническое аудио с частотой дискретизации 24 кГц с помощью трансформера с flow-matching по латентам Mimi. В ней 31 миллион параметров без учёта токенизатора, она поставляется в виде q8 GGUF-файла размером 64,5 МБ и распространяется под лицензией Apache 2.0. У неё полностью отсутствует способность слушать — она не может транскрибировать, разделять речь по говорящим или определять язык.

Единственное, что их объединяет, — это цель дизайна: оба созданы для работы без дата-центра. Whisper Turbo — быстрый и дешёвый представитель семейства, ставшего стандартной открытой базовой моделью ASR. Phonon — попытка сделать синтезирующую половину столь же дешёвой.

Те же три буквы, два разных измерения

Whisper Large v3 Turbo сообщает о среднем WER 7,83 на English Open ASR Leaderboard против 7,44 у полной large-v3. На LibriSpeech test-clean эти показатели составляют около 2,0%. Эти числа описывают, как часто модель записывает не то слово, когда слышит чистую речь.

Phonon 31M сообщает о 0,51% на Seed-TTS и 1,5% на более сложном наборе в своей карточке модели или 1,70% на том же сложном наборе в блоге о релизе. Эти числа описывают, как часто whisper-large-v3 записывает неверное слово, когда слышит выходные данные Phonon. Обратите внимание, что оценщиком выступает сам Whisper. Методология Gradium неизбежно циклична: чтобы измерить модель TTS, нужна модель ASR, и собственный уровень ошибок модели ASR задаёт нижнюю границу того, насколько хорошей может выглядеть TTS.

Именно поэтому TTS WER 0,5% и ASR WER 7,8% несопоставимы, и поэтому TTS WER ниже примерно 1% следует понимать как «у транскрибатора не возникло проблем», а не «речь почти идеальна». Живые слушатели и автоматические системы оценки расходятся во мнениях, особенно в отношении просодии, которую WER не улавливает.

• Задача — синтез речи для Phonon 31M; распознавание речи для Whisper Large v3 Turbo.

• Параметры — 31M без учёта токенизатора для Phonon 31M; 809M для Whisper Large v3 Turbo.

• Языки — только английский для Phonon 31M; 99 для Whisper Large v3 Turbo.

• Выходные данные — монофоническое аудио 24 кГц для Phonon 31M; текст с временными метками для Whisper Large v3 Turbo.

• Заявленная точность — WER 0,51% на Seed-TTS для Phonon 31M по результатам измерения Whisper; средний WER по английскому языку 7,83 для Whisper Large v3 Turbo в Open ASR Leaderboard.

• Лицензия — Apache 2.0 для Phonon 31M; MIT для Whisper Large v3 Turbo.

Расчёт размера офлайн-голосового цикла

Если цель — голосовой помощник, работающий без подключения к сети, то в спецификации компонентов три модели, а не две. Распознавание речи, генерация языка и синтез речи.

Whisper Large v3 Turbo содержит 809 миллионов параметров — около 1,6 ГБ весов при 16-битной точности. При выводе на GPU обычно резервируется несколько гигабайт рабочей памяти для активаций и батчинга; квантованные сборки GGUF ещё больше сокращают занимаемый объём ценой небольшого снижения точности. В форме Turbo это не модель телефонного класса, хотя меньшие варианты Whisper и дистиллированные версии таковыми являются.

Phonon 31M занимает 64,5 МБ. Это примерно одна двадцать пятая размера файла весов Whisper Turbo, и он работает на одном ядре CPU, Neural Engine iPhone или на Raspberry Pi.

Языковая модель в середине — это переменная. Instruct-модель от 1B до 4B, квантованная до четырёх бит, занимает пару гигабайт и обычно выбирается для офлайн-ассистента. Полный цикл — Whisper Turbo, небольшая instruct-модель, Phonon — укладывается в диапазон, который может позволить себе ноутбук или высококлассный телефон, причём ASR — самый тяжёлый компонент.

Эта асимметрия — практический вывод. Та половина цикла, о которой люди беспокоятся, — синтез, часть, которая должна звучать по-человечески, — теперь дешёвая половина. Распознавание — дорогая.

Бюджет задержки

Показатели Phonon от производителя указывают время до первого аудио в 5–7 мс на ядре MacBook Air M5 и 9 мс на iPhone 16 Pro, а пропускную способность — от 11,6 до 41 раза быстрее реального времени, в зависимости от того, какой документ Gradium вы читаете. Скорость Whisper Turbo сильно зависит от оборудования и бэкенда: OpenAI описывает его как примерно в восемь раз быстрее large-v3, а бенчмарки сообщества с квантованными сборками сообщают о десятках раз быстрее реального времени на Apple silicon и гораздо более медленных показателях на CPU.

В цикле диалога доминирует этап распознавания. Трёхсекундная фраза транскрибируется за несколько сотен миллисекунд на GPU ноутбука и почти в реальном времени на слабом CPU. По сравнению с этим этап синтеза практически мгновенен. Команды, которые сначала оптимизируют TTS, оптимизируют не тот конец.

Охват языков — это жёсткое ограничение.

Whisper поддерживает 99 языков. Phonon 31M — только один, а в карточке Gradium предупреждают, что другие языки произносятся неправильно. Поэтому многоязычного голосового ассистента из этой пары не построить: распознавание японского работает, а синтез — нет.

Ответ Gradium — это семейство Phonon 40M, охватывающее английский, французский, немецкий, испанский и португальский. Это пять языков, а не 99, и чекпоинты 40M распространяются под CC BY-NC 4.0 — их нельзя использовать в коммерческом продукте без отдельного соглашения. Многоязычный разрыв между открытым ASR и открытым TTS — один из самых широких в стеке, и ничто из выпущенного в этом месяце его не закрывает.

Где они встречаются в реальном продукте

Естественное применение — инструмент для транскрипции и воспроизведения: запишите встречу или голосовую заметку, транскрибируйте её с помощью Whisper, а затем прочитайте сводку вслух с помощью Phonon. Оба работают локально, оба распространяются по разрешительным лицензиям, и ни один не отправляет аудио третьим лицам. Инструмент для медицинской диктовки, полевой диктофон, приложение доступности для глухих и слабослышащих пользователей или офлайн-игрушка для изучения языка — всё это укладывается в ту же схему.

Второе приложение — голосовой агент с локальным первым проходом и облачным резервом. Whisper транскрибирует на устройстве; если уверенность низкая, аудио отправляется в облачный ASR. Языковая модель составляет черновик ответа; если нужна более крупная модель, запрос маршрутизируется наружу. Phonon озвучивает результат; если устройство троттлится по температуре, включается облачный TTS. На каждом этапе есть локальный и удалённый вариант, и продукт решает, какой использовать для каждого запроса.

Текстовый слой между ними

Whisper создаёт транскрипт, Phonon потребляет сценарий, и что-то должно превратить одно в другое. Это «что-то» — языковая модель, и это единственная часть цикла, которая выигрывает от того, что она большая.

OrcaRouter не хостит ни одну из этих моделей — Whisper Large v3 Turbo работает через ваш собственный стек инференса, а Phonon работает на устройстве — поэтому ни одна из них не фигурирует в нашем каталоге. Платформа покрывает середину: один API для более чем 200 языковых моделей по прайс-листовой цене провайдера с 0% наценкой, автоматическое переключение между провайдерами при сбоях, а также DSL маршрутизации, который может направлять дешёвую модель на рутинные запросы, а более сильную — на сложные. В офлайн-ориентированной архитектуре этот слой — та часть, которая остаётся онлайн.

Что именно сравнивать

Если вы выбираете речевую модель, сравните Phonon с другими системами TTS, а Whisper Turbo — с другими системами ASR. Если вы создаёте продукт, сравните циклы: общий объём памяти, общую задержку, общее количество лицензий, общее количество языков. По этому показателю пара согласована для работы только на английском, в офлайн-режиме и с разрешительной лицензией и несогласована для чего-либо многоязычного или коммерческого в сегменте 40M.

Ошибка, которой следует избегать, — это читать 0,51% WER у Phonon рядом с 7,83% у Whisper и делать вывод, что синтез превзошёл распознавание. Эти числа получены разными процессами, измеряющими разные вещи, причём один из них измеряется другим. Полезный вопрос не в том, какая модель лучше. А в том, достаточно ли хорош цикл, который можно собрать из открытых компонентов в этом месяце, для продукта, который вы задумали, — и для английского языка, офлайн, на ноутбуке ответ только что изменился.