Титульная карточка hero-блока со сравнением «VibeVoice-ASR-Streaming-7B vs Whisper Large v3 Turbo», надзаголовком «ASR с открытыми весами — сентябрь 2026», подзаголовком: потоковый чекпойнт Microsoft встречает открытый стандарт — что добавляет стриминг и чего стоит 0,8B против 9B параметров; чипы «Веса MIT — 2 сент.», «Веса MIT — 2024» и «Whisper: 99 языков», а также сноска «Рекорд Whisper публичен». Логотип OrcaRouter скомпонован в правом нижнем углу.
Guides & Insights

VibeVoice-ASR-Streaming-7B против Whisper Large v3 Turbo: что потоковый чекпоинт Microsoft добавляет к открытому по весам варианту по умолчанию

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Большую часть последних двух лет ответом на вопрос «как расшифровать это самим и дёшево» была Whisper Large v3 Turbo — модель OpenAI с открытыми весами на 809 млн параметров, под лицензией MIT, с поддержкой 99 языков, достаточно малая, чтобы работать на рабочей станции, и бесплатная, если оборудование уже есть. 2 сентября 2026 года Microsoft Research выложила конкурента этому выбору по умолчанию: VibeVoice-ASR-Streaming-7B — потоковый чекпойнт под лицензией MIT на Hugging Face, который расшифровывает по мере поступления аудио, заявляет вывод с атрибуцией говорящих и, в отличие от модели, которую уже использует большинство команд, изначально не проектировался как пакетная задача. Обе модели — открытые веса из крупных лабораторий. Почти всё остальное в них — это компромисс, и эта страница о том, какой компромисс вы на самом деле выбираете.

Одна асимметрия определяет всё сравнение, поэтому начнём с неё. Whisper Large v3 Turbo — наиболее независимо воспроизводимая речевая модель в мире: тысячи команд годами пересчитывали её показатели частоты ошибок в словах на публичных бенчмарках и собственных аудиозаписях, а её слабые стороны задокументированы так же хорошо, как и сильные. VibeVoice-ASR-Streaming-7B существует всего один день, по нему нигде нет независимого бенчмарка, и Microsoft не опубликовала потоковую частоту ошибок в словах в доступном для чтения тексте. Всё, что ниже относится к стороне Microsoft, взято из репозитория — конфигурации, карточки модели и документации Microsoft по потоковой передаче — и помечено как таковое.

Открытые веса по умолчанию — и почему это сохраняется

Whisper Large v3 Turbo — дистиллированный «собрат» Whisper Large v3: он сохраняет 32-слойный энкодер и сокращает декодер с 32 слоёв до четырёх, поэтому число параметров падает до 809M, а пропускная способность на GPU возрастает примерно вчетверо при близкой точности. Поскольку веса распространяются по лицензии MIT, а модель небольшая, она стала стандартным встроенным движком транскрипции для ботов для встреч, инструментов для субтитров и конвейеров журналирования звонков. Её ограничения столь же хорошо известны. Это пакетная модель: она принимает аудиофайл и возвращает транскрипт, а не выдаёт слова по мере их произнесения. Она не обучалась переводу, и эта задача сильно страдает. Её точность на шумной речи, речи с акцентом или с наложением голосов неравномерна, а возвращает она обычный текст: по умолчанию без пунктуации и заглавных букв, без диаризации спикеров, без временных меток в этом варианте и без биасинга по ключевым словам. Продакшен-стеки на основе Whisper собирают эти компоненты отдельно, и каждый добавляет собственную задержку и собственные режимы отказа.

A screenshot of the Hugging Face model page for microsoft/VibeVoice-ASR-Streaming-7B (captured September 3, 2026) showing the model card opening line 'VibeVoice-ASR-Streaming is a unified streaming ASR model that transcribes Who (Speaker) said What (Content), with support for Customized Hotwords and 10 languages', the ASR/Transcription/Speech-to-Text/Streaming tag row, the 'Model size 9B params' and BF16 badges, and the Code and Demo links.

Разрыв в спецификации

• Параметры — 809M (дистиллированный декодер) против примерно 9B всего (языковой бэкбон Qwen2-7B плюс речевые энкодеры; «7B» учитывает LLM, на странице Hugging Face указано 9B).

• Лицензия — MIT, открытые веса, и то, и другое.

• Потоковая передача — пакетная по своей сути: реализации потоковой передачи с самостоятельным размещением обычно обеспечивают задержку 1–5 секунд, тогда как нативно потоковые решения — фрагменты ~2,9 секунды с упреждением ~0,5 секунды, текст выдаётся по фрагментам, контекст сохраняется в KV-кэше.

• Языки — 99 с многолетним воспроизведением сообществом против заявленных 10 (en, zh, es, pt, de, ja, ko, fr, ru, it).

• Помимо транскрипта — по умолчанию ничего vs заявленный потоковый вывод «кто что сказал» и настраиваемые горячие слова (не проверено).

• Точность по опубликованным данным — 2,1% WER на LibriSpeech test-clean, 4,2% на test-other, ~7,7% на композитном наборе Open ASR, 8–12% на шумном аудио при тестировании сообществом; все результаты независимо воспроизведены, при этом опубликованного в тексте показателя WER для потокового режима нет.

• Ресурсоёмкость — запускается на ноутбуке или одной скромной GPU, тогда как веса bf16 до KV-кэша занимают примерно 18 ГБ; рассчитывайте на GPU класса 24 ГБ.

A two-column scoreboard titled 'VibeVoice-ASR-Streaming-7B vs Whisper Large v3 Turbo - the scoreboard'. Left column VibeVoice-ASR-Streaming-7B (released Sep 2, 2026 - MIT open weights): parameters - about 9B (Qwen2-7B + encoders); streaming - native, ~2.9 s chunks; WER in print - none in text; output extras - claimed speaker IDs + hotwords; languages - 10 declared; hardware - ~18 GB bf16, 24 GB-class GPU. Right column Whisper Large v3 Turbo (open weights, released 2024): 809M distilled; batch, 1-5 s self-host streaming; 2.1% / 4.2% LibriSpeech, ~7.7% Open ASR; none by default; 99; laptop to small GPU. Footer: 'Whisper WER independently reproduced. VibeVoice specs read from the HF repo; no benchmark exists yet.'

Что на самом деле добавляет стриминг

Причина, по которой вообще стоит смотреть дальше Whisper Large v3 Turbo, — это потоковый сценарий, и именно здесь две модели перестают быть сопоставимыми. Whisper ориентирован на пакетную обработку: чтобы получать слова, пока говорящий ещё говорит, командам приходится прикручивать разбиение на чанки, детекцию голосовой активности и связующий код, а самостоятельно размещённые потоковые реализации обычно дают задержку от одной до пяти секунд — не дотягивая до планки менее секунды для телефонных агентов и субтитрирования в реальном времени без серьёзной инженерной работы. VibeVoice-ASR-Streaming-7B создан именно для этого сценария. В его конфигурации видно, что аудио сжимается в 3200 раз в поток токенов с частотой 7,5 кадра в секунду, который обрабатывается чанками по 22 кадра с опережающим просмотром на четыре кадра — примерно 2,9 секунды аудио на чанк — при этом текст выдаётся по мере готовности каждого чанка, а более ранний контекст переносится в KV-кэше, так что сеанс не пересчитывается с нуля. Эта периодичность выведена из конфигурации, а не является измеренной задержкой, и сквозных показателей для неё пока никто не публиковал; но архитектура однозначно является архитектурой потоковой транскрипции — в отличие от Whisper.

У Whisper долгая и публичная история; у нового чекпоинта она пуста.

Точность — это та область, где возраст Whisper Large v3 Turbo играет на руку. Его 2,1% WER на LibriSpeech test-clean и 4,2% на test-other — это показатели модели с открытыми весами, воспроизведённые бесчисленным множеством команд; его примерно 7,7% в сводном рейтинге Open ASR leaderboard — примерно на пункт позади полной Large v3; а задокументированные 8–12% на шумном аудио в тестировании сообщества означают, что это никого не удивляет. Эти слабые места — часть зафиксированной картины: они точно показывают, где модели нужна помощь, прежде чем вы начнёте на ней строить.

У VibeVoice-ASR-Streaming-7B нет ничего из этой истории. В его карточке модели оценочный показатель приведён в виде изображения, а технический отчёт Microsoft о потоковой работе — это PDF, но в тексте нет цитируемой частоты ошибок в словах для потокового режима. Единственный числовой ориентир в семействе — таблица из карточки пакетной VibeVoice-ASR с данными производителя: средняя WER 7,77% по восьми английским тестовым наборам и 2,20% на LibriSpeech clean, — и это не показатель данной контрольной точки, а отношение сообщества к самой пакетной модели было неоднозначным: её хвалили за диаризацию «из коробки», критиковали как тяжёлую и иногда склонную к галлюцинациям. Ничего из этого не переносится на потоковую модель, и в этом как раз суть: с Whisper вы заранее знаете режимы отказа; с VibeVoice-ASR-Streaming-7B вы первый тестировщик.

Языки и занимаемый объём: 99 против 10, 0,8 млрд против 9 млрд

Две наиболее конкретные издержки перехода — это языки и размер. Whisper Large v3 Turbo транскрибирует 99 языков; качество на языках с малым объёмом данных и тональных языках снижается — тайский, кантонский и валлийский обычно называют слабыми местами — но за этим списком стоят годы воспроизведения сообществом. VibeVoice-ASR-Streaming-7B заявляет десять: английский, китайский, испанский, португальский, немецкий, японский, корейский, французский, русский и итальянский. Если ваш трафик укладывается в эти десять, покрытие не проблема; если нет — сравнение на этом заканчивается. Размер — вторая издержка: 809M параметров работают на ноутбуке, тогда как около 9B общих параметров в bf16 означают примерно 18 ГБ весов до KV-кэша и GPU класса 24 ГБ, чтобы комфортно его обслуживать. Для команд, уже запускающих Whisper на скромном оборудовании, это реальный шаг вверх по инфраструктуре, оправданный только настоящей потребностью в потоковой транскрипции в реальном времени.

Когда бесплатность — не главное

Whisper Large v3 Turbo бесплатен для запуска; затраты — это оборудование и инженерная обвязка вокруг него. Развёртывание faster-whisper на одной T4 обходится примерно в $0,05–$0,10 за час аудио при текущей стоимости GPU, а при постоянной нагрузке добавляется стек диаризации и пунктуации, который придётся строить, поскольку Whisper возвращает простой текст. VibeVoice-ASR-Streaming-7B тоже бесплатен для запуска, но на более дорогом оборудовании, в обмен на потоковую архитектуру, которая обещает атрибуцию говорящих и управление контекстом, отсутствующие у Whisper — обещания, которые вам придётся проверять самостоятельно, поскольку независимых бенчмарков не существует. Для пакетной транскрипции больших объёмов пропускная способность и крошечный объём Whisper всё ещё выигрывают. Для живого аудио с несколькими говорящими, где транскрипт должен появляться во время разговора, Whisper работает против своего дизайна, а потоковый чекпойнт — в согласии с ним — если он вообще работает, и именно это вопрос, на который стоит ответить, используя собственное аудио на собственном GPU.

A screenshot of the microsoft/VibeVoice GitHub repository (captured September 3, 2026) showing the 'Open-Source Frontier Voice AI' description, the MIT license badge, directories including demo, docs, finetuning-asr, vibevoice and vllm_plugin, and recent commits including 'Add streaming ASR inference'.

Прагматичный стек

Самый распространённый ответ в реальной жизни — не «или/или», а «оба», и именно такова рекомендация здесь: оставьте Whisper Large v3 Turbo в качестве высоконагруженного пакетного контура, где его послужной список и ресурсоёмкость делают его непобедимым, а VibeVoice-ASR-Streaming-7B оцените в живом контуре, который Whisper не может обслуживать с требуемой задержкой — с явным этапом оценки, потому что опереться не на какой бенчмарк. Эти два решения могут делить один бюджет GPU и одну кодовую базу. Слой маршрутизации в таком стеке оправдывает себя не на самой транскрипции, а на уровне выше транскриптов: OrcaRouter сегодня не маршрутизирует речь в текст, и ни одной из этих моделей нет в его каталоге, но суммаризаторы, правила оповещения и планировщики агентов, которые потребляют живой транскрипт, — это ровно те 200+ языковых моделей, которые он предоставляет через единый API по прайсовым ценам провайдеров, передаваемым без наценки, с автоматическим переключением при сбоях между провайдерами. Потоковый чекпойнт, выпускаемый без единого бенчмарка, заслуживает такого же отношения, как любая непроверенная модель — небольшая доля реального трафика за фолбэком, которая заслуживает или теряет ваше доверие на основании свидетельств ваших собственных встреч, а не модельной карточки.