Ming-3.0-audio-tiny против VibeVoice-ASR-Streaming 1.5B: пять тире против потока с атрибуцией говорящего

Откройте изображение для распознавания внутри Ming-3.0-audio-tiny в репозитории Hugging Face и прокрутите вниз. Пять строк — диаризация говорящих и конкатенированная ошибка минимальной перестановки для AISHELL-4, AliMeeting и AMI — содержат прочерк в колонке tiny. Не плохое число. Пусто. Производитель измерил более крупную модель-собрата по всем пяти и не стал измерять меньшую. Теперь откройте карточку модели VibeVoice-ASR-Streaming 1.5B и прочитайте первый пункт: она транскрибирует, кто что сказал, непрерывно, по мере поступления речи. Это те же пять строк, только наоборот. Одна модель публикует почти всё, кроме атрибуции говорящих; другая существует в основном для того, чтобы публиковать её. Документированные сбои ИИ и инциденты с агентами, связанные с подобными релизами, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, степень серьёзности, уровень уверенности и отметку о спорности.

Ни один из них не получил независимой оценки. Здесь это важно меньше, чем обычно, потому что исход этого противостояния решает не число, а проектное решение: что происходит, когда аудио поступает непрерывно. Ming-3.0-audio-tiny — это файловая модель с большим окном и опциональным речевым выводом. VibeVoice-ASR-Streaming 1.5B — это потоковая модель, которая выдаёт текст примерно каждые три секунды и помечает каждый сегмент говорящим. Если ваша рабочая нагрузка — это запись, они конкурируют. Если ваша рабочая нагрузка — это комната, только одна из них вообще пытается.

Сколько «стриминг» стоит в конфиге

Репозиторий Microsoft необычно прозрачно описывает собственный бюджет задержки, поэтому этот компромисс можно проверить, а не принимать на веру маркетинговые заявления. Акустический и семантический токенизаторы являются причинными и обеспечивают сжатие в 3 200× для входного сигнала 24 кГц, поэтому поток токенов составляет около 7,5 токена на секунду аудио. Потоковая обёртка объединяет 22 кадра токенов на чанк с упреждением в 4 кадра: 22, делённое на 7,5, даёт примерно 2,9 секунды на одну выдачу, а 4, делённое на 7,5, — это примерно полсекунды будущего аудио, которые модель может увидеть перед принятием окончательного решения.

• Частота выдачи — около 2,9 секунды; именно упреждающий просмотр обеспечивает точность за счёт задержки.

• Основа — декодер семейства Qwen2: 28 слоёв, скрытая размерность 1 536, 12 голов, 2 из которых — головы ключей-значений, окно на 64 000 токенов.

• Размер — три шарда safetensors общим объёмом 5,63 ГБ. Это не 1,5 млрд параметров; 5,63 ГБ при bf16 — это ближе к 2,8 млрд, а 1,5B в названии лучше понимать как языковой каркас, а не весь стек.

• Языки — десять: китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский, испанский.

• Дополнительно — настраиваемые горячие слова, передаваемые как контекст, и метка говорящего, прикрепляемая к каждому выводимому сегменту.

• Датировка — репозиторий создан 2 сентября 2026 года в 15:51 UTC, в последний раз изменён на следующее утро. Объявлено лишь одной строкой новостей в README VibeVoice на GitHub — то есть, по сути, почти никак не объявлено.

Это окно в 64K — то число, которое стоит противопоставить 131 072 у Ming. Звучит как половина ёмкости, но это ёмкость иного рода. Потоковой модели не нужно удерживать целый час, потому что последние пятьдесят девять минут она уже записала. Окно — это рабочая память для текущего фрагмента плюс тот контекст диалога, который модель переносит вперёд. 131K у Ming — противоположная ставка: держать всё в живом доступе и строить рассуждения на основе всего этого.

Ставка Минга — и что она приносит

Главное преимущество крошечной модели — не точность распознавания: по собственным таблицам inclusionAI она отстаёт от более крупного собрата на 0.34 балла на китайском (3.79 против 3.45 по посимвольной ошибке) и на 0.89 на диалектах (10.29 против 9.40). Её преимущество в том, что один контрольный пункт выполняет распознавание, понимание, рассуждение и речь за один и тот же прямой проход, на окне, достаточно длинном, чтобы можно было задать вопрос: «что она сказала в первые десять минут».

Его показатели аудиоинтеллекта приличны для такого размера и служат причиной предпочесть его чистому транскрибатору: MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, MuchoMusic 58,07 для музыки. Все они получены вендором, а в строках с самооценкой стоят звёздочки, и карточка раскрывает, что сравнительные модели воспроизводились на собственных промптах и декодировании inclusionAI. Читайте их как техническое задание.

Таблицы не скажут вам, кто говорил. Именно этот пробел обозначают пять прочерков, и он структурный, а не случайный. Модели, которая отвечает на вопросы о записи, для ответов не нужна посегментная разбивка по говорящим; модели, которая создаёт транскрипт встречи, — нужна. Ming, вероятно, можно подтолкнуть к чему-то вроде разметки говорящих, а акцент в карточке на «записях с несколькими говорящими» предполагает, что её обучали близко к этой задаче. Но «вероятно» выполняет работу пяти неопубликованных строк.

Два пайплайна, нарисованные честно

Представьте, как одна и та же девяностоминутная запись проходит через каждый из них.

В VibeVoice-ASR-Streaming 1.5B аудио поступает фрагментами примерно по три секунды, и текст выходит в том же ритме, причём каждый сегмент содержит метку говорящего. Его можно отображать в реальном времени. Плата за это — почти локальный характер каждого решения: модель видела на полсекунды вперёд и тот контекст, который удерживает, поэтому говорящий, сделавший паузу на четыре секунды, может вернуться с другой меткой, а имя, впервые прозвучавшее на второй минуте, можно восстановить только через механизм hotwords, который вы задаёте сами. Согласованность между фрагментами — это то, что нужно тестировать, и то, что карточка модели не оценивает количественно.

С Ming-3.0-audio-tiny файл попадает в систему, весь материал оказывается в контексте, а ответ приходит тогда, когда приходит. Согласованность между чанками не является риском, потому что чанков нет — в пределах окна. Цена этого — ничего не доступно, пока модель не завершит работу, а резерв памяти рассчитан на полное окно: эталонный профиль ASR занимает 0,92 объёма карты при пакете из 32 768 токенов. Можно уменьшить max_model_len; но нельзя заставить его работать потоково, потому что в репозитории нет потокового пути.

• Характер задержки — VibeVoice: непрерывно, с отставанием ~3 с. Ming: один ответ в конце.

• Атрибуция — VibeVoice: по каждому сегменту, согласно замыслу. Ming: не опубликовано.

• Контекст — VibeVoice: рабочее окно 64K плюс собственная расшифровка. Ming: 131,072 позиции — примерно три часа аудио по расчёту на энкодере, если процессор подаёт один непрерывный поток.

• Выход — VibeVoice: текст. Ming: текст или текст плюс синтезированная речь через опциональный Talker на второй GPU.

• Аппаратное обеспечение — VibeVoice: чекпоинт размером 5,63 ГБ, так что хватит одной обычной видеокарты. Ming: 17,74 ГБ Thinker — одна карта для текста, две для речи.

Лицензия и документы одинаковые, и это необычно.

Оба под лицензией MIT. Оба — тихие релизы. Оба выложили веса раньше, чем подоспела документация, и оба опираются на репозиторий GitHub, названный не в честь чекпойнта: профили развёртывания Ming находятся в inclusionAI/Ming-3.0-audio-flash, а инструкции по использованию VibeVoice — в microsoft/VibeVoice рядом с 7B-собратом.

Различия заключаются в том, что сообщает каждый репозиторий. Microsoft публикует технический отчёт — arXiv 2609.02812 — и рисунок с результатами в карточке; это изображение, а не таблица, поэтому числа из него не извлечь, и в тексте не указана частота ошибок по каждому языку. inclusionAI предоставляет три изображения с бенчмарками — тоже изображения — плюс карточку, которая указывает на свои слабые места лишь косвенно, оставляя ячейки пустыми. Ни один из поставщиков не даёт числа, которое можно вставить в электронную таблицу, не переписав его вручную.

Об одной асимметрии стоит предупредить всех, кто занимается закупками: репозиторий Ming на Hugging Face не содержит LICENSE-файла, а только ссылку в метаданных карточки на лицензию в другом репозитории. В карточке VibeVoice в метаданных указана MIT, а в репозитории есть файл лицензии. Оба утверждения верны; только одно находится внутри артефакта.

Что такое роутер и для чего он здесь нужен, а для чего нет

OrcaRouter не предоставляет ни одну из этих моделей. Ming-3.0-audio-tiny — это чекпойнт, и VibeVoice-ASR-Streaming 1.5B — тоже чекпойнт; ни того, ни другого нет в нашем каталоге, и ничто в этом материале не является предложением по их размещению. Место роутера в подобном пайплайне — после транскрипции и перед принятием решения: суммирование звонка, извлечение обязательств, классификация того, нужен ли для сегмента человек, перевод частей, которые были не на рабочем языке. Эти вызовы — текст, и один эндпоинт для более 200 моделей с наценкой 0% — цена из прайс-листа провайдера передаётся как есть, поэтому изменение цены вендором отражается на нашей стороне в тот же день — избавляет от необходимости заключать отдельный договор с каждым вендором при разработке. Автоматическое переключение при сбое — это та конкретная функция, которая важна, когда двухчасовая задача транскрипции должна в 2 часа ночи передать свой результат куда-то в надёжное место.

Чего роутер не сделает — так это не согласует две противоречащие друг другу метки говорящих и не решит, являются ли отсутствующие строки диаризации у Ming реальной слабостью или просто неизмеренной. Это задача для вашего собственного аудио.

Тест, который отличает их за полдня

Запишите двадцать минут разговора с тремя людьми, один из которых дважды перебивает остальных, а один говорит через микрофон ноутбука. Прогоните запись через VibeVoice-ASR-Streaming 1.5B со списком hotword, заполненным тремя именами, потому что именно этот механизм модель предоставляет для такой задачи. Прогоните тот же файл через Ming-3.0-audio-tiny, используя проверенный промпт, который требует языковую метку, символ табуляции, а затем транскрипцию, — и после этого попросите модель во втором ходе атрибутировать каждое предложение.

Оцените четыре вещи: сколько смен говорящего первая модель определила правильно, не переключалась ли какая-либо метка говорящего посреди записи, была ли атрибуция второй модели стабильной по всему файлу и какой результат вы быстрее исправили бы вручную. Последнее — не бенчмарк и предскажет ваш опыт в продакшене лучше, чем показатели любого из вендоров.

И учитывайте тире, когда будете это делать. Поставщик, который публикует таблицу диалектов с точностью до двух знаков после запятой и оставляет пустыми пять ячеек диаризации, уже сообщил вам кое-что конкретное о том, где заканчивается его уверенность. Microsoft, со своей стороны, опубликовала рисунок вместо таблицы и оставила вам самим разбираться в картинке. Ни один из них не дал вам числа, которое проверил бы посторонний.

Где на самом деле место каждому из них

Субтитры в реальном времени, мониторинг кол-центра, помощники для совещаний, которым нужно имя рядом с каждой репликой: VibeVoice-ASR-Streaming 1.5B создан именно для такого сценария, и при 5,63 ГБ он работает на оборудовании, которое у вас, вероятно, уже есть. Проверка архива на соответствие требованиям, «найти каждое упоминание мирового соглашения во всех этих сорока записях», любой сценарий, где вопрос возникает после аудио, а не во время него: большое единое окно и показатели понимания Ming-3.0-audio-tiny подходят лучше, а отсутствующие строки диаризации перестают иметь значение, если никто не спрашивал, кто говорил.

Ошибкой было бы выбрать Ming для задачи потоковой обработки только потому, что 131 072 вдвое больше 64 000, или выбрать VibeVoice для задачи на рассуждение только потому, что 1,5B звучит дешевле, чем 9,3B. Оба числа описывают не то, что подразумевает это утверждение, — и это самое надёжное, что удалось установить в этом сравнении.