Ming-3.0-audio-tiny теперь работает на одном GPU — и его конфигурация наконец указывает 128K

Чекпоинт, стоящий за Ming-3.0-audio-tiny доступен для скачивания с 3 сентября 2026 года — два шарда safetensors, 17,7 ГБ, запушенные через девять минут после создания самого репозитория. До этой недели не существовало почти всего, что объясняет, как его запускать. Между 16 и 19 октября 2026 года inclusionAI заменили конфигурацию, поставлявшуюся в сентябре, превратив видео-языко-аудиовариант с окном в 8 192 токена в чисто аудиовариант, заявляющий 131 072, добавили Talker, синтезирующий речь, добавили два эталонных голосовых клипа с их транскриптами и — после трёх дней, когда в репозитории вообще не было карточки модели, — написали её. Код, на который указывают эти документы, появился на GitHub 15 октября в репозитории, названном в честь более крупного собрата, Ming-3.0-audio-flash, и в нём есть три профиля развёртывания для tiny-модели, которых у tiny-модели никогда не было. Никто об этом не объявлял. Так что вопрос, на который стоит ответить, не в том, что нового, — ведь весам семь недель, и они побайтно идентичны тому, что было в день их появления. Он в том, что читатель теперь может запустить, чего не мог запустить в прошлый понедельник, и во что это обходится с точки зрения точности, когда он это делает. Документированные сбои ИИ и инциденты с агентами, стоящие за подобными релизами, собраны в OrcaRouter AI Incident Archive где каждая запись содержит собственные источники, степень серьёзности, оценку уверенности и флаг спорности.

Что изменилось, с привязкой к коммиту

Лог коммитов Hugging Face достаточно короткий, чтобы прочитать его целиком, и структура его необычна: три коммита в сентябре, три недели ничего, затем шесть за четыре дня.

• 3 сентября, 11:45 и 11:49 UTC — репозиторий создан, затем два шарда добавляются в рамках «Add files using upload-large-folder tool». README, прилагаемый к ним, озаглавлен «Ming Audio V3», указывает лицензию Apache 2.0, помечает репозиторий тегом automatic-speech-recognition, и в нём говорится, что репозиторий «в настоящее время документирует путь ASR».

• 17 сентября — examples/ удаляется. После этого репозиторий — это веса, собственный код моделирования и краткая карточка, и больше ничего.

• 16 октября, с 08:14 до 08:20 UTC — самый важный. config.json перезаписан: max_position_embeddings у текстового бэкбона меняется с 8,192 до 131,072, transformers_version — с 4.56.2 до 5.14.1, а audio_config.model_type с bailing_moe_v3_vl_audio до bailing_moe_v3_audio — тип «видео-язык-аудио», который больше не описывает модель. В том же пуше auto_map получает AutoModel и AutoProcessor — записи, которых у него не было, а processor_config.json появляется, а также talker/ — дерево, которое приходит: речевая модель на 1,4 ГБ, VAE на 1,6 ГБ, кодировщик говорящего CAM++, конечные автоматы нормализации текста для английского и китайского. Старый README удаляется в том же пуше — следующие три дня в репозитории вообще нет карточки модели.

• 17 октября, 11:44 UTC — «Добавить голосовые пресеты». Два эталонных WAV-файла, US_James.wav и 灵楷.wav, а также JSON-файл с их точными расшифровками.

• 19 октября, 10:36, 11:44 и 11:49 UTC — три коммита по очистке и загрузке.

• 19 октября, 13:19 UTC — «Добавлена карточка модели Ming-3.0-audio-tiny». 8 514 байт, и первый документ в истории репозитория, который описывает модель речи и аудио, а не путь ASR.

У стороны GitHub свой график, и он начинается позже. inclusionAI/Ming-3.0-audio-flash был создан 15 октября в 03:50 UTC — через шесть недель после появления весов — и в него всё ещё отправляли изменения 19 октября в 14:53 UTC. У него восемь звёзд, файл лицензии MIT и deploy/ — каталог с шестью профилями YAML, три из которых по названию предназначены для крошечного чекпойнта. Репозитория inclusionAI/Ming-3.0-audio-tiny не существует; этот URL возвращает 404, а код крошечной модели находится в репозитории flash рядом с кодом её собрата.

Переписывание конфигурации — вот что действительно важно.

Увеличение поля длины контекста в 16 раз — это изменение, которое может быть либо косметическим, либо структурным, и в данном случае остальная часть диффа говорит, что оно структурное. В сентябре репозиторий содержал modeling_bailing_moe_v3_audio.py и processing_bailing_moe_v3_audio.py в дереве, но его конфиг описывал аудиобашню типа bailing_moe_v3_vl_audio — пережиток видео-языковой сборки — а его карточка модели предлагала инициализировать модель с trust_remote_code=False, что не соответствует ожиданиям кастомных файлов моделирования. Октябрьский конфиг — первый, в котором объявленный тип, объявленная среда выполнения и путь выполнения кода согласуются.

• Опорная сеть — 24 слоя, размер скрытого состояния 1 536, 16 голов внимания, 128 маршрутизируемых экспертов, из которых 8 активны на токен, и один общий эксперт, промежуточный размер эксперта 512, первый плотный слой под индексом 1, коэффициент масштабирования маршрутизации 2,5, словарь 157 184.

• Внимание — MLA, с 512-мерным латентом KV и 256-мерным латентом запроса, rope_theta 6,000,000, partial_rotary_factor 0.5. Низкоранговая форма KV — это причина, по которой окно в 131 072 токена вообще можно рассматривать на одной карте: кэш хранит латент, а не ключи и значения для каждой головы.

• Аудио-башня — 32 слоя, ширина 1 280, 20 голов, контекст на 3 000 кадров и 128 мел-бинов, с даунсемплером с ядром [3,3,3] и шагом [2,2,2]. ID аудиотокена 157 168.

• Размер — 9,3 млрд параметров всего, 2,7 млрд активируются на токен, bfloat16 на всём протяжении, заявлено для Transformers 5.14.1.

• Входы и выходы — на входе аудио и текстовая инструкция; на выходе текст или текст и синтезированная речь через опциональный Talker. Китайский и английский, включая акценты и диалекты, согласно карточке.

Переписывание конфигурации не добавляет никаких весов. Четыре файла safetensors в репозитории — два шарда Thinker, Talker и VAE — имеют одинаковые размеры во всех проверенных мной ревизиях, вплоть до первоначальной загрузки. Это было изменение документации и упаковки для неизменённого чекпоинта, и именно поэтому скачок с 8 192 до 131 072 заслуживает доверия: никто ничего не переобучал, так что это утверждение можно проверить, загрузив модель и запросив длинный контекст, а не принимать на веру.

Одна формальность всё ещё не согласована. В верхнеуровневом теге pipeline репозитория Hugging Face указано text-to-speech, тогда как в сводке самой карточки он назван аудио-языковой моделью, которая принимает инструкции и возвращает текст или речь. Этот тег — наследие того, что Talker стала возможностью, к которой обращались последней, и это из тех мелочей, которые не важны никому, кроме человека, фильтрующего Hub по задаче.

Один GPU для текста, два для речи.

Именно здесь крошечная модель оправдывает своё название, и это видно только потому, что профили развёртывания теперь общедоступны. Текстовый профиль flash-модели работает на devices: "0,1,2,3,4,5,6,7" с tensor_parallel_size: 8 — восемь карт по 80 ГБ; именно столько требуют 256 ГБ bf16-весов ещё до выделения какого-либо кэша. У крошечной модели есть три собственных профиля, и два из них запрашивают одну карту.

• Текст и ASR, vLLM-Omni — один этап на устройствах: "0", размер тензорного параллелизма 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, выборка при температуре 0.6 и до 65,536 выходных токенов.

• Полное аудио с речевым выводом — два этапа. Thinker на устройствах: «0» при 0,78 карты, а Talker на устройствах: «1» при 0,18, при этом для этапа Talker установлен предел в один выходной токен и температура 0,0, поскольку он не генерирует текст.

• Воспроизведение ASR — конвейер только с thinker, к которому добавлен 10-граммовый logit-процессор без повторов, аудио ограничено одним клипом на промпт, max_model_len 131 072, temperature 0.0, 32 768 выходных токенов. Именно в этой конфигурации были получены показатели распознавания поставщика, и её стоит скопировать в точности, если вы собираетесь сравнивать.

• SGLang — один GPU, одно видимое устройство, только текстовый вывод. В карточке прямо указано, что вывод речи на этом пути недоступен.

Эти профили — это файлы, а не текст, и они видны в каталогеdeploy/ репозитория flash — шесть YAML-профилей, три из которых названы в честь крошечного чекпоинта.

Читайте цифры памяти честно. 0,92 — это доля той карты, на которую вы направите сцену, а не требование: шарды Thinker'а в сумме дают 17,74 ГБ, так что веса помещаются в 24-ГБ карту, и остаётся примерно 6 ГБ на кэш и активации. Резерв 0,92 рассчитан на окно в 131 072 токена плюс батч в 32 768 токенов одновременно, и он уменьшается, если снизить max_model_len. Чего нельзя сделать на одной карте — это породить речь, потому что Talker и его VAE — это второй процесс со вторым набором весов (3 ГБ ещё до энкодера CAM++ и трансдьюсеров), а референсный профиль выделяет им отдельное устройство. Текст на одном GPU, разговор вслух на двух: вот честная арифметика, и это отдельная строка бюджета, отличная от восьмёрки у собрата.

Что на самом деле содержится в скачанном файле?

Общий размер репозитория — 20,78 ГБ. Thinker занимает 17,74 ГБ и состоит из двух шардов размером 9,55 ГБ и 8,19 ГБ; Talker добавляет 1,40 ГБ, его VAE — 1,56 ГБ, кодировщик говорящего — 28 МБ, а файлы токенизатора и нормализатора составляют остаток. Производитель не опубликовал ни квантованный вариант, ни чекпоинт меньшего размера, ни конвертацию в GGUF, поэтому значение для bf16 — это нижняя граница, если только вы не квантуете его самостоятельно.

• Загрузка — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) и AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Затем собственный фрагмент карточки вручную приводит audio_feats к dtype модели, что является небольшим признаком того, что путь процессора не был приоритетом.

• Контракт ASR — проверенный промпт требует, чтобы модель назвала язык речи и поставила табуляцию между меткой языка и транскрипцией. Если вы создаёте стенд для оценки, эта табуляция — ваш парсер. Общая инструкция «транскрибируй это» — не та конфигурация, которую измеряла inclusionAI.

• Голоса — по умолчанию в vLLM-Omni используется встроенный голос под названием 灵小柔, а в каталоге модели поставляются два эталонных пресета, 灵楷 и US_James, с транскриптами. Клонирование голоса требует эталонного WAV-файла и его точной транскрипции; в карточке предупреждают, что нельзя сочетать выбор встроенного голоса с эталонным аудиофрагментом в одном запросе.

• Лицензия — MIT в метаданных карточки и в файле LICENSE репозитория GitHub, датированном 2025 годом. Обратите внимание, чего не хватает: в репозитории Hugging Face нет собственного файла LICENSE. Единственный текст лицензии, физически находящийся в нём, принадлежит встроенной модели определения языка по пути talker/data/. Заявление о MIT соответствует действительности, но находится на расстоянии одного клика — в репозитории, названном в честь другой модели.

• Отклик — три скачивания и пять лайков по состоянию на эту неделю. У flash-модели 22 скачивания и восемь лайков. Ни одно из этих чисел не свидетельствует о качестве; оба они свидетельствуют о том, что сентябрьская публикация без карточки и без анонса не получила распространения.

Эталонное изображение и отсутствующий столбец

Три PNG-файла в assets/ содержат оценку, и все три — собственный прогон inclusionAI. Вендор помечает самостоятельно оценённые записи звёздочкой и отмечает, что модели сравнения были воспроизведены на его собственных промптах и настройках декодирования, поэтому их числа могут отличаться от официальных отчётов. Мне не удалось найти опубликованную независимую оценку этого чекпоинта — ни записи в арене, ни оценки третьей стороны — а значит, каждая приведённая ниже цифра принадлежит вендору, описывающему собственную модель. Это не повод их игнорировать; это повод читать их как техническое задание, а не как вердикт.

Полезное сравнение оказывается мизерным на фоне собственного собрата, потому что оба прогоняли один и тот же тестовый стенд. В распознавании меньшая модель немного уступает, а в рассуждениях по длинному аудио — очень сильно.

Средний показатель ASR для китайского языка — частота ошибок в символах: 3,79 у Ming-3.0-audio-tiny против 3,45 у Ming-3.0-audio-flash. Чем ниже, тем лучше, поэтому tiny отстаёт на 0,34 балла.

• Среднее значение ASR для английского — 4,36 против 3,69. Среднее значение по диалектам — 10,29 против 9,40.

• BigBenchAudio — 99,20 против 99,40. Фактически ничья, и единственная строка, где разница в размере не проявляется.

• MMAU — 75,90 против 82,00. MMAR — 67,70 против 74,40. MMSU — 73,06 против 78,82. MMAU-Pro — 56,42 против 66,41.

• Точность на длинных аудио — 56,39 против 66,30. LongAudioSpan — 35,45 против 41,12. Оценка Long-audio Chain — 10,56 против 12,31.

• Речевое взаимодействие — URO-Bench-Pro 54,15 против 81,92, обвал на 27,8 пункта. VoiceBench 74,29 против 86,74. SpeechFCEval 69,80 против 82,60.

• Вызов инструментов — BFCL-v3 Audio 79,80 против 81,40. Музыка — MuchoMusic 58,07 против 65,65.

Строки по диалектам — интересное исключение, потому что tiny не проигрывает единообразно. Он превосходит своего более крупного собрата по Аньхою (5,42 против 5,76), северо-восточному мандаринскому (4,21 против 4,28), Цзянсу (11,44 против 12,15), Шэньси (5,81 против 6,00), Шаньдуну (10,17 против 10,69) и Юньнани (11,28 против 11,53), но сильно проигрывает по хакка (24,08 против 16,51), хокло (14,15 против 12,84) и шанхайскому (12,49 против 11,15). Модель с 2,7 млрд активных параметров, удерживающая шесть из пятнадцати диалектных строк против модели с 6,5 млрд активных параметров, — самое благоприятное обстоятельство во всей оценке, и оно погребено в середине таблицы, где среднее его скрывает.

О двух пробелах стоит сказать, потому что их можно проверить, а карточка на них не указывает. Во-первых, пять строк на изображении с распознаванием вообще не содержат значения для tiny-модели — строки диаризации говорящих и конкатенированной минимальной перестановки для AISHELL-4, AliMeeting и AMI напечатаны как прочерк. Что бы tiny-модель ни делала в задаче «кто говорил когда», это не опубликовано. Во-вторых, на изображении с текстовым интеллектом четыре столбца, и ни один из них не относится к tiny-модели: это столбцы Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus и Qwen3.5-Omni Flash. В разделе оценки карточки сказано, что приведённые ниже цифры включают результаты для обоих вариантов Ming; это верно для двух аудиоизображений и неверно для текстового. Если вам нужно знать, способен ли tiny-бэкбон вести диалог с рассуждением, inclusionAI вам этого не сообщил.

Что эта неделя на самом деле вам дала

До 16 октября читателю, который хотел протестировать этот чекпойнт, приходилось скачивать 17,7 ГБ, иметь конфиг, описывающий видео-языковую модель с окном 8K, и карточку, предписывающую загрузить пользовательский код, не включая пользовательский код. После 19 октября у него есть конфиг, соответствующий собственным файлам модели, заявка на 128K, которую можно проверить на неизменённых весах, три именованных профиля развёртывания, включая профиль для одной GPU, голосовой пакет с транскриптами и карточка, где сказано, для чего предназначена модель. Ничто из этого не является новой моделью. Всё это — разница между чекпойнтом на диске и чекпойнтом, который кто-то может оценить за один день.

Стоимость — это та часть, которую скрывает выбор размера. По собственным таблицам поставщика переход с модели с 6,5B активных параметров на модель с 2,7B активных сокращает число GPU до одной восьмой, но стоит вам 27,8 пункта URO-Bench-Pro, десяти пунктов VoiceBench и примерно пятой части оценки Chain на длинном аудио. Это разумный компромисс для сервиса транскрипции, плохой — для всего, что должно рассуждать на протяжении часа аудио; и поставщик напечатал оба столбца рядом, чтобы вы могли решить, какой именно вариант вы строите.

Где маршрутизатор заслуживает своё место, а где — нет

OrcaRouter не обслуживает Ming-3.0-audio-tiny. Этой модели нет в нашем каталоге, мы не можем предоставить для неё endpoint, и ничто здесь не должно восприниматься как предложение это сделать. Польза роутера в пайплайне, построенном вокруг такого чекпоинта, — в той половине, которая не является чекпоинтом. Речевые системы — это в основном текстовая работа: промпт, который определяет, что именно спросить у аудио, парсер, превращающий языковую метку с разделителем-табуляцией в структурированный вывод, резюме, написанное по транскрипту, классификация, которая решает, отправить ли аудиофайл в модель 2.7B или в модель 126B. Это обычные текстовые вызовы, и один API для более 200 моделей с наценкой 0% — цена из прайс-листа провайдера передаётся без изменений, поэтому снижение цены поставщиком в тот же день действует и у нас — подключить проще, чем стопку контрактов с поставщиками. Автоматическое переключение при сбое позволяет задействовать недавно задокументированную модель на части пайплайна, не ставя на неё весь путь.

Границу стоит обозначить прямо. Контрольная точка объёмом 17,7 ГБ, которую вы запускаете на собственном GPU, — это инфраструктура, а не вызов API. Маршрутизатор маршрутизирует вызовы. Он не превращает аудиомодель с открытыми весами в хостинговую и не превращает три скачивания в доказательство готовности к продакшену.

Что посмотреть

Три вещи изменили бы эту картину, и все три поддаются проверке. Во-первых, независимая оценка: как только арена или сторонний оценщик внесёт эту контрольную точку в список, разрыв в 27,8 балла в голосовом взаимодействии перестанет быть самоотчётом поставщика и станет точкой данных; а до тех пор стоит отметить, что тот же поставщик также опубликовал шесть строк по диалектам, где побеждает меньшая модель. Во-вторых, LICENSEфайл внутри репозитория Hugging Face, который превратил бы MIT из ссылки в карточке в факт в артефакте, который реально читает процесс закупки. В-третьих, небольшой специализированный репозиторий GitHub: сегодня профили развёртывания, которые делают утверждение об одной GPU реальным, находятся в репозитории, названном в честь более крупной модели, и это нормально, пока кто-нибудь его не переименует.

Пока что-то из этого не выйдет, точное описание звучит довольно прозаично. Те же веса, что и 3 сентября, примерно 18 ГБ Thinker, окно на 131 072 токена, которое появилось в конфиге, а не в чекпоинте, три профиля обслуживания, помещающихся на одной карте для текста и на двух для речи, MIT на бумаге, пять строк с референсными результатами, которые он отказался публиковать, и карточка модели, которая на три дня моложе описываемого ею конфига. Неделя не сделала модель лучше. Она сделала её понятной, а для чекпоинта с открытыми весами, который никто не анонсировал, понятность — это весь продукт.