Granite Speech 5.0 2B против Granite Speech 5.0 470M TurboCTC: в 35 раз выше пропускная способность при ухудшении WER всего на 0,45 пункта

IBM выпустила две контрольные точки Granite Speech 5.0 с разницей в один день, и интересное в них вовсе не то, что одна из них больше. А то, что Granite Speech 5.0 2B показывает средний WER по английскому 5,06% при 570 RTFx в Open ASR Leaderboard, тогда как Granite Speech 5.0 470M TurboCTC даёт 5,51% при 19 870 RTFx — примерно в тридцать пять раз больше пропускной способности менее чем за полпункта точности. Если вы полагали, что количество параметров даёт вам что-то пропорциональное, — это не так. Оно даёт вам перевод, биасинг по ключевым словам, управление language-ID и языковую модель, способную следовать промпту. Скорости в этом списке нет. Документированные сбои ИИ и инциденты с агентами, стоящие за подобными релизами, собраны в the OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, оценку достоверности и флаг оспаривания.

Обе цифры принадлежат самой IBM, измерены в одной и той же таблице лидеров и датированы с разницей в пределах недели друг от друга, что делает это одним из наиболее чистых доступных сравнений внутри семейства — и при этом таким, где всё равно следует исходить из того, что это оценка, проведённая поставщиком, а не прошедшая аудит. Ни для одной из моделей нет независимого воспроизведения, и на момент написания ни одна из них не обслуживается каким-либо провайдером инференса, который я могу найти, включая наш собственный каталог.

В одну и ту же неделю — две разные истории релиза

Эти две модели не являются близнецами разного размера. Они были выпущены по-разному и построены по-разному, и истории выпуска объясняют, почему их карточки моделей читаются так по-разному.

• Granite Speech 5.0 2B — репозиторий создан 7 октября 2026 года, веса закоммичены в тот же вечер, карточка модели две недели редактировалась открыто, дата релиза проставлена 20 октября, анонс в блоге — 21 октября. Новая модель: тихое начало, громкий финал.

• Granite Speech 5.0 470M TurboCTC — впервые выпущена 25 августа 2026 года как англоязычная модель с заявленным показателем 12 600 RTFx. Выпуск 21 октября — это обновление, а не новая модель: та же архитектура, новая многоязычная BPE-голова на 16 384 токена, шесть добавленных языков, а также встроенные пунктуация и капитализация.

Эта разница важна, когда вы читаете эти числа. 5,06% у 2B — это свежая оценка нового чекпоинта. 5,51% у 470M — улучшение по сравнению с показателем 5,78%, опубликованным в августе, и в блоге IBM это подаётся как «лучший WER для английского, несмотря на добавление шести языков», и это правильный способ это интерпретировать — многоязычное обновление не стоило точности на английском, а немного её прибавило.

Две архитектуры — одно последствие

Granite Speech 5.0 2B — это речевая языковая модель. 16-блочный CTC-энкодер Conformer подаёт данные в двухслойный проектор на основе window query transformer, который выполняет 10-кратное понижение дискретизации до акустических эмбеддингов с частотой 10 Гц; они поступают в промежуточный чекпойнт granite-4.0-1b-base, расширенный до 16 тыс. позиций с помощью YaRN. Дообучение с учителем выполняется с помощью LoRA одновременно на проекторе и языковой модели. Генерация авторегрессионна: языковая модель записывает транскрипт токен за токеном.

Granite Speech 5.0 470M TurboCTC — это энкодер. Шестнадцать блоков Conformer, CTC-целевая функция, многоязычная BPE-голова классификации на 16 384 единицы, временное прореживание с коэффициентом 8, снижающее частоту кадров со 100 Гц до 12,5 Гц, жадное неавторегрессионное декодирование. Ни проектора, ни языковой модели, ни цикла генерации. Выходные данные содержат пунктуацию и заглавные буквы, потому что модель обучена выдавать пунктуацию в потоке токенов, а не потому, что её потом добавила вторая модель.

В этом и состоит всё сравнение. У 2B-модели, генерирующей токены, есть нижняя граница задержки на токен, которую никакое пакетирование не устраняет полностью; неавторегрессионный энкодер выдаёт весь свой вывод за один прямой проход, поэтому пропускная способность масштабируется с размером пакета и почти ни с чем больше. Именно так модель с четвертью параметров оказывается в тридцать пять раз быстрее, а не в четыре раза.

Именно поэтому модель 470M отказывается от того, что есть у 2B. Здесь нет промпта, которому нужно следовать, поэтому нет ни инструкции по идентификации языка, ни списка ключевых слов, ни перевода — CTC-голова сопоставляет акустику с токенами, и ей нельзя указать выводить немецкую речь в виде английского текста.

Табло и откуда взялось каждое число

• Параметры — Granite Speech 5.0 2B — 2B; Granite Speech 5.0 470M TurboCTC — 470M.

• WER для английского, среднее по 9 наборам Open ASR — 5,06% против 5,51%. Оба прогона оценки IBM, 15–20 октября 2026 г.

• Пропускная способность, RTFx — 570 против 19 870. Тот же стенд рейтинга, тот же диапазон дат.

• WER в условиях шума и реверберации, FFASR — 14,80% (место #4 из 42) против 17,57% (место #12). Модель 2B более устойчива примерно на 2,8 пункта.

• Лицензия — Apache 2.0 для обоих. У TurboCTC также есть вариант с суффиксом -NC под CC-BY-NC-SA-4.0; проверьте название репозитория перед выпуском.

• Языки — шесть языков транскрипции (En, Fr, De, Es, Pt, Ja) плюс перевод, против семи (с добавлением итальянского) без перевода.

• Функции контроля — подсказки с идентификацией языка, биасинг ключевых слов до 2 000 терминов и перевод речи на 2B; на 470M — ничего из этого.

• Обучение — 390 000 часов за 40 дней на 8 H100s для модели 2B; 153 000 часов за 24 дня на 8 H100s для модели 470M.

Разрыв в устойчивости — это строка, которую обычно пропускают. Тридцатипятикратное превосходство в скорости бросается в глаза, но 17,57% WER на дальнем шумном аудио против 14,80% — это 19%-ная относительная разница в ошибках, а шумное аудио как раз и составляет большинство реальных сценариев развёртывания. Если ваш звук идёт с ноутбука на кухне, скоростное преимущество малой модели тратится на транскрипт, который потом приходится исправлять.

Единственная область, где 470M действительно выигрывает по точности

Японский. Карточка TurboCTC утверждает, что превосходит {{1}}модель 2B{{/1}} по частоте ошибок на уровне символов на CSJ eval1, CommonVoice-17 и FLEURS — всех трёх тестовых наборах — и прямо указывает это в тексте карточки, а не прячет в графике. Сами цифры приводятся только на рисунке, поэтому величину выигрыша нельзя процитировать, но само направление — это собственное утверждение IBM о двух её собственных моделях, что делает его более убедительным, чем сравнение между разными поставщиками.

Есть правдоподобный механизм. Модель 2B обрабатывает японский, добавляя к символьной голове фонетический набор катаканы из 92 символов и включая в обучение 16 500 часов ASR с японскими ключевыми словами плюс 9 600 часов Fineweb-2 TTS, но всё равно пропускает результат через языковую модель, обученную в основном на европейских текстах. Модель 470M использует единый многоязычный BPE-словарь на 16 384 единицы, в котором японский присутствует с самого начала, и тратит 8 130 часов на ReazonSpeech и 1 860 — на синтетический японский. Если ваш продукт — это транскрипция японского в больших объёмах, это тот единственный случай, когда малая модель и быстрее, и лучше, и стоит провести прямое тестирование, прежде чем по умолчанию выбирать 2B из-за размера.

Стоимость, рассчитанная, а не названная

IBM не публикует цену ни для одной из этих моделей. Обе представляют собой веса под лицензией Apache 2.0, поэтому стоимость их запуска — это стоимость оборудования, и показатели RTFx — единственный рычаг, который у вас есть для её оценки.

Возьмём нагрузку в 1 000 часов аудио в день — архив колл-центра среднего размера. При 570 RTFx модели 2B потребуется около 6 300 секунд времени GPU, чуть больше 1,7 GPU-часа. При 19 870 RTFx модели 470M потребуется около 181 секунды, или 0,05 GPU-часа. На H100 по цене примерно $2–3 в час это несколько долларов в день против нескольких центов. Оба числа небольшие, и в этом суть: в таком масштабе ни одна из моделей не обходится дорого, и решение следует принимать по точности и возможностям, а не по вычислительным затратам.

На другом конце арифметика меняется. Если вы транскрибируете один поток в реальном времени на ноутбуке или запускаете приложение на устройстве, модели 2B нужен GPU, чтобы успевать за реальным временем, тогда как у 470M остаётся солидный запас — поэтому IBM позиционирует TurboCTC для ноутбуков, телефонов и edge-устройств и документирует mlx-audio для Apple Silicon. 2B также работает на llama.cpp и mlx-audio, но в Q8_0 с предупреждением, что квантование с меньшим числом бит теряет точность после примерно минуты аудио.

Выбор — в том порядке, в котором решение фактически принимается

Не начинайте с бенчмарка. Начните с того, что требует задача, потому что три из различий — это жёсткие требования, а не компромиссы.

Должен ли вывод быть на другом языке, чем входные данные? Тогда это 2B, и сравнивать нечего. 470M не умеет переводить. Это единственное требование исключает его для конвейеров субтитров, многоязычных заметок совещаний и любого англоязычного архива, созданного из аудио не на английском.

Должна ли расшифровка содержать конкретные термины?Названия продуктов, названия лекарств, идентификаторы заявок, список SKU клиента — модель 2B принимает до 2 000 терминов в виде списка ключевых слов и была обучена на 23 600 часах аудио с ключевыми словами именно для этого. У модели 470M нет интерфейса промптов. Развёртывание с глоссарием на малой модели невозможно.

Звук чистый? Если да, разрыв в 0.45 пункта по английскому невелик, а 35-кратное преимущество в скорости почти ничего не стоит. Если нет — совещания, колл-центры, микрофоны дальнего поля — разрыв FFASR в 2.8 пункта говорит о том, что ошибки небольшой модели обойдутся вам дороже, чем экономия на её скорости.

Это японский? Сначала протестируйте 470M. IBM утверждает, что он выигрывает на всех трёх японских тестовых наборах.

Это на устройстве? 470M был разработан для этого. 2B может работать на одном устройстве, но не был разработан для этого.

Честно говоря, это не два размера одного и того же продукта. Одно — это система транскрипции и перевода с панелью управления; другое — очень быстрый и очень дешёвый движок транскрипции без каких-либо элементов управления. Большинству команд, которые считают, что им нужен «тот, что лучше», на самом деле сначала нужно ответить на вопросы о переводе и глоссарии, и эти два ответа всё решают.

Запускать оба, не делая ставку ни на один из них

Разумная продакшн-схема для команды, тестирующей это семейство, — развернуть обе модели, потому что у них противоположные режимы отказов. 470M справляется с массовой чистой транскрипцией по стоимости, которая округляется до нуля; 2B берёт на себя сложное аудио, аудио не на английском и всё, что требует глоссария. Маршрутизатор, который классифицирует каждый входящий файл — определение языка, оценка отношения сигнал/шум, проверка, приложен ли глоссарий, — и отправляет его в правильный чекпойнт, это, пожалуй, пятьдесят строк кода, и он снижает вашу частоту ошибок на хвосте, не платя цены 2B за массовую обработку.

Этот этап классификации — небольшой вызов модели, и именно его стоит выполнять через одну конечную точку, а не встраивать SDK второго поставщика: OrcaRouter предоставляет более 200 моделей за единым OpenAI-совместимым API по прайсовой цене провайдера без наценки, а его DSL маршрутизации позволяет выразить диспетчеризацию по языку и качеству в виде правила, а не кода приложения. Автоматическое переключение при сбое особенно важно в неделю после выпуска, подобного этому, когда контрольная точка существует всего два дня, ничего независимо не проверено, и самый безопасный способ попробовать её — держать тёплым второй путь. Пока ничего из этого не помогает запустить сам Granite Speech — ни одна из контрольных точек сегодня не обслуживается нами, поэтому речевые модели остаются на собственном хостинге, а слой маршрутизации начинается на шаг ниже.

Если вы развёртываете только одну модель, развёртывайте 2B. Это модель, которая умеет всё, что умеет 470M, при скорости, которая всё ещё в тридцать пять раз выше реального времени, и точности, которая лучше на каждом опубликованном IBM бенчмарке, кроме японского. 470M — это специалист, которого добавляют, когда это оправдано стоимостью или профилем задержки, а не вариант по умолчанию, с которого начинают.