Granite Speech 5.0 2B против Whisper large-v3-turbo: IBM побеждает в бенчмарках, Whisper — по 99 языкам

По двум числам, которые большинство людей проверяют в первую очередь, Granite Speech 5.0 2B превосходит Whisper large-v3-turbo, и с заметным отрывом. Модель IBM показывает в среднем 5,06% частоты ошибок в словах на девяти англоязычных наборах коротких тестов Open ASR Leaderboard при 570 RTFx; турбо-чекпойнт OpenAI — в среднем 7,83% при 200 RTFx на том же лидерборде. Быстрее и точнее, на одном и том же бенчмарке, с разницей в дате выпуска около двух лет. Если ваше аудио на английском и оно чистое, на этом сравнение исчерпано, и дальше можете не читать. Документированные сбои ИИ и инциденты с агентами, стоящие за подобными релизами, собраны в the OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, степень серьёзности, оценку достоверности и флаг спорности.

Причина, по которой эта страница всё ещё должна существовать, — третье число: 99. Whisper large-v3-turbo охватывает девяносто девять языков; Granite Speech 5.0 2B охватывает шесть для транскрипции и переводит ещё на два. Преимущество в 2,8 пункта WER на английском ничего не стоит, если аудио на вьетнамском. Поэтому настоящий вопрос не в том, какая модель лучше, — а в том, помещается ли ваш языковой набор в рамки шести языков и во сколько обойдётся миграция, если да.

Что на самом деле представляет собой Whisper large-v3-turbo

Здесь стоит быть точным, потому что это название прикрепляется к вещам, которые им не являются. Whisper large-v3-turbo — это сокращённая версия large-v3 от OpenAI: энкодер не изменён, но декодер имеет 4 слоя вместо 32. Одно это изменение уменьшает число параметров модели с 1 550 млн до 809 млн и примерно втрое увеличивает пропускную способность, при этом отнимая сравнительно немного точности — поэтому в течение нескольких месяцев после выпуска в октябре 2024 года он стал стандартным быстрым ASR-чекпоинтом во всей экосистеме.

Из этой конструкции следуют три свойства, и все они важны для данного сравнения:

• Это модель перевода, которую так получилось подвергли прунингу, поэтому она наследует возможности транскрипции и определения языка для 99 языков — но turbo-вариант не обучен переводу. В отличие от large-v3, она выполняет транскрипцию и определяет язык; она не преобразует речь на одном языке в текст на другом. Команды регулярно обнаруживают это уже после того, как построят на ней что-то.

• Декодер является авторегрессионным. Он записывает токены по 4 слоя за раз, поэтому его пропускная способность составляет 200 RTFx, а не тысячи. Скорость Whisper была достигнута за счёт удаления слоёв, а не за счёт изменения парадигмы декодирования.

• Он распространяется по лицензии MIT, которая на практике более разрешительна, чем Apache 2.0, ровно в одном отношении, важном для некоторых юридических команд: не нужно анализировать пункт о патентном гранте и не нужно прилагать файл с указанием авторства.

Настоящим преимуществом Whisper никогда не был бенчмарк. Это два года инструментария — faster-whisper, whisper.cpp, управляемые эндпоинты в каждом облаке, рецепты квантования, библиотеки пословных временных меток, стеки диаризации, построенные поверх него. Эта экосистема — реальная стоимость переключения, и это сравнение должно честно её учитывать.

Где разрыв реален, а где он — артефакт тестового стенда

Сравнение 5,06% против 7,83% проводится на одном и том же табло лидеров, что делает его более правомерным, чем большинство межвендорных цифр, — но это не сопоставимый прогон, и детали можно трактовать в обе стороны.

• Показатель Granite взят из собственного оценочного прогона IBM, отправленного в таблицу лидеров; в блоге-анонсе он описан как «неофициальный, по состоянию на 15 октября 2026 года». В карточке модели те же результаты названы «официальными» по состоянию на 20 октября. Выбирайте прилагательное на свой вкус; никто за пределами IBM это не воспроизвёл.

• Значение Whisper — это опубликованный в таблице лидеров результат для этого чекпоинта, полученный с помощью собственного стенда таблицы лидеров, который представляет собой отдельный пайплайн, отличный от пайплайна IBM.

• Оба числа — это средние значения по девяти публичным тестовым наборам, большинство из которых составляют английская речь, читаемая вслух, из LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI и VoxPopuli. Слабость Whisper на этом стенде хорошо задокументирована и носит структурный характер: модель обучалась на 680 000 часов веб-аудио со слабой разметкой, что даёт широту ценой точного форматирования.

• На дальнем поле и зашумлённом аудио порядок сохраняется. В таблице FFASR — с усреднением по ближнему полю, высокому SNR, среднему SNR и низкому SNR — whisper-large-v3 показывает 18.02%, а Granite Speech 5.0 2B — 14.80%. Обратите внимание: это large-v3, а не turbo; turbo обычно немного хуже своей родительской модели на сложном аудио, потому что у него меньше слоёв декодера, чтобы исправить неудачное акустическое предположение.

Итак, разрыв в точности, вероятно, действительно существует по направлению и, вероятно, меньше 2,8 пункта при честном сравнении. В чём нет сомнений — так это в том, откуда он берётся: декодер Whisper вынужден одновременно выполнять определение языка, транскрипцию, расстановку пунктуации, выбор регистра и выравнивание временных меток всего с четырьмя слоями, тогда как архитектура Granite разделяет акустическую работу (CTC-энкодер с символьной и BPE-головами) и генерацию текста (языковая модель на 1 млрд параметров).

Языковая коробка, в количественном выражении

Здесь принимается решение, поэтому оно заслуживает большего, чем просто цифра в пункте списка.

Granite Speech 5.0 2B транскрибирует английский, французский, немецкий, испанский, португальский и японский языки, а также переводит между этими шестью языками и английским, кроме того — с английского на итальянский и с английского на китайский (мандарин).

• Whisper large-v3-turbo транскрибирует девяносто девять языков и определяет, какой именно из них слышит. Он не переводит.

Семиязычный собрат Granite — Granite Speech 5.0 470M TurboCTC — добавляет итальянский в набор для транскрипции, так что семейство охватывает семь языков — европейские и японский, — а не шесть.

Девяносто девять против семи — это весь аргумент в пользу Whisper, и он очень весомый. Но практическое распределение важнее количества. Если ваше аудио на английском, французском, немецком, испанском, португальском, японском и итальянском, Granite его покрывает. Если вам нужны хинди, арабский, корейский, турецкий, польский, вьетнамский, индонезийский, нидерландский, шведский или любой из остальных девяноста с лишним, Whisper — единственный из этих двух, который работает, — и никакое преимущество по WER на английском этого не меняет.

Средний случай — тот, в котором на самом деле находится большинство команд: продукт в основном на английском с длинным хвостом языков, которые встречаются в несколько процентов случаев. Две модели, по одной на каждый уровень, — нормальное и правильное решение, и оно дешевле, чем кажется, потому что именно в хвосте объём низкий.

Длинное аудио, метки времени и то, что ломается при масштабировании

История развёртывания Whisper зрелая в тех аспектах, которые не отражены ни в одном бенчмарке. Пословные временные метки, детекция голосовой активности, диаризация говорящих, потоковая обработка с чанковым декодированием — всё это существует, всё это проверено в бою, и многое из этого рассчитывает на 30-секундное окно Whisper и его токены временных меток.

Granite Speech 5.0 2B устроена иначе. IBM рекомендует сегменты длительностью до примерно двух минут, а более длинные записи разбивать с помощью VAD; языковая модель получает эмбеддинги с частотой 10 Гц в контексте, расширенном YaRN до 16k. В базовом чекпоинте 2B нет головы для пословных временных меток — в поколении 4.1 поставлялся отдельный вариант «-plus» для ASR с атрибуцией говорящего и пословными временными метками, а эквивалентного варианта для 5.0 пока не существует.

Это реальный пробел, если вы создаёте субтитры, расшифровки встреч с метками говорящих или что-либо, что требует перехода к фразе. В блоге о 5.0 действительно описываются улучшения временных меток, но они относятся к обновлённой granite-speech-4.1-2b-plus, а не к 5.0 2B.

• Нужны временные метки на уровне слов — сегодня это Whisper large-v3-turbo; Granite 4.1-2b-plus, если вам нужна линейка Granite и вы готовы принять более старую акустическую модель.

• Нужна атрибуция говорящего — тот же ответ; 5.0 2B этого не делает.

• Нужна точность на длинных фрагментах дольше нескольких минут — рекомендация Granite по сегментам длиной две минуты является практическим ограничением, а разбиение Whisper на 30-секундные фрагменты с опорой на предыдущий текст имеет свой известный режим отказа (циклы повторения на тишине). Ни один из них явно не лучше; обоим нужен VAD перед ними.

Две функции, которые есть в Granite, но которых нет в Whisper turbo

Смещение по ключевым словам.Granite Speech 5.0 2B принимает список ключевых слов до 2000 терминов на один запрос и обучался на 23 600 часах аудио со смещением по ключевым словам в европейской и японской языковых группах. У Whisper нет аналогичного интерфейса — ближайшее, что есть, это строка подсказки, которая слегка направляет стиль и словарный запас, без какого-либо обучения за этим. Для развёртывания, транскрибирующего названия продуктов, лекарств, идентификаторы заявок или собственный глоссарий заказчика, это самое полезное различие между двумя моделями, и оно не проявляется ни в каком среднем WER.

Указание языка в промпте. Вы можете сообщить Granite, на каком языке аудио, и дать команду транскрибировать, а не переводить. Whisper определяет язык автоматически и в варианте turbo только транскрибирует. Для смешанного корпуса, где язык уже известен из метаданных, принудительное указание устраняет целый класс ошибок — Whisper иногда неверно определяет короткий фрагмент и затем уверенно транскрибирует на неправильном языке.

Миграция — по шагам, которые действительно работают

Если вопрос с языком прояснится, переход окажется менее болезненным, чем можно предположить по разрыву в экосистеме, потому что в большинстве конвейеров на основе Whisper уже есть нужная вам точка стыковки.

1. Оставьте свой VAD. Обеим моделям нужны сегменты, а не файлы. То, что вы используете для нарезки аудио для Whisper, подойдёт и для Granite — до двух минут на сегмент вместо тридцати секунд.

2. Замените вызов декодирования, а не обвязку. Granite загружается через AutoModelForSpeechSeq2Seq и AutoProcessor в transformers>=4.52.1 либо через vLLM, llama.cpp с Q8_0 или mlx-audio на Apple Silicon. Если ваш сервис вызывает faster-whisper как внешний процесс, вы заменяете один локальный вызов модели на другой.

3. Перепишите промпт. Granite управляется инструкциями, и промпт задаёт режим: необработанная расшифровка, расшифровка с пунктуацией, с ключевыми словами-подсказками, с закреплённым идентификатором языка. Именно этот шаг команды пропускают, а потом заключают, что модель хуже, потому что скормили ей поведение Whisper по умолчанию.

4. Заново измерьте базовый WER на собственных аудиозаписях, а не на LibriSpeech. Это не формальность. Слабое место Whisper в таблице лидеров — форматирование и дрейф на длинных фрагментах; если ваши аудиозаписи — это 30-секундные чистые англоязычные клипы, а следующий этап обработки — языковая модель, исправляющая форматирование, измеренный разрыв может быть близок к нулю — или, если ваша речь с акцентом и записана в дальней зоне, превышать 2,8 пункта.

5. Сохраняйте резервный путь. Поддержка неанглийских языков в Granite Speech 5.0 2B имеет жёсткую границу, и детектор языка перед моделью не является опциональным в многоязычном продукте. Всё, что выходит за пределы этих семи языков, направляется в Whisper.

Где слой маршрутизации заслуживает своё место

Пятый шаг — это та часть миграции, которая превращается в архитектуру. Диспетчеризация по языку и качеству перед двумя речевыми моделями плюс любая языковая модель, которая затем очищает расшифровку, — это три вызова моделей на файл, а три отдельные интеграции с поставщиками — это то, как простой конвейер превращается в проблему сопровождения.

OrcaRouter — это единый эндпоинт, совместимый с OpenAI, более 200 моделей по прейскурантной цене провайдера без наценки, поэтому этап постобработки — очистку, суммаризацию, извлечение полей — можно заменять или тестировать A/B, не трогая код распознавания речи, а при сбое провайдера выполняется переключение на резерв, а не срыв задачи. DSL маршрутизации может содержать само правило диспетчеризации: определить язык, направить семь поддерживаемых языков в самостоятельно размещённый чекпойнт Granite, всё остальное отправить в Whisper и передать транскрипт той модели очистки, которая требуется для задачи. Именно этот последний переход мы действительно можем обслуживать уже сегодня; ни Granite Speech 5.0 2B, ни Whisper large-v3-turbo нет в нашем каталоге, поэтому речевые модели остаются на вашем собственном оборудовании, а маршрутизация начинается на один шаг ниже по потоку, где она всё ещё снимает большую часть интеграционной работы.

Кому стоит переключиться, а кому — нет

Переключайтесь, если ваше аудио — это английский плюс шесть языков Granite, точность для вас важнее, чем привычность экосистемы, вам нужен биасинг по ключевым словам или принудительный выбор языка, и пока можете обойтись без временных меток на уровне слов. 5,06% против 7,83% — это реальный разрыв в направлении, которое имеет значение, а 570 RTFx против 200 RTFx означают, что переключение, вероятно, одновременно снизит ваши расходы на GPU.

Не переключайтесь, если вам нужен любой из остальных девяноста двух языков, временные метки на уровне слов, атрибуция говорящего или управляемая конечная точка — Granite Speech 5.0 2B на момент написания не развёрнут ни одним поставщиком инференса, и сегодня единственный путь к нему — самостоятельный хостинг. Whisper large-v3-turbo доступен повсюду, включая места, где вам не разрешат запускать собственные GPU.

Запускайте оба, если у вас длинный языковой хвост. Диспетчеризация дешева, хвост по определению мал по объёму, и это снимает единственный аргумент, который у Whisper ещё остался.