Granite Speech 5.0 2B vs Whisper large-v3-turbo : IBM remporte les benchmarks, Whisper l’emporte sur 99 langues

Sur les deux chiffres que la plupart des gens vérifient en premier, Granite Speech 5.0 2B bat Whisper large-v3-turbo et l'écart n'est pas mince. Le modèle d'IBM affiche en moyenne un taux d'erreur sur les mots de 5,06 % sur les neuf ensembles de test en anglais sur des extraits courts de l'Open ASR Leaderboard à 570 RTFx ; le checkpoint turbo d’O​penAI affiche en moyenne 7,83 % à 200 RTFx sur le même classement. Plus rapide et plus précis, sur le même benchmark, avec environ deux ans d'écart entre les dates de sortie. Si votre audio est en anglais et qu'il est propre, c'est toute la comparaison et vous pouvez arrêter de lire. Les défaillances de l'IA et les incidents d'agents documentés associés à des versions comme celle-ci sont recensés dans l'OrcaRouter AI Incident Archive où chaque entrée comporte ses propres sources, un niveau de gravité, une note de confiance et un indicateur de contestation.

La raison pour laquelle cette page doit encore exister, c'est le troisième chiffre : 99. Whisper large-v3-turbo couvre quatre-vingt-dix-neuf langues ; Granite Speech 5.0 2B en couvre six pour la transcription et en traduit deux de plus. Un avantage de 2,8 points de WER sur l'anglais ne vaut rien si l'audio est en vietnamien. La vraie question n'est donc pas de savoir quel modèle est le meilleur — mais si votre combinaison de langues tient dans une boîte à six langues, et ce que coûte la migration si c'est le cas.

Ce qu’est réellement Whisper large-v3-turbo

Il vaut la peine d’être précis ici, car ce nom est accolé à des choses qui ne le désignent pas. Whisper large-v3-turbo est la version élaguée de large-v3 par OpenAI : l’encodeur est inchangé, mais le décodeur compte 4 couches au lieu de 32. Ce seul changement fait passer le modèle de 1 550 M de paramètres à 809 M et triple environ le débit, tout en sacrifiant relativement peu de précision — c’est pourquoi il est devenu le checkpoint ASR rapide par défaut dans tout l’écosystème quelques mois seulement après sa sortie en octobre 2024.

Trois propriétés découlent de cette conception et elles sont toutes importantes pour cette comparaison :

• C'est un modèle de traduction qui s'est retrouvé élagué, si bien qu'il hérite de la transcription et de l'identification de 99 langues — mais la variante turbo n'est pas entraînée pour la traduction. Contrairement à large-v3, il transcrit et identifie la langue ; il ne restitue pas la parole d'une langue sous forme de texte dans une autre. Les équipes le découvrent régulièrement après avoir construit dessus.

• Le décodeur est autoregressif. Il écrit les tokens 4 couches à la fois, ce qui explique pourquoi son débit se situe à 200 RTFx plutôt que dans les milliers. La rapidité de Whisper provenait de la suppression de couches, et non d’un changement du paradigme de décodage.

• Il est sous licence MIT, ce qui est en pratique plus permissif qu'Apache 2.0 sur exactement un point qui compte pour certaines équipes juridiques : aucune clause de concession de brevets à analyser, et aucun fichier d'attribution à joindre.

Le véritable avantage de Whisper n’a jamais été le benchmark. Ce sont deux années d’outillage — faster-whisper, whisper.cpp, l’endpoint managé de chaque cloud, des recettes de quantification, des bibliothèques d’horodatage au niveau des mots, des piles de diarisation construites par-dessus. Cet écosystème constitue un véritable coût de changement, et cette comparaison doit en tenir compte honnêtement.

Là où l'écart est réel, et là où il n'est qu'un artefact du banc de test

La comparaison de 5,06 % contre 7,83 % porte sur le même classement, ce qui la rend plus légitime que la plupart des chiffres inter-fournisseurs — mais il ne s’agit pas d’un essai à conditions identiques, et les détails jouent dans les deux sens.

• Le chiffre de Granite provient de la propre évaluation d'IBM soumise au classement, décrite dans le blog d'annonce comme « non officielle, en date du 15 octobre 2026 ». La fiche du modèle qualifie ces mêmes résultats d'« officiels » au 20 octobre. Choisissez l'adjectif qu'il vous plaît ; personne en dehors d'IBM ne les a reproduits.

• Le chiffre Whisper correspond au résultat publié par le classement pour le checkpoint, obtenu avec l’outil d’évaluation propre au classement, qui constitue un pipeline différent de celui d’IBM.

• Les deux chiffres sont des moyennes sur neuf ensembles de test publics, dont la plupart sont de la parole lue en anglais issue de LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI et VoxPopuli. La faiblesse de Whisper sur ce classement est bien documentée et structurelle : il a été entraîné sur 680 000 heures d’audio web faiblement supervisé, ce qui apporte de l’ampleur au détriment d’un formatage précis.

• Sur l’audio en champ lointain et bruité, l’ordre est maintenu. Le classement FFASR — moyenne des conditions champ proche, SNR élevé, SNR moyen et SNR faible — place whisper-large-v3 à 18,02 %, avec Granite Speech 5.0 2B à 14,80 %. À noter qu’il s’agit de large-v3, pas de turbo ; turbo est généralement un peu moins bon que son parent sur l’audio difficile, car il dispose de moins de couches de décodeur pour se rattraper après une mauvaise estimation acoustique.

Ainsi, l’écart de précision est probablement réel en termes de direction et probablement inférieur à 2,8 points à armes égales. Ce qui n’est pas douteux, c’est d’où il vient : on demande au décodeur de Whisper d’effectuer à la fois l’identification de la langue, la transcription, la ponctuation, la casse et l’alignement des horodatages avec quatre couches, tandis que l’architecture de Granite sépare le travail acoustique (un encodeur CTC avec des têtes caractère et BPE) de la génération de texte (un modèle de langage de 1B).

La boîte linguistique, quantifiée

C’est ici que se prend la décision, elle mérite donc plus qu’un chiffre dans une puce.

• Granite Speech 5.0 2B transcrit l’anglais, le français, l’allemand, l’espagnol, le portugais et le japonais, et traduit entre ces six langues et l’anglais, ainsi que de l’anglais vers l’italien et de l’anglais vers le mandarin.

• Whisper large-v3-turbo transcrit quatre-vingt-dix-neuf langues et identifie celle qu’il entend. Il ne traduit pas.

• Le pendant à sept langues de Granite, Granite Speech 5.0 470M TurboCTC, ajoute l’italien à l’ensemble des langues de transcription — la famille couvre donc sept langues d’Europe et du Japon, et non six.

Quatre-vingt-dix-neuf contre sept, c’est tout l’argument en faveur de Whisper, et il est solide. Mais la répartition pratique compte davantage que le nombre. Si vos fichiers audio sont en anglais, en français, en allemand, en espagnol, en portugais, en japonais et en italien, Granite les couvre. Si vous avez besoin du hindi, de l’arabe, du coréen, du turc, du polonais, du vietnamien, de l’indonésien, du néerlandais, du suédois ou de l’une des quelque quatre-vingt-dix autres langues, Whisper est le seul des deux qui fonctionne — et aucun avantage de WER sur l’anglais n’y change rien.

Le cas intermédiaire est celui dans lequel se trouvent en réalité la plupart des équipes : un produit essentiellement anglophone avec une longue traîne de langues qui ne représente que quelques pour cent des cas. Deux modèles, un par niveau, est une réponse normale et correcte — et c’est moins cher que ça n’en a l’air, car c’est dans la longue traîne que le volume est faible.

L’audio long, les horodatages et ce qui casse à grande échelle

La maturité du déploiement de Whisper se manifeste à des égards qui ne figurent dans aucun benchmark. Horodatages au niveau des mots, détection d’activité vocale, diarisation des locuteurs, streaming avec décodage par blocs — tout cela existe, tout cela a fait ses preuves, et une grande partie repose sur la fenêtre de 30 secondes de Whisper et sur ses jetons d’horodatage.

Granite Speech 5.0 2B prend une forme différente. IBM recommande des segments d’environ deux minutes maximum, découpés avec VAD pour les enregistrements plus longs, et le modèle de langage voit des embeddings à 10 Hz dans un contexte étendu YaRN de 16k. Il n’y a pas de tête d’horodatage au niveau des mots sur le checkpoint de base 2B — la génération 4.1 a livré une variante "-plus" distincte pour l’ASR avec attribution de locuteur et les horodatages au niveau des mots, et aucune variante 5.0 équivalente n’existe encore.

C’est une véritable lacune si vous créez des sous-titres, des transcriptions de réunions avec des libellés d’intervenants, ou tout élément qui nécessite de se positionner sur une phrase. Le blog sur la 5.0 décrit bien des améliorations des horodatages, mais elles concernent le granite-speech-4.1-2b-plus actualisé, et non le 2B de la 5.0.

• Besoin d’horodatages au niveau des mots — Whisper large-v3-turbo aujourd’hui ; Granite 4.1-2b-plus si vous voulez la famille Granite et pouvez accepter le modèle acoustique plus ancien.

• Besoin d'une attribution du locuteur — même réponse ; le 5.0 2B ne le fait pas.

• Besoin d’une exactitude sur des contenus longs au-delà de quelques minutes — les recommandations de Granite pour des segments de deux minutes constituent une limite pratique, et le découpage en blocs de 30 secondes de Whisper avec conditionnement sur le texte précédent a son propre mode de défaillance bien connu (boucles de répétition sur le silence). Aucun des deux n’est manifestement meilleur ; les deux doivent être précédés d’un VAD.

Deux fonctionnalités que Granite possède et que Whisper turbo ne possède pas

Biais par mots-clés. Granite Speech 5.0 2B accepte une liste de mots-clés pouvant comporter jusqu'à 2 000 termes par prompt et a été entraîné sur 23 600 heures d'audio à biais de mots-clés couvrant les groupes de langues européennes et japonaises. Whisper ne propose aucune interface équivalente — le plus proche est une chaîne de prompt qui influence le style et le vocabulaire, sans aucun entraînement derrière. Pour un déploiement qui transcrit des noms de produits, des noms de médicaments, des identifiants de tickets ou le glossaire propre à un client, c'est la différence la plus utile entre les deux modèles, et elle n'apparaît dans aucune moyenne WER.

Invite avec ID de langue. Vous pouvez indiquer à Granite dans quelle langue se trouve l’audio et lui demander de transcrire plutôt que de traduire. Whisper détecte automatiquement la langue et, dans la variante turbo, se contente de transcrire. Pour un corpus multilingue dont vous connaissez déjà la langue grâce aux métadonnées, la forcer élimine toute une catégorie d’erreurs — Whisper identifie parfois mal un court extrait, puis transcrit avec assurance dans la mauvaise langue.

La migration, en étapes qui fonctionnent vraiment

Si la question de la langue est réglée, le changement est moins douloureux que ne le laisse penser l’écart d’écosystème, car la plupart des pipelines basés sur Whisper disposent déjà de la jointure qu’il vous faut.

1. Conservez votre VAD. Les deux modèles veulent des segments, pas des fichiers. Ce que vous utilisez pour segmenter l’audio pour Whisper fonctionnera pour Granite, jusqu’à deux minutes par segment au lieu de trente secondes.

2. Remplacez l’appel de décodage, pas la plomberie. Granite se charge via AutoModelForSpeechSeq2Seq et AutoProcessor dans transformers>=4.52.1, ou via vLLM, llama.cpp en Q8_0, ou mlx-audio sur Apple Silicon. Si votre service invoque faster-whisper en ligne de commande, vous remplacez un appel de modèle local par un autre.

3. Réécrivez le prompt. Granite est piloté par les instructions, et le prompt sélectionne le mode : transcription brute, transcription ponctuée, orienté par mots-clés, langue fixée par identification. C’est l’étape que les équipes sautent, puis elles concluent que le modèle est moins bon parce qu’elles lui ont fourni le comportement par défaut de Whisper.

4. Recalculez votre référence de WER sur votre propre audio, pas sur LibriSpeech. Ce n’est pas une formalité. La faiblesse de Whisper dans le classement réside dans le formatage et la dérive sur les longs extraits ; si votre audio est constitué d’extraits d’anglais propres de 30 secondes et que votre étape en aval est un modèle de langage qui corrige le formatage, l’écart mesuré peut être proche de zéro — ou, si votre audio est accentué et en champ lointain, supérieur à 2,8 points.

5. Prévoyez une voie de repli. La couverture non anglophone de Granite Speech 5.0 2B constitue une limite absolue, et un détecteur de langue en amont du modèle n’est pas optionnel dans un produit multilingue. Tout ce qui sort des sept langues est dirigé vers Whisper.

Où la couche de routage mérite sa place

L’étape cinq est la partie de cette migration qui se transforme en architecture. Un aiguillage selon la langue et la qualité en amont de deux modèles vocaux, plus le modèle de langage qui nettoie ensuite la transcription, représente trois appels de modèle par fichier, et trois intégrations fournisseurs distinctes, c’est comme ça qu’un pipeline simple devient un problème de maintenance.

OrcaRouter est un point de terminaison compatible OpenAI avec plus de 200 modèles au prix catalogue des fournisseurs, sans marge ajoutée, de sorte que l'étape de post-traitement — le nettoyage, le résumé, l'extraction de champs — peut être remplacée ou testée en A/B sans toucher au code de reconnaissance vocale, et une panne chez un fournisseur bascule vers un autre au lieu de faire échouer la tâche. Le DSL de routage peut porter la règle de répartition elle-même : détecter la langue, envoyer les sept langues prises en charge vers le checkpoint Granite auto-hébergé, envoyer tout le reste à Whisper, et transmettre la transcription au modèle de nettoyage requis par la tâche. Ce dernier saut est celui que nous pouvons réellement servir aujourd'hui ; ni Granite Speech 5.0 2B ni Whisper large-v3-turbo ne figurent dans notre catalogue, donc les modèles vocaux restent sur votre propre matériel et le routage commence une étape en aval, où il élimine tout de même l'essentiel du travail d'intégration.

Qui devrait changer, et qui ne devrait pas

Changez si votre audio est en anglais plus les six langues Granite, si la précision compte plus pour vous que la familiarité avec votre écosystème, si vous avez besoin du biais par mots-clés ou de la langue imposée, et si vous pouvez vous passer pour l'instant des horodatages au niveau des mots. Les 5,06 % contre 7,83 % constituent un écart réel dans une direction qui compte, et 570 RTFx contre 200 RTFx signifie que le changement réduit probablement votre facture GPU en même temps.

Ne basculez pas si vous avez besoin de l'une des quatre-vingt-douze autres langues, d'horodatages au niveau des mots, d'une attribution des locuteurs ou d'un point de terminaison géré — Granite Speech 5.0 2B n'est déployé par aucun fournisseur d'inférence au moment de la rédaction, et l'auto-hébergement est la seule voie possible aujourd'hui. Whisper large-v3-turbo est disponible partout, y compris dans les environnements qui ne vous permettent pas d'exécuter vos propres GPU.

Exécutez les deux si vous avez une longue traîne linguistique. La répartition est peu coûteuse, la traîne est par définition à faible volume, et cela supprime le seul argument qui restait à Whisper.