Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC : 64× plus de paramètres, 43× plus lent

L'objet le plus utile de cette comparaison est un fichier de 279 mégaoctets. C'est la quantification Q4_K_M de Granite Speech 5.0 470M TurboCTC, le système de reconnaissance vocale à encodeur seul d'IBM, et il transcrira l'anglais sur un CPU d'ordinateur portable sans GPU, sans environnement Python digne de ce nom et sans contrat de service. Nemotron 3.5 Transcribe, que NVIDIA a publié sous forme de poids ouverts le 28 octobre 2026, est un modèle de langage augmenté par la parole de 30 milliards de paramètres qui nécessite un accélérateur de classe centre de données et environ soixante gigaoctets de poids BF16. Le modèle de NVIDIA est soixante-quatre fois plus grand et, d'après les chiffres de débit publiés par chaque fournisseur, environ quarante-trois fois plus lent par seconde de GPU. C'est aussi le seul des deux qui puisse vous dire qui parlait.

Aucun de ces deux faits n’est décisif. Ils décrivent deux machines différentes qui se trouvent être mesurées sur le même classement, et toute la question est de savoir si votre charge de travail a besoin d’espace ou seulement de mots.

Un modèle CTC non autorégressif face à un LLM génératif de parole

Granite Speech 5.0 470M TurboCTC est constitué de seize blocs Conformer avec une couche de sortie BPE de 16 384 unités, entraîné avec un objectif CTC et décodé de manière gloutonne. Il n’y a ni modèle de langue, ni projecteur, ni boucle de génération : l’audio entre, une séquence d’étiquettes synchrone aux trames en sort, sous-échantillonnée de 100 Hz à 12,5 Hz. C’est pour cela qu’il est rapide, qu’il est compact et qu’il ne peut rien faire que le jeu d’étiquettes ne couvre pas. Il n’a aucune notion de prompt, de style de sortie, de cible de traduction ni de champ locuteur.

Nemotron 3.5 Transcribe est l’architecture opposée, et la différence ne relève pas d’un fossé générationnel. Un encodeur vocal alimente un modèle Nemotron 3 Diarization figé dont le signal d’activité des locuteurs est injecté dans l’encodeur via un Parallel Expert Encoder, et un décodeur hybride Mamba–Transformer à mélange d’experts produit la transcription sous forme de texte, avec environ 4 milliards de ses 30 milliards de paramètres actifs par token. Comme la sortie est générée plutôt que classifiée, il est possible de lui donner des instructions : forme verbatim ou écrite, liste d’entités attendues, cible de traduction, sortie attribuée aux locuteurs ou réponse orale à une question portant sur l’audio.

• Paramètres — environ 30B au total, environ 4B actifs par token, contre 470M en encodeur seul.

• Décodage — génération autorégressive sur un MoE de 30B vs CTC non autorégressif glouton.

• Licence — OpenMDW-1.1 vs Apache-2.0 (la plus permissive des deux ; le pendant -nc distinct d’IBM est CC-BY-NC-SA-4.0).

• Empreinte — environ 60 Go en BF16, avec des versions NVFP4 et GGUF proposées, contre 279 Mo en Q4_K_M dans un portage GGUF communautaire.

Langues — 40 transcrites, 31 traduites contre 7 (anglais, français, allemand, espagnol, portugais, italien, japonais) après la mise à jour multilingue du 21 octobre 2026.

• Intervenants — jusqu’à 8, identifiés, en 13 langues contre aucun ; la diarisation nécessite un modèle distinct.

• Horodatages — au niveau du mot via un adaptateur CTC post-décodage contre aucun ; les positions des pics CTC ne sont pas des frontières de mots.

• Streaming — aucun, audio enregistré uniquement vs aucun.

L'écart de précision est plus petit que l'écart de taille, et les moyennes ne concordent pas.

IBM rapporte un taux d'erreur de mots moyen de 5,51 % sur neuf ensembles de tests publics en anglais pour la version multilingue TurboCTC, contre 5,78 % au lancement d'août. NVIDIA rapporte un WER moyen de 5,33 % en anglais sur le classement Open ASR Leaderboard de Hugging Face, et de 4,71 % sur neuf ensembles de tests publics selon sa propre page de recherche. Les deux chiffres sont déclarés par les fournisseurs, et les deux moyennes ne portent pas sur le même mélange : les neuf ensembles d'IBM et l'entrée du classement de NVIDIA fondée sur huit ensembles diffèrent par leur composition et leur normalisation, et le chiffre distinct sur neuf ensembles de la page de recherche diffère lui aussi de l'entrée du même fournisseur au classement. Il ne faut pas les soustraire et présenter l'écart comme un écart de qualité. L'affirmation défendable est plus étroite : sur le classement public anglais de parole de forme courte, les deux se situent à quelques dixièmes de point l'un de l'autre, ce qui est un résultat remarquable pour un modèle 64 fois plus petit, et un avertissement sur la part de la moyenne d'un classement qui correspond à de la parole lue et propre, à la LibriSpeech.

Le taux d'erreur sur les mots masque aussi ce qui les distingue réellement. Granite est un classifieur : il émet la séquence d'étiquettes la plus probable et, lorsque l'acoustique est ambiguë, il émet quelque chose de plausible. Nemotron génère du texte avec un modèle de langue derrière, ce qui explique pourquoi son argument de prompt contextuel — une réduction par six des erreurs d'entités nommées sur ContextASR-Bench avec une liste d'entités dans le prompt — est même possible. Sur une transcription d'un appel commercial rempli de codes produit, le petit modèle ne dispose d'aucun mécanisme pour ce biais, alors que le grand modèle en dispose.

Débit : 19 870 RTFx contre 462

La fiche du classement Hugging Face pour Nemotron 3.5 Transcribe affiche un RTFx de 462,09 — ce qui signifie que le modèle traite environ 462 secondes d'audio par seconde de calcul sur le banc d'essai du classement. La mise à jour d'octobre d'IBM rapporte 19 870 RTFx pour TurboCTC sur un seul H200, contre environ 12 600 au lancement, après une optimisation de réutilisation de graphe à bloc unique. Cela représente un écart d'un facteur quarante-trois et, contrairement aux chiffres de WER, cet écart est au moins mesuré sur deux accélérateurs concurrents plutôt que sur deux mélanges de test différents.

Le chiffre phare avancé par NVIDIA relève d’un autre ordre : jusqu’à 2 238 secondes d’audio par seconde sur un seul RTX PRO 6000 Blackwell, en utilisant le checkpoint NVFP4 et un modèle draft DFlash2. C’est supérieur aux 462 du classement parce qu’il s’agit d’une mesure différente — des clips de 30 secondes à forte concurrence, comme l’indique le post Hugging Face de NVIDIA, avec le décodage spéculatif activé et une quantification encore décrite comme à venir. En lisant les deux ensemble, la conclusion honnête est que le débit de Nemotron varie d’un ordre de grandeur selon la configuration, tandis que celui de TurboCTC est une propriété de son architecture. Un modèle sans boucle autoregressive ne peut pas être lent comme peut l’être un MoE de 30B.

Ce que 470 millions de paramètres vous apportent que 30 milliards ne peuvent pas

La première réponse concerne la forme du déploiement. Un GGUF de 279 Mo s’exécute sur un CPU, sur un dispositif edge proche d’un téléphone, dans une application de bureau, sur une carte de classe Raspberry Pi si vous êtes patient. Il existe désormais des ports GGUF communautaires et une famille de runtimes C++ qui traite le modèle comme un moteur de première classe. Nemotron 3.5 Transcribe s’exécute sous vLLM avec le plugin NeMo Speech, ou SGLang-Omni, sur un accélérateur de 80 Go en BF16 ou une carte Blackwell en NVFP4. Ce ne sont pas deux points sur un spectre ; ce sont des catégories d’achat différentes.

Le second est le plancher de latence. Un modèle CTC renvoie une transcription en une seule passe avant. Un modèle génératif renvoie un token à la fois, et sa latence réelle sur un fichier court est dominée par la boucle de décodage plutôt que par l'audio. Pour les archives par lots, cela n'a aucune importance. Pour tout ce qui est interactif — une zone de dictée, un moniteur de qualité d'appel, un outil de sous-titrage qui doit suivre un défilement — le petit modèle est le seul des deux qui termine avant que l'utilisateur ne s'en aperçoive.

Troisièmement, la clarté des licences. Apache-2.0 est la licence que les services juridiques ont déjà approuvée ; OpenMDW-1.1 est suffisamment récente pour que certains d'entre eux souhaitent un examen. Si ce qui vous bloque est un formulaire d'achat plutôt qu'un benchmark, le modèle d'IBM le franchit plus rapidement.

Ce que 30 milliards de paramètres vous apportent que 470 millions ne peuvent pas

Les locuteurs, d’abord et de manière décisive. TurboCTC n’a aucune représentation des locuteurs. Pour obtenir des transcriptions attribuées, il faut placer un modèle de diarisation devant, ajouter une étape de fusion et prévoir un budget d’erreurs pour cette fusion — la cascade classique. Nemotron 3.5 Transcribe intègre un modèle de diarisation gelé dans l’encodeur et produit directement des étiquettes de locuteur, jusqu’à huit, en 13 langues, avec des horodatages de mots attribués aux locuteurs issus d’un adaptateur CTC post-décodage. Le taux d’erreur de diarisation rapporté par NVIDIA est de 18,26 % sur 21 langues dans le benchmark David AI, soit le meilleur de 14 systèmes, le concurrent le plus proche étant son propre modèle Nemotron 3 Diarization à 18,38 %. Ce sont des chiffres du fournisseur sur un banc d’essai du fournisseur, et ils n’ont pas été reproduits indépendamment. La comparaison en cascade qu’ils impliquent — un modèle contre trois — n’est pas du tout une affirmation de benchmark, c’est une description du déploiement.

Les langues et la traduction viennent ensuite. TurboCTC couvre sept langues après sa mise à jour d’octobre ; Nemotron en couvre quarante pour la transcription et trente et une pour la traduction depuis ou vers l’anglais. Si votre file d’attente est européenne et monolingue, sept suffisent. Si ce n’est pas le cas, la comparaison s’arrête.

Troisièmement, le fine-tuning. NVIDIA rapporte une adaptation sur un seul GPU à 0,5 à 2,3 heures-GPU par tâche, ainsi qu’un exemple de parole médicale dans lequel un fine-tuning a fait passer le taux d’erreur de mots de 30,8 % à 11,8 % sur 3 619 extraits audio, avec des locuteurs non vus s’améliorant de 22,44 % à 12,17 %. TurboCTC d’IBM est également fine-tunable — il est sous Apache-2.0 — mais vous fine-tuneriez une tête CTC sur un modèle beaucoup plus petit, et le plafond de ce que du contexte supplémentaire peut vous apporter est plus bas, car il n’y a pas de modèle de langue pour convaincre.

Le modèle de coûts qui le détermine

L’économie de TurboCTC est presque ennuyeuse. Un seul H200 servant 19 870 RTFx sature une très grande file d’attente ; une version quantifiée de 279 Mo sur des processeurs standard ne coûte presque rien par heure audio, et l’électricité constitue le poste de coût. Il n’existe nulle part dans la pile de compteur à la minute.

L’économie de Nemotron présente la même structure à une échelle différente : pas de compteur à la minute, mais un accélérateur bien plus important et un plafond de débit bien plus bas. Une carte Blackwell traitant 2 238 secondes d’audio par seconde couvre 100 heures en moins de trois minutes à forte concurrence, et bien moins encore sur des réunions d’une heure avec chevauchement.

• Une file d’attente de 20 heures par mois — TurboCTC sur un CPU est pratiquement gratuit ; Nemotron nécessite un accélérateur loué ou possédé qui restera inactif la majeure partie du mois.

• Un archivage de 2 000 heures par mois sans exigences relatives aux locuteurs — TurboCTC sur un seul GPU, ou une petite flotte de CPU, constitue la configuration la moins chère et la plus rapide, et de loin.

• Une archive de 2 000 heures par mois de réunions à six personnes — TurboCTC plus un diariseur plus une couche de fusion, mesurée par rapport à Nemotron sur une seule carte. C’est la seule configuration où le prix du grand modèle est défendable, et même ici, la cascade coûte moins cher en matériel.

• Tout élément soumis à une contrainte de confidentialité qui interdit le téléversement d’audio — les deux peuvent être auto-hébergés, donc la contrainte est satisfaite dans les deux cas, et la décision revient aux locuteurs et aux langues.

La partie post-traitement du pipeline est celle où une couche de routage justifie son utilité, quel que soit le moteur de reconnaissance choisi. Les transcriptions sont résumées, étiquetées et routées, et OrcaRouter place plus de 200 modèles textuels et multimodaux derrière une seule clé, avec les prix catalogue des fournisseurs répercutés à 0 % de marge, un basculement automatique, et un DSL de routage capable d’envoyer une catégorie de transcriptions vers un résumeur bon marché et une autre vers un modèle plus puissant, sans deuxième intégration. Ni Nemotron 3.5 Transcribe ni Granite Speech 5.0 470M TurboCTC ne sont proposés sur ce catalogue — nous n’hébergeons pas de reconnaissance vocale — le choix de la reconnaissance vocale reste donc un contrat distinct, et seule la couche située au-dessus devient portable.

Choisissez en fonction de la forme du poste, et non du classement

Si le travail consiste à « transformer beaucoup d’audio propre, essentiellement en anglais, en texte aussi économiquement et rapidement que possible », Granite Speech 5.0 470M TurboCTC l’emporte, et la comparaison n’est pas serrée : c’est un modèle de 279 Mo sous licence Apache qui est plus de quarante fois plus rapide qu’un système 30B et ne sacrifie presque rien sur la moyenne publique en anglais. La cascade que vous construisez pour les locuteurs est le prix de cette efficacité, et si vous n’avez jamais eu besoin des locuteurs, vous ne payez jamais ce prix.

Si le travail consiste à « produire une transcription structurée, horodatée et attribuée à partir d’un enregistrement difficile dans l’une de quarante langues », Nemotron 3.5 Transcribe est le seul des deux à tenter de le faire, et les chiffres de diarisation du fournisseur — pas encore reproduits indépendamment — suggèrent qu’il y parvient mieux que les cascades qu’il remplace. Le coût en débit est réel, le coût matériel est réel, et pour une charge de travail à forte composante de réunions, ni l’un ni l’autre n’est prohibitif.

L’erreur à éviter est de traiter cela comme une compétition entre générations. Un modèle CTC de 470 M n’est pas une version dépassée d’un LLM vocal de 30 B ; c’est un instrument différent qui se trouve obtenir un score similaire sur un benchmark construit en grande partie à partir de parole lue et propre. La prochaine version ne le rendra pas obsolète. C’est votre propre pire enregistrement qui vous dira lequel il vous fallait.