Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo : 40 fois l’empreinte pour un point de WER

Si votre tâche de transcription porte sur un dossier d’extraits d’interviews mono de trois minutes et que la machine dont vous disposez est une carte de station de travail de 24 Go, la comparaison entre Nemotron 3.5 Transcribe et Whisper Large v3 Turbo est déjà réglée avant même que la précision n’entre en jeu. Le nouveau modèle de NVIDIA est un système vocal de 34 milliards de paramètres qui a été validé sur un accélérateur de 80 Go. La variante turbo d’OpenAI est un modèle de 809 millions de paramètres qui tient dans 0,8 Go de poids int8 et tourne sur un CPU. On les compare cette semaine parce que leurs taux d’erreur sont tombés à environ un point d’écart, et c’est le fait le moins utile concernant ce duo.

Nemotron 3.5 Transcribe est sorti le 2026-10-28 en tant que poids ouverts sous la licence OpenMDW-1.1, qui autorise un usage commercial. Whisper Large v3 Turbo date du 2024-10-01 et est sous licence MIT ; ce n’est pas une nouveauté, c’est la référence à laquelle chaque nouveau modèle vocal est comparé. La question à laquelle cet article répond n’est pas de savoir lequel obtient les meilleurs scores — les deux fournisseurs aimeraient que vous le lisiez ainsi — mais lequel vous pouvez réellement exécuter, à quel coût, sur l’audio dont vous disposez.

Ce qu’est réellement chaque modèle

La différence d’architecture n’est pas un fossé générationnel. C’est une différence de catégorie, et elle explique presque tous les compromis en aval.

• Architecture — un LLM à mélange d'experts hybride Mamba–Transformer, avec un encodeur vocal et un encodeur de diarisation gelé de 99M greffés dessus, environ 34B au total avec 4,3B actifs par token, contre un encodeur–décodeur distillé à partir de large-v3, dont le décodeur passe de 32 couches à 4.

• Fenêtre audio — enregistrements allant jusqu’à une heure traités en une seule passe, par opposition à une fenêtre fixe de 30 secondes avec un décodage segmenté des formats longs pour tout ce qui dépasse cette durée.

• Étiquettes de locuteur — intégrées à la sortie, jusqu’à 8 locuteurs, en 13 langues, contre aucune ; Whisper n’a aucun jeton de locuteur dans son vocabulaire, donc un diariseur séparé est obligatoire.

• Synchronisation au niveau des mots — {{1}}un adaptateur CTC léger aligne la transcription finale sur l’audio, contrairement à des jetons d’horodatage uniquement au niveau des segments, la synchronisation au niveau des mots nécessitant un alignement forcé.{{/1}}

• Couverture linguistique — 40 langues transcrites, 31 traduites vers ou depuis l’anglais, 13 avec attribution du locuteur, contre 99 langues transcrites et aucune traduction.

• Poids sur disque — environ 68 Go en BF16 sous OpenMDW-1.1, contre 1,6 Go en fp16, 0,81 Go en int8, sous MIT.

Les chiffres de précision ne concordent pas, et c'est justement là tout l'enjeu

Artificial Analysis propose le seul index public où les deux modèles figurent sur la même échelle, et ses chiffres méritent une lecture attentive car ils se contredisent. Dans le tableau du classement, Whisper Large v3 Turbo est affiché à 4,6 % d’AA-WER sur un point de terminaison d’inférence rapide et à 5,5 % sur un second. Nemotron 3.5 Transcribe est affiché à 3,4 % pour un point de terminaison hébergé. L’annonce de NVIDIA elle-même cite 2,80 % d’AA-WER, à égalité au premier rang parmi les modèles à poids ouverts, et la section rédigée du même classement répète 2,8 % tandis que son tableau porte 3,4 % — une divergence au sein d’une seule page, avant même que quiconque ne commence à comparer les fournisseurs.

Si l’on prend le tableau au pied de la lettre, Nemotron 3.5 Transcribe a environ 1,2 point de mieux. Remarquez maintenant que les deux entrées de Whisper Large v3 Turbo pour le même modèle diffèrent de 0,9 point. L’essentiel de l’écart apparent entre ces deux systèmes relève de la configuration des endpoints — traitement par lots, paramètres de décodage, prétraitement audio — et non de l’architecture. Quiconque cite un seul écart de WER comme verdict cite un chiffre qui varie à peu près d’autant lorsqu’on change d’hôte.

L'Open ASR Leaderboard raconte une histoire qui paraît plus impressionnante. La moyenne en anglais sur format court de Whisper Large v3 Turbo s'y établit autour de 7,8 %, tandis que NVIDIA annonce 4,71 % pour son modèle sur neuf jeux de test sur la page de recherche, et 5,33 % de WER moyen en anglais dans l'article Hugging Face associé. Il s'agit de mélanges de tests différents avec des normalisations différentes, donc l'écart de trois points n'a au mieux qu'une valeur indicative. Ce qui compte davantage, c'est ce qui n'existe pas : une comparaison directe menée par un fournisseur face à Whisper Large v3 Turbo. NVIDIA compare son modèle à des systèmes de diarisation en cascade et à d'autres modèles vocaux à poids ouverts, pas au checkpoint turbo que la plupart des équipes utilisent aujourd'hui. Chaque chiffre « bat Whisper » en circulation est une déduction à partir de benchmarks, y compris le nôtre.

L'écart de capacités que Whisper ne peut combler

Si l’on met de côté la sortie pilotée par prompt, la différence déterminante est que Nemotron 3.5 Transcribe produit des transcriptions avec attribution des locuteurs en une seule passe. Les balises de locuteur proviennent de l’encodeur de diarisation figé fusionné dans les caractéristiques audio, la réponse contient les segments bruts des locuteurs aux côtés de la transcription balisée, et le modèle les étiquette de <spk:0> à <spk:7>. Pour un podcast à deux personnes, c’est une commodité. Pour un entretien disciplinaire de 60 minutes, une consultation clinique ou un appel commercial à plusieurs participants, c’est là tout l’intérêt du produit.

Whisper Large v3 Turbo ne peut pas du tout représenter un locuteur. Les transcriptions qui ont servi à son entraînement n'ont jamais comporté d'étiquettes de locuteur, et son entrée est ramenée en mono 16 kHz, ce qui détruit le seul indice physique qui aurait pu subsister. Lui demander de produire des étiquettes donne un texte qui semble correct mais qui n'a aucun ancrage dans l'audio. Le contournement standard est WhisperX : un alignement forcé pour le minutage des mots, plus un modèle de diarisation hébergé séparément, assemblés aux frontières des segments. Cela fonctionne, c'est largement déployé, et cela fait trois composants mobiles là où Nemotron 3.5 Transcribe n'en compte qu'un.

Le même avantage structurel s’applique à l’audio long. Une heure en une seule passe vaut mieux que l’assemblage de fenêtres de 30 secondes, et l’assemblage de fenêtres présente un mode de défaillance connu : le décodage sans jetons d’horodatage fait perdre des mots à presque chaque frontière — une conférence de 20 minutes mesurée a ainsi perdu environ 3 % de ses mots. L’adaptateur CTC de Nemotron 3.5 Transcribe existe précisément pour éviter cette classe d’erreurs, mais notez toutefois que les horodatages des mots ne faisaient pas partie de la prise en charge initiale de vLLM.

Sur les tâches pour lesquelles il a été conçu, les chiffres rapportés par NVIDIA sont solides et déclarés par le fournisseur : 18,26 % de DER sur 21 langues au benchmark de diarisation David AI, décrit comme le meilleur de 14 systèmes ; 32,4 % de cpWER sur VoiceArena, également le meilleur de 14. Les listes d’entités contextuelles, fournies dans le prompt, sont créditées d’une réduction par six des erreurs d’entités nommées sur ContextASR-Bench. Rien de tout cela n’a encore fait l’objet d’une réplication indépendante, et tout cela est une affirmation à propos d’un modèle qui n’a qu’un jour.

Là où Whisper Large v3 Turbo l’emporte encore haut la main

L’étendue des langues est la première réponse, et elle est moins ennuyeuse qu’il n’y paraît. Whisper Large v3 Turbo couvre 99 langues. Nemotron 3.5 Transcribe en couvre 40 pour la transcription, 31 pour la traduction et 13 pour l’attribution des locuteurs. Si votre file d’attente contient du kazakh, du tamoul, du swahili ou du gallois, la comparaison s’arrête là : le modèle turbo les transcrit, et le modèle plus récent et plus grand ne prétend pas le faire.

La seconde réponse est la friction de déploiement. Whisper Large v3 Turbo tourne sous whisper.cpp, faster-whisper et MLX, sur CPU, sur un ordinateur portable, sur un Jetson. Nemotron 3.5 Transcribe exige vLLM 0.32.0 plus le plugin NeMo Speech, ou SGLang-Omni 0.2.0, sur un H100 de 80 Go en BF16, un L40S en FP8, ou une RTX 5090 en NVFP4. Ce ne sont pas là des engagements opérationnels comparables.

Le troisième point est que le prix de turbo est un tarif horaire publié et ennuyeux. Les endpoints hébergés facturent environ 0,04 $ par heure audio avec un minimum de dix secondes, et il tourne à environ 250× le temps réel sur un endpoint rapide. Mille heures d’audio coûtent environ 40 $. Nemotron 3.5 Transcribe n’a aucun prix catalogue divulgué pour le checkpoint complet, et les endpoints hébergés qui le proposent ne publient pas de tarifs à la minute.

Vérifiez quel Nemotron 3.5 vous évaluez.

L’erreur la plus fréquente dans la couverture de cette semaine est de comparer le mauvais modèle. Une large part des comparaisons publiées de « Nemotron 3.5 » évaluent en réalité nvidia/nemotron-3.5-asr-streaming-0.6b — un modèle de streaming de 0,6B tenant compte du cache, issu d’une version antérieure, avec ses propres chiffres et ses propres faiblesses. Si un tableau mentionne des segments de 80 ms à 1120 ms, il ne teste pas Nemotron 3.5 Transcribe. Cela compte parce que le modèle de streaming est moins performant que Whisper Large v3 Turbo en précision brute dans les comparaisons réelles (3,35 % contre 2,55 % sur un classement multilingue) et perd largement en alignement des mots, tandis que le modèle dont il est question ici est un système différent, non-streaming, de 34B.

Le deuxième piège concerne le service. La voie facile, SGLang-Omni 0.2.0, vous donne un point de terminaison fonctionnel sans NeMo — et sans horodatages, étiquettes d’intervenant ni traduction. La voie complète, vLLM 0.32.0 avec le plugin NeMo Speech, vous donne les trois, mais les horodatages au niveau du mot sont arrivés dans un suivi plutôt que dans la première PR. Trois recettes de déploiement appelées « Nemotron 3.5 Transcribe » peuvent donc se comporter comme trois produits différents. Si l’attribution des intervenants est la raison de votre bascule, vérifiez cette solution avant d’y consacrer du temps d’ingénierie.

Ce que ça coûte en fonctionnement, honnêtement

La comparaison en hébergement est presque triviale : Whisper Large v3 Turbo, à environ 0,04 $ par heure d’audio, revient à ~40 $ pour mille heures, sans matériel à posséder. Nemotron 3.5 Transcribe n’est pas encore vendu de cette manière, donc une équipe qui le veut doit budgéter un GPU, pas une facture.

La revendication de débit de NVIDIA elle-même constitue le plancher de calcul : 2 238 secondes d’audio par seconde de temps GPU, en NVFP4 avec le drafter DFlash2 sur une RTX PRO 6000 Blackwell, ce qui représente environ 100 heures d’audio en moins de trois minutes. À environ 2 $ par heure-GPU à la demande, cela implique un plancher bien inférieur à un cent par heure d’audio — à pleine mise en lots, ce qui ne correspond pas au comportement d’une file d’attente de production. Considérez-le comme le plafond de ce que le matériel peut faire, et non comme un débit que vous atteindrez.

Ce qui signifie que la véritable comparaison n’oppose pas Whisper Large v3 Turbo à Nemotron 3.5 Transcribe. Elle oppose Nemotron 3.5 Transcribe à Whisper Large v3 Turbo accompagné d’un modèle de diarisation, d’un aligneur forcé, d’un code de fusion de segments et des réglages par langue qu’exige cet assemblage. Si vous exploitez déjà WhisperX en production, vous avez déjà absorbé l’essentiel de ce coût, et l’argument en faveur d’un changement est plus faible que ne le suggère l’écart de WER. Si vous ne l’avez pas construit, le modèle 30B est en concurrence avec un pipeline pour lequel il vous faudrait autrement constituer une équipe.

Une remarque pratique pour quiconque utilise les deux en parallèle pendant une migration : garder deux backends de transcription derrière un seul point de terminaison compatible OpenAIfait du basculement une simple modification de configuration plutôt qu’un second contrat avec un fournisseur. C’est précisément la couche que OrcaRouter a pour vocation de fournir — une seule clé et un seul point de terminaison pour l’ensemble des fournisseurs qu’il route, avec le prix catalogue du fournisseur répercuté à 0 % de marge et un basculement automatique entre eux. Cela ne change rien au modèle qui est meilleur. Cela change ce que coûte le fait de le découvrir, et ce que coûte le fait de se tromper.

Qui devrait choisir lequel ?

• Enregistrements de réunions, juridiques, cliniques ou de centres de contact avec plusieurs locuteurs et une piste d’audit — Nemotron 3.5 Transcribe. L’attribution des locuteurs et l’horodatage des mots en une seule passe sont la fonctionnalité que vous auriez sinon à assembler vous-même, et la fenêtre d’une heure supprime entièrement la logique de segmentation.

• Audio mono à haut volume, large couverture linguistique, déploiement sur ordinateur portable ou CPU, facturation horaire prévisible — Whisper Large v3 Turbo. Avec 809M de paramètres et 0,04 $ de l'heure, c'est la réponse correcte la moins chère pour une très grande part du trafic réel, et il a fait ses preuves depuis deux ans.

• Charges de travail mixtes — exécutez turbo sur tout, et acheminez uniquement l’audio qui nécessite des locuteurs, des listes de jargon ou une traduction vers le modèle plus grand. La règle de sélection repose sur les propriétés de l’audio, et non sur le prestige du modèle : nombre de locuteurs, présence d’un glossaire de domaine et durée d’enregistrement.

Des questions à se poser avant de migrer

Nemotron 3.5 Transcribe peut-il fonctionner sur un seul GPU de 24 Go ?

Pas confortablement. NVIDIA a validé BF16 sur une H100 de 80 Go, FP8 sur une L40S, et le checkpoint NVFP4 sur une RTX 5090, qui est une carte de 32 Go. Un appareil de 24 Go est en dessous de toutes les configurations validées, et la tour audio est copiée sur chaque rang de parallélisme tensoriel, donc un partitionnement multi-GPU ne sauve pas une petite carte unique.

Whisper Large v3 Turbo effectue-t-il l'étiquetage des locuteurs ou la traduction ?

Ni l'un ni l'autre. La variante turbo n'a été entraînée que sur la transcription ; lui confier une tâche de traduction produit donc une sortie inutilisable — la traduction nécessite le checkpoint complet large-v3. Les étiquettes de locuteur nécessitent un diariseur séparé tel que pyannote, et l'alignement de ses tours avec les horodatages grossiers des segments de Whisper est la partie du pipeline qui prend le plus de temps à bien régler.

L’écart de paramètre est-il visible sous forme de latence ?

Pas par minute d’audio, non. Whisper Large v3 Turbo renvoie une fenêtre de 30 secondes en bien moins d’une seconde sur un point de terminaison hébergé rapide, et Nemotron 3.5 Transcribe traite un fichier d’une heure en une seule passe à un débit que NVIDIA décrit comme étant de l’ordre de milliers de secondes audio par seconde GPU. La différence visible est ailleurs : turbo n’a pas de mode streaming, et Nemotron 3.5 Transcribe non plus, donc le sous-titrage en direct est hors de portée pour les deux.

Lequel est le meilleur pour l’audio non anglophone ?

Aucune des deux réponses n’est sûre. Whisper Large v3 Turbo couvre 99 langues avec une qualité qui varie fortement selon la langue, et Nemotron 3.5 Transcribe en couvre 40, avec des résultats multilingues rapportés par le fournisseur et une recette d’adaptation — NVIDIA indique qu’un domaine médical tenu à l’écart passe de 22,44 % à 12,17 % de WER après un affinage sur un seul GPU pendant quelques heures. Il n’existe pas encore de comparaison multilingue indépendante directe, donc pour toute langue autre que l’anglais, la démarche responsable est un test à l’aveugle sur vos propres enregistrements audio.

Qu'est-ce qui changerait ce verdict

Trois choses, par ordre de probabilité. L’arrivée d’horodatages au niveau du mot dans l’API de transcription de vLLM ferait du chemin de service complet celui par défaut et réduirait l’écart entre les trois recettes de déploiement. La disponibilité généralisée de checkpoints quantifiés ferait baisser le plancher matériel, d’une carte de 80 Go vers les appareils grand public. Et une comparaison directe multilingue véritablement indépendante face à Whisper Large v3 Turbo remplacerait l’inférence par la mesure.

Jusqu’à ce que l’un de ces éléments se concrétise, la décision n’est pas à un dixième de point de WER près. C’est une question qui concerne votre audio : s’il contient plus d’une voix et que vous devez savoir quelle voix a dit quoi, Nemotron 3.5 Transcribe est le premier modèle ouvert à faire cela en une seule passe, sans pipeline derrière. Si ce n’est pas le cas, un modèle 809M publié il y a un an fait encore le travail pour quarante dollars les mille heures, et le modèle 34B représente une grande quantité de matériel à acheter pour un chiffre qui bouge quand on change d’hôte.