Nemotron 3.5 Transcribe : le LLM vocal de NVIDIA surpasse la cascade de diarisation — en 13 langues

NVIDIA a commercialisé Nemotron 3.5 Transcribe le 28 octobre 2026 sous licence ouverte, et le chiffre qui revient dans chaque titre à son sujet est 40 : quarante langues, un seul checkpoint, étiquettes de locuteur incluses. Le nombre qui change réellement la façon dont vous construisez une stack de transcription est 15,80. Il s'agit du cpWER moyen du modèle sur le propre jeu de référence multi-locuteurs de NVIDIA, contre 16,83 pour la meilleure cascade spécialisée à laquelle l'entreprise l'a comparé — un moteur de reconnaissance vocale plus une chaîne de diarisation distincte, assemblés comme le sont encore la plupart des systèmes de transcription de réunions en production. NVIDIA affirme qu'il s'agit du premier LLM vocal à battre cette configuration, et c'est l'affirmation qui vaut la peine d'être testée, car c'est celle qui retire un composant de votre architecture plutôt que d'ajouter une langue à une liste.

Le chiffre des 40 langues est réel, mais plus restrictif qu’il n’y paraît. L’attribution des locuteurs — la partie qui remplace la cascade — est entraînée pour treize langues, et non quarante. Le modèle ne lit que des fichiers enregistrés, par tranches d’une heure maximum, sans mode de traitement en flux. Et il ne s’agit pas d’un petit téléchargement : 34B paramètres au total, environ 4,3B actifs par token, avec un H100 80GB comme référence indiquée pour le service en BF16. Ces trois contraintes déterminent si le résultat de diarisation est exploitable dès ce trimestre ou s’il faut simplement le noter pour le suivant.

Ce que NVIDIA a réellement livré

Le checkpoint est publié sous le nom de NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, et l’écart entre ce nom et le nombre de paramètres publié est la première chose à clarifier. Le modèle repose sur Nemotron 3.5 Lightning 30B-A3B, un modèle de langage à mélange d’experts hybride Mamba-2 et Transformer ; la fiche modèle de NVIDIA indique un total de 34 milliards de paramètres, dont environ 4,3 milliards actifs, pile audio comprise. Le poids supplémentaire par rapport aux 30 milliards du nom correspond aux encodeurs : environ 600 millions pour le transformeur ASR et environ 99 millions pour l’encodeur de locuteur, soit environ 800 millions au total, ce qui laisse le socle linguistique à environ 3,5 milliards de paramètres actifs. Plusieurs articles ont présenté cela comme une incohérence ; ce n’en est pas une : c’est un nom qui comptabilise le LLM et une fiche qui comptabilise l’ensemble du système.

Sur le plan architectural, l’élément qu’il vaut la peine de comprendre est l’encodeur expert parallèle. Un modèle Nemotron 3 Diarization figé produit des représentations de l’activité des locuteurs, qui sont injectées dans la sortie de l’encodeur ASR, afin que le modèle de langage voie à la fois les mots et qui est susceptible de les prononcer en une seule passe. Un adaptateur CTC léger aligne ensuite le texte généré sur l’audio pour produire des horodatages de mots attribués aux locuteurs. Il n’y a pas de seconde étape d’alignement ni d’appel à pyannote au milieu. La prédiction native de plusieurs tokens sert aussi de brouillon de décodage spéculatif dans vLLM, et NVIDIA fournit également un modèle brouillon DFlash2 entraîné séparément.

• Paramètres totaux et actifs — 34B au total, ~4,3B actifs par token, dont ~3,5B constituent le socle linguistique

• Contexte et audio — 65 536 tokens, enregistrements jusqu’à 1 heure en 16 kHz mono, décodés en segments internes de 30 secondes

• Couverture linguistique — 40 langues pour la transcription, 32 pour la traduction vers et depuis l’anglais, 13 pour la transcription avec attribution du locuteur

• Licence — OpenMDW-1.1, utilisation commerciale et non commerciale autorisée

• Référence de service — un H100 80 Go en BF16 ; les builds BF16, FP8 et NVFP4 sont publiés

• Streaming — aucun ; il s’agit d’un modèle fichier en entrée, transcription en sortie

La publication consiste en une paire d’artefacts, et il vaut la peine de les distinguer, car la plupart des couvertures médiatiques les confondent. Outre le modèle, NVIDIA a publié Granary v2, une publication de pipeline de données vocales plutôt qu’un checkpoint : 463 062 heures réparties sur 48 langues et 16 corpus sources, contre 25 langues dans Granary v1, construit avec NeMo Curator et livré avec un manifeste public. Chaque enregistrement comporte trois formes de transcription — verbatim normalisé en texte, normalisé inverse avec les disfluences, et normalisé inverse sans celles-ci — ainsi que des étiquettes de tâche, des paires de questions-réponses ancrées dans la parole, des termes de biais contextuel et un indicateur de qualité par enregistrement. Ce sont les données attendues par les recettes de fine-tuning, pas des poids exécutables. L’audio source doit encore être téléchargé selon la licence propre à chaque corpus ; Granary v2 est donc ouvert au sens où son manifeste et son pipeline le sont, pas au sens où l’audio serait librement redistribuable.

La licence compte autant que les poids. OpenMDW-1.1 autorise l’usage commercial, ce qui le place dans la même catégorie que la gamme Voxtral de Mistral plutôt que dans le segment réservé à la recherche de l’éventail des modèles à poids ouverts. Au lancement, la prise en charge de l’exécution est plus étendue que pour la plupart des LLM vocaux publiés : vLLM 0.32.0 est la voie principale et la seule à offrir l’ensemble complet des fonctionnalités, les horodatages par mot nécessitant le runner V1 et le middleware d’horodatage, et DFlash2 n’étant pas pris en charge. SGLang-Omni 0.2.0 sur SGLang 0.5.22 gère la transcription de fichiers entiers via le point de terminaison audio compatible OpenAI, mais pas les horodatages par mot, la sortie avec attribution des locuteurs, la traduction ni le décodage spéculatif. NeMo Speech fournit la boîte à outils de fine-tuning, Transformers prend en charge l’utilisation in-process à partir d’une installation depuis les sources, et une compilation GGML couvre certains composants Blackwell sélectionnés, notamment la RTX 5090 et la RTX PRO 6000.

Le résultat de la diarisation est tout ce qui compte.

Le tableau multi-locuteurs de NVIDIA est là où se trouve la comparaison en cascade, et il est inhabituellement détaillé pour un article de lancement. Le cpWER moyen sur l’ensemble est de 15,80 contre 16,83 pour DiCoW v3.3 combiné à DiariZen. Les chiffres par condition montrent d’où vient la marge et où elle ne vient pas : AMI en conditions de parole rapprochée atteint 10,29, AMI avec microphone à distance unique 17,34, CALLHOME CH109 11,50, Mixer 6 canal 4 14,80, NOTSOFAR-1 en parole rapprochée 14,94 et en monocanal 25,91, avec AISHELL-4 à 32,91 cpCER et AliMeeting à 34,95. Le cas des réunions en large bande et multicanal est solide ; le microphone unique en champ lointain et l’audio de réunion en chinois sont bien plus faibles, ce qui décrit justement les difficultés de tous les systèmes de diarisation.

La corroboration d’apparence indépendante sur laquelle NVIDIA s’appuie est Diarization-Bench de VoiceArena, où le modèle rapporte 32,4 % de cpWER sur l’ensemble des sessions complètes en anglais, premier de quatorze systèmes. Le deuxième, Multitalker Parakeet associé à Nemotron 3 Diarization, est à 34,2 %, et le reste du peloton s’échelonne de 34,7 % à 71,9 %. NVIDIA rapporte également des suppressions de mots à hauteur de 8,32 % des mots de référence, contre une médiane du peloton autour de 31 %. Ce second chiffre est le plus utile pour quiconque a déjà livré une transcription : le cpWER peut être faussé en supprimant des mots dont on n’est pas sûr, et un système qui conserve 92 % des mots de référence tout en remportant la métrique fait ce qui est plus difficile. Ce sont tous deux des chiffres rapportés par le fournisseur sur un benchmark tiers, pas une évaluation indépendante du modèle.

La limite, c'est le nombre de langues. L'attribution des locuteurs est entraînée pour treize langues — l'anglais, le français, l'allemand, l'hindi, l'italien, le coréen, le portugais, le russe, l'espagnol, le japonais, le thaï, l'arabe et le chinois — et prend en charge jusqu'à huit locuteurs. Si vos enregistrements sont des réunions en anglais ou dans l'une de ces douze autres langues, l'argument du remplacement en cascade est pertinent. Si votre audio est en polonais, en turc ou en vietnamien, vous obtenez une transcription sans diarisation et vous avez toujours besoin du second composant.

Où cela se classe réellement : trois classements, trois réponses différentes.

Le chiffre anglais dépend de la page NVIDIA que l’on consulte, et il vaut mieux être précis à ce sujet plutôt que de choisir le chiffre le plus favorable. Le taux d’erreur de mots moyen sur neuf ensembles indiqué dans la fiche du modèle est de 4,71 %, Qwen3-ASR-1.7B suivant à 4,94 %. La publication de NVIDIA sur Hugging Face du même jour cite 5,33 % comme taux d’erreur de mots moyen sur le Hugging Face Open ASR Leaderboard, avec un RTFx de 462,09, et Qwen3-ASR-1.7B à 5,4 %. Les deux sont des chiffres du fournisseur lui-même, publiés à quelques heures d’intervalle, et la différence tient aux ensembles de test inclus dans la moyenne. Ne les moyennez pas, ne soustrayez pas l’un de l’autre et ne considérez pas le chiffre décimal comme définitif. Ce qui subsiste dans les deux présentations, c’est le positionnement : premier parmi les modèles à poids ouverts de ce classement.

Le reste de l’ensemble rapporté par le fournisseur présente une structure cohérente. Le WER moyen multilingue est de 4,62 % sur sept langues, contre 6,49 % pour Qwen3-ASR-1.7B. La moyenne sur les formes longues est de 10,98 %, contre 13,37 % pour Parakeet-TDT-0.6B-v3. Le contrôle du style obtient 7,56 % par défaut et 6,16 % avec instruction, contre 8,16 % et 8,36 % pour Canary-Qwen. L’utilisation d’invites contextuelles fait passer ContextASR-Bench de 3,33 % sans contexte à 1,71 % avec un contexte finement détaillé, et la transcription des conférences téléphoniques de résultats de 12,54 % à 9,58 % lorsqu’un contexte local est fourni.

L’évaluation indépendante raconte une histoire moins flatteuse, et c’est celle qu’il faut lire si vous choisissez entre des modèles cette semaine. Sur l’indice de taux d’erreur de mots en mode non-streaming d’Artificial Analysis, vérifié le 29 octobre, Nemotron 3.5 Transcribe affiche 2,8 %. Voxtral Small Transcribe 3 affiche 2,1 % et MAI-Transcribe-2 2,0 % dans la même vue, tandis que Gemini 3.5 Transcribe se situe à 2,6 %. La formulation de NVIDIA « à égalité en première position parmi les modèles à poids ouverts » est défendable face au modèle précis qu’elle nomme — Voxtral Small, que le même indice affiche aussi à 2,8 %, et que NVIDIA décrit comme un modèle 24B face aux quelque 4B de paramètres actifs de celui-ci — mais le classement a dépassé ce duo avant la sortie de ce modèle. Un modèle plus récent de la famille Mistral, Voxtral Small Transcribe 3, affiche un taux d’erreur inférieur d’environ un quart dans la même vue. Cela ne rend pas faux le résultat de diarisation, car Voxtral n’effectue pas l’attribution des locuteurs en une seule passe. Cela signifie plutôt que la phrase correcte est « meilleur modèle à poids ouverts pour la reconnaissance vocale avec attribution des locuteurs » et non « meilleur transcripteur à poids ouverts ».

C'est dans la partie finale propre à chaque langue que les déploiements échouent.

La couverture et la parité sont deux affirmations différentes, et la fiche modèle de NVIDIA publie suffisamment de détails par langue pour mesurer l’écart entre elles. La matrice des langues comporte 41 lignes ; le norvégien y figure sans cases à cocher par tâche, ce qui laisse 40 langues réellement marquées pour l’ASR. Sur FLEURS, les taux d’erreur vont de 1,41 % à 63,76 % — et 63,76 correspond au norvégien. L’italien atteint 1,41, l’espagnol 2,20, l’allemand 2,73, le français 3,16, l’anglais 3,35, l’arabe 6,35 et l’hindi 7,47 ; le japonais se situe à 4,42 CER, le coréen à 2,78 CER et le chinois à 8,62 CER. Sur les moyennes par langue du classement multilingue, l’hindi affiche 9,15 OIWER, contre 5,96 pour le néerlandais et 2,81 pour l’allemand.

L’alternance codique, que la fiche revendique pour les 40 langues, est tout aussi inégale : ASCEND mandarin-anglais atteint 18,74 % d’erreur mixte, MUCS hindi-anglais 19,28 % et MUCS bengali-anglais 35,46 %, Monsoon hindi affichant 9,40 % d’OIWER. La qualité de traduction couvre elle aussi une large plage — le BLEU de FLEURS vers l’anglais va de 6,40 à 44,33, celui de l’anglais vers FLEURS de 8,70 à 42,65, et celui de CoVoST2 vers l’anglais de 6,95 à 54,46. La robustesse sur l’ensemble HALAS est de 31,50 % de WER, le chiffre qui devrait tempérer tout plan fondé sur des enregistrements de terrain accentués ou bruyants.

L’interprétation pratique est que « 40 langues » est une revendication de couverture sur laquelle on peut planifier la capacité, et non une revendication de qualité sur laquelle on peut planifier un produit. Testez la langue précise et les conditions d’enregistrement précises qui vous importent sur quelques centaines de vos propres extraits avant de vous engager. L’étude de cas d’ajustement fin de la carte du modèle constitue le gabarit : sur un benchmark indien de parole médicale, l’erreur du modèle prêt à l’emploi était de 30,8 %, une invite mentionnant l’anglais et l’écriture latine l’a ramenée à 23,8 %, et l’adaptation sur environ 245 heures de données l’a amenée à 11,8 % — environ 62 % d’erreurs en moins, sur 14 heures GPU d’un seul GB300. Les locuteurs tenus à l’écart sont passés de 22,44 % à 12,17 %, soit une réduction relative de 45,8 %, tandis que LibriSpeech test-clean est passé de 1,54 % à 1,69 %, le signe habituel d’une adaptation étroite.

Combien coûte l'exploitation, et où le routage trouve sa place

NVIDIA n'a pas publié de prix pour le modèle. Aucun tarif à la minute n'apparaît sur la page de recherche ni sur la fiche du modèle, les poids sont gratuits sous OpenMDW-1.1, et l'accès hébergé au lancement passe par le point de terminaison NIM de NVIDIA ainsi que par plusieurs plateformes tierces qui fixent leurs propres tarifs. La question du coût est donc une question de GPU, et les chiffres à ce sujet sont inhabituellement complets.

Sur une RTX PRO 6000 Blackwell Server Edition, la version NVFP4 avec le brouillon DFlash2 traite jusqu’à 2 238 secondes d’audio par seconde — un enregistrement de 30 secondes est traité en 0,13 seconde — ce qui ramène 100 heures d’audio à moins de trois minutes. C’est le chemin NIM optimisé, et NVIDIA indique que l’intégration vLLM open source est environ deux fois plus lente. Sur une H100 en BF16, les chiffres RTFx de la carte sont de 410 avec une spéculation à deux tokens, 270 avec huit, 340 avec DFlash2 à K=7 et 260 à K=15. Dans le haut de cette fourchette, une heure-H100 couvre environ 410 heures d’audio, donc mille heures de transcription représentent environ deux heures et demie de calcul GPU. Savoir si cela bat un tarif hébergé à la minute dépend entièrement du taux d’utilisation de la carte : à quelques centaines d’heures par mois, un GPU 80 Go inactif est l’option la plus coûteuse, et l’arithmétique ne s’inverse qu’une fois que la file d’attente reste pleine.

L’adaptation est peu coûteuse selon les critères de cette catégorie. NVIDIA rapporte 0,5 à 2,3 heures-GPU par tâche sur un seul GPU pour de nouvelles langues, domaines ou styles de sortie, évaluées sur 17 tâches, avec LoRA sur le modèle de langage et l’entraînement sur l’encodeur et la projection. C’est un nombre suffisamment petit pour que l’adaptation au domaine soit considérée comme faisant partie du déploiement plutôt que d’un projet de recherche — le cas médical ci-dessus représente 14 heures-GPU de bout en bout.

Une note architecturale qui compte pour la suite : ce modèle émet du texte, et le résumé, l’extraction d’entités et l’étiquetage de conformité qui suivent une transcription sont des tâches LLM ordinaires. C’est cette étape en aval que couvre OrcaRouter — une API pour plus de 200 modèles à 0 % de majoration par rapport au prix catalogue du fournisseur, basculement automatique lorsqu’un fournisseur se dégrade en cours de pipeline, et un DSL de routage pour envoyer de longues transcriptions et de courts extraits à différents modèles sans une seconde intégration à chaque fois. Nous n’hébergeons pas Nemotron 3.5 Transcribe ; il s’agit d’un modèle vocal que vous exécutez sur votre propre matériel ou via le point de terminaison de NVIDIA. La couche de routage commence là où la transcription se termine.

Deux modèles portent le même nom, et un seul est celui-ci.

Une partie de ce qui a été écrit au sujet de cette version au cours des dernières 24 heures concerne un autre checkpoint. NVIDIA publie également nemotron-3.5-asr-streaming-0.6b, un petit checkpoint ASR en streaming conçu pour des environnements d’exécution embarqués et orientés CPU, dont les versions quantifiées sont suffisamment petites pour être intégrées dans une application. Il ne s’agit pas de ce modèle, il ne fait pas d’attribution des locuteurs, et ses chiffres de vitesse et de précision ne sont pas transposables. Le LLM vocal 30B-A4B est celui annoncé le 28 octobre ; le modèle en streaming 0.6B est celui qui tourne sur un ordinateur portable. Si une comparaison que vous lisez cite une latence inférieure à la seconde ou un téléchargement d’un gigaoctet à côté de l’affirmation des 40 langues, elle a fusionné les deux.

Qui devrait agir maintenant, et qui devrait attendre ?

Agissez maintenant si vous traitez des réunions, appels ou entretiens enregistrés en anglais ou dans l’une des douze autres langues de diarisation, dans des fichiers de moins d’une heure, et que vous disposez déjà d’une capacité GPU de classe 80 GB ou d’un endpoint hébergé que vous êtes prêt à payer. L’argument est le plus fort lorsque vous maintenez actuellement une cascade à deux modèles : un seul checkpoint, une seule passe, étiquettes de locuteur et horodatages des mots inclus, sous une licence qui autorise l’usage commercial. Évaluez-le face à vos propres fichiers audio avant de mettre pyannote de côté — les chiffres ci-dessus pour l’audio en champ lointain et avec accent sont ceux qui risquent le plus de vous décevoir.

Attendez si vous avez besoin de streaming en direct, car il n’existe aucun mode de streaming ; si vos langues se trouvent dans la queue de cette plage FLEURS ; si les enregistrements dépassent une heure ; ou si vous n’avez pas de GPU et aucune envie de payer une facture à la minute pour un service hébergé. Attendez aussi si votre stack repose déjà sur un transcripteur plus récent qui affiche un taux d’erreur plus faible sur Artificial Analysis et qui n’a pas besoin de diarisation — l’attribution des locuteurs en une seule passe est la raison de migrer, et c’est la seule.

Les questions ouvertes à surveiller sont précises et vérifiables. L’évaluation indépendante en pleine précision reste limitée ; les premiers retours de personnes qui font tourner des quantifications 4 bits communautaires décrivent le ralentissement et la perte de précision habituels, ce qui en dit plus sur la quantification que sur le modèle. SGLang-Omni doit atteindre la parité fonctionnelle avant que la voie non-vLLM ne constitue une véritable alternative. Et les treize langues de diarisation sont le chiffre le plus susceptible d’évoluer en premier, car c’est là que se concentre l’argument architectural.