Nemotron 3.5 Transcribe remplace un pipeline de cinq modèles. La version ouverte comporte encore des lacunes.

Un appel de 45 minutes du conseil d'administration avec six intervenants exigeait autrefois cinq éléments mobiles : la détection d'activité vocale, un modèle ASR, un outil de diarisation, un aligneur forcé et un modèle de langage pour nettoyer la sortie brute en quelque chose qu'un humain lirait. NVIDIA Nemotron 3.5 Transcribe, publié le 28 octobre 2026 sous la licence OpenMDW-1.1, est la tentative de NVIDIA de réduire cette pile à une seule passe avant. Ce qui rend cette publication digne d'une seconde lecture, ce n'est pas la réduction elle-même. C'est la liste des choses que le chemin de service open source ne fait pas encore.

Le checkpoint est un modèle de langage augmenté pour la parole plutôt qu’un modèle ASR auquel on a greffé des éléments supplémentaires. Ses 34 milliards de paramètres sont majoritairement ceux de l’architecture Nemotron 3.5 Lightning 30B-A3B hybride Mamba–Transformer à mélange d’experts ; environ 4,3 milliards sont actifs par token, dont environ 800 millions pour l’encodeur audio. Le nom du dépôt indique encore 30B-A4B, ce qui comptabilise le décodeur et non le système assemblé. La matrice de support de NVIDIA, les tableaux de benchmarks et la licence figurent tous sur la fiche du modèle, et cette fiche est le document le plus utile de la publication.

Cinq tâches, un seul point de contrôle

L'argument de vente, c'est qu'une invite choisit la transcription. NVIDIA entraîne cinq styles de sortie dans les mêmes poids, et l'appelant en sélectionne un au moyen d'instructions en langage naturel plutôt qu'avec un modèle distinct ou un script de post-traitement :

• Verbatim — disfluences, faux départs et répétitions conservés, pour les dossiers juridiques et de conformité.

• Forme écrite — ponctuation et casse nettoyées, pour les sous-titres et des comptes rendus lisibles.

• Contextuel — une liste d'entités fournie dans le prompt guide l'orthographe des noms, des produits et du jargon.

• Attribué au locuteur — chaque segment comporte une étiquette de locuteur, générée lors de la passe ASR.

• Rich — le style fourre-tout qui regroupe les étiquettes d'intervenant, la ponctuation, la casse et le formatage.

Au-delà de la transcription, le même checkpoint effectue la traduction vocale dans les deux sens entre l’anglais et 31 langues, l’identification de la langue parlée et la compréhension audio — réponse aux questions et suivi d’instructions vocales sur l’enregistrement. Il traite des enregistrements allant jusqu’à une heure dans un contexte de 65 536 tokens, en utilisant des segments de décodage internes de 30 secondes qui relèvent d’un détail d’ingénierie plutôt que d’une limite d’enregistrement. Les horodatages des mots proviennent d’un adaptateur CTC léger après le décodage.

D'où proviennent réellement les étiquettes de locuteur

La plupart des affirmations selon lesquelles « un seul modèle fait tout » s’effondrent face à la diarisation, car l’identité du locuteur est un problème de regroupement et la transcription est un problème de séquence, et les deux sont généralement résolus séparément. La réponse de NVIDIA est un encodeur expert parallèle : un modèle Nemotron 3 Diarization figé produit des représentations de l’activité des locuteurs qui sont injectées dans la sortie de l’encodeur vocal, de sorte que le socle linguistique voit qui parle pendant qu’il détermine ce qui a été dit. Le LLM lui-même n’est pas réentraîné pour cette tâche.

Cette conception explique pourquoi l'entreprise peut revendiquer une passe unique plutôt qu'une cascade. NVIDIA rapporte un taux d'erreur de mot moyen en permutation minimale concaténée de 15,80 sur son ensemble d'évaluation multi-locuteurs, contre 16,83 pour la meilleure cascade spécialisée ASR-plus-diariarisation, et présente ce résultat comme celui du premier LLM vocal à surpasser ce type de système en transcription attribuée par locuteur avec parole chevauchante. Ce sont des chiffres fournis par un vendeur, issus d'un ensemble d'évaluation conçu par le vendeur, et aucun laboratoire neutre ne les a encore reproduits. Considérez la tendance comme plausible et la marge comme provisoire.

Les chiffres, avec les étiquettes attachées.

La carte de NVIDIA rapporte un taux d'erreur de mots moyen de 4,71 % sur les neuf ensembles de test publics anglais du classement Open ASR Leaderboard. La dispersion sous cette moyenne est large et mérite d'être connue avant de la citer : LibriSpeech test-clean se situe à 1,09 % et SPGISpeech à 1,91 %, tandis qu'AMI atteint 7,81 % et URGENT24 11,00 %. Le classement multilingue affiche une moyenne de 4,62 % sur sept langues, l'allemand étant à 2,81 % et le hindi à 9,15 % selon sa propre métrique de mots hors vocabulaire.

La couverture presse du lancement a aussi cité 5,33 % pour le tableau anglais. Il s'agit d'un agrégat différent portant sur une composition d'ensemble différente, et non d'une correction, et les deux ne devraient jamais figurer sur la même ligne. Les 4,71 % de la carte sont le chiffre à citer si vous citez la carte.

L’argument du prompting contextuel est l’élément le plus concret de l’annonce. Sur ContextASR-Bench, le WER global passe de 3,33 % sans liste d’entités à 1,71 % avec une liste à granularité fine ; le WER des entités nommées chute de 12,21 % à 2,20 %, et le taux de faux négatifs sur les entités nommées de 14,99 % à 1,32 %. C’est un mécanisme réel et vérifiable — donnez au modèle les noms de vos produits et il cesse de les deviner — même si les scores absolus proviennent du harnais d’évaluation de NVIDIA.

Le tableau indépendant est moins flatteur et plus utile. Artificial Analysis classe Nemotron 3.5 Transcribe à 3,4 % dans son tableau AA-WER v2 non-streaming, à égalité autour des 20e à 23e places, tandis que sa propre FAQ décrit le modèle à 2,8 %. Les deux chiffres appartiennent au même tableau sur la même page. L’écart est une différence de cible de mesure — point de terminaison, quantification ou tranche d’évaluation — et il correspond approximativement à l’ampleur du bruit que cet indice a montré selon les configurations de service. Au moment de la rédaction, le tableau indique également un prix d’hébergement de 2,00 $ pour 1 000 minutes d’audio, soit environ 0,12 $ par heure.

Le chiffre de débit est celui qui intéressera les équipes d’exploitation : 2 238 secondes d’audio traitées par seconde sur un seul GPU RTX PRO 6000 Blackwell, à l’aide du checkpoint NVFP4 et du modèle brouillon DFlash2. La réserve de NVIDIA elle-même est que la pile de service optimisée ne figure pas dans la version open source, et que l’intégration de développement livrée devrait tourner environ deux fois plus lentement. Divisez ce chiffre par deux avant de planifier vos capacités.

Là où s’arrête le build ouvert

C'est la partie que la couverture du lancement omet. Le checkpoint est performant ; les intégrations qui l'entourent sont inégales, et la fiche du modèle le dit sans détour.

• Aucun streaming — « C’est un modèle hors ligne », indique la fiche, qui ajoute que le découpage audio interne n’en fait pas un service de streaming en temps réel. Chaque seconde de l’enregistrement doit exister avant le début du décodage.

• L'intégration SGLang-Omni est limitée à la transcription — elle assure la transcription de fichiers entiers mais, d'après la fiche, n'inclut pas les horodatages au niveau des mots, la sortie avec attribution des locuteurs, la traduction ni le décodage spéculatif. L'approche vLLM, elle, prend en charge la capture des horodatages. Le moteur d'exécution que vous choisissez détermine les fonctionnalités dont vous disposez.

• Les horodatages et DFlash2 sont mutuellement exclusifs — les horodatages ne sont pas disponibles lorsque le modèle de brouillon à décodage spéculatif est utilisé. Rapide ou aligné, pas les deux, dans la configuration livrée.

• La compréhension audio est en anglais uniquement — le raisonnement, le suivi d'instructions orales et la réponse aux questions audio « peuvent ne pas fonctionner de manière fiable dans d'autres langues », prévient la fiche, alors même que la transcription couvre 40.

• Il peut ne pas s’arrêter — la fiche recommande un garde-fou de nettoyage, car le modèle peut parfois boucler sans se terminer. C’est une exigence opérationnelle, et non une simple note.

• Une heure est une limite pratique stricte — les performances au-delà de 65 536 tokens ou d’un enregistrement d’une heure « ne sont pas garanties de se généraliser ». Pour une déposition qui dure toute la journée, vous divisez le fichier et réconciliez vous-même les intervenants.

L’attribution des locuteurs est également plus limitée que ne le laisse entendre l’annonce des 40 langues : 13 des 40 langues sont signalées comme prenant en charge la sortie multi-locuteurs dans la matrice de NVIDIA, et les mélanges d’entraînement couvrent jusqu’à huit locuteurs. Si votre réunion est en turc ou en vietnamien, vous pouvez bien la transcrire sans pour autant obtenir d’étiquettes.

Déploiement et ce que cela coûte

Les poids sont libres pour un usage commercial et non commercial sous OpenMDW-1.1, publiés en BF16, FP8, NVFP4 et GGUF, avec une configuration de référence sur un H100 80 Go et une prise en charge sur les composants Ampere, Hopper, Blackwell et Lovelace. Il existe également un conteneur NIM pour les équipes qui préféreraient ne pas assembler la pile de service, et NeMo Speech pour le fine-tuning — NVIDIA rapporte l’adaptation du modèle sur 17 tâches à raison de 0,5 à 2,3 heures-GPU par tâche sur un seul GPU, un chiffre qui rend l’adaptation au domaine plausible plutôt que théorique.

L’analyse économique est nette. En mode hébergé, l’offre référencée par Artificial Analysis à 2,00 $ par 1 000 minutes revient à environ 0,12 $ par heure d’audio — moins cher que la plupart des services de transcription gérés et environ un tiers d’une facture STT cloud typique. En auto-hébergement, le coût marginal est le temps GPU : avec le débit de 2 238 pour 1 du fournisseur, mille heures d’audio représentent moins d’une demi-heure de calcul sur la bonne carte ; la question n’est donc plus le prix, mais de savoir si vous possédez ou louez le matériel, et si l’audio est autorisé à quitter votre réseau. Les deux voies sont légitimes ; sur un tableur, elles sont très éloignées l’une de l’autre.

La moitié du travail que le checkpoint ne fait pas

La transcription produit du texte, et c’est sur le texte que se concentre l’essentiel des coûts en aval : résumer l’appel, extraire les actions à mener, masquer les données personnelles, traduire la sortie anglaise pour un bureau régional et vérifier que les étiquettes des locuteurs ont bien été conservées lors du transfert. Ce sont des charges de travail ordinaires pour des modèles de texte, et elles n’ont pas besoin de s’exécuter sur la même machine que l’ASR.

C’est là qu’un routeur trouve sa place. OrcaRouter place ces appels en aval derrière une seule clé, sans aucune majoration — le prix catalogue du fournisseur étant répercuté tel quel, de sorte qu’une modification des tarifs du fournisseur s’applique le jour même — avec un basculement automatique lorsqu’un fournisseur se dégrade et un DSL de routage capable de diriger le résumé, le masquage et la traduction vers différents modèles au sein d’un même workflow. Pour être clair : NVIDIA Nemotron 3.5 Transcribe ne figure pas au catalogue d’OrcaRouter, et rien ici ne suggère le contraire. Ce que nous routons, c’est la couche texte une fois la transcription disponible, autrement dit la couche que la plupart des équipes sous-estiment lorsqu’elles budgétisent un pipeline de transcription.

Si vous évaluez le modèle lui-même, la voie honnête consiste d’abord à passer par un endpoint hébergé, puis par votre propre matériel. Les chiffres de la carte diffèrent de plus d’un point entre les mesures du fournisseur et les mesures indépendantes, et le seul audio qui tranche, c’est le vôtre.

Qu’est-ce qui changerait la recommandation ?

Trois choses méritent d'être suivies au cours du prochain trimestre. Premièrement, de savoir si la pile de service open source rattrape la voie NIM optimisée — tant que ce n'est pas le cas, le débit annoncé est un chiffre propre à l'hébergement et la version ouverte n'en représente qu'environ la moitié. Deuxièmement, de savoir si quelqu'un en dehors de NVIDIA reproduit le cpWER de 15,80 et l'amélioration d'un facteur six des entités nommées ; ce sont là deux affirmations fortes qui reposent actuellement sur le banc de test d'un seul laboratoire. Troisièmement, de savoir si la compréhension audio s'étend au-delà de l'anglais, car cette capacité — poser des questions à un enregistrement plutôt que de simplement le transcrire — est la partie qu'aucun checkpoint ouvert concurrent n'offre à cette taille.

Pour l'heure, le verdict pratique est limité et peu glorieux. Si vous avez besoin d'une transcription d'une heure, multilingue et avec identification des locuteurs, et que vous pouvez accepter un traitement par lots, ce checkpoint est l'option ouverte la plus solide disponible, et son mécanisme d'invite contextuelle fait véritablement la différence. Si vous avez besoin de sous-titres en direct, d'un agent en streaming ou d'un alignement au niveau des mots avec le décodage le plus rapide possible, cette version ne répond pas encore à vos besoins, et les produits qui le font restent ceux vers lesquels il faut se tourner.