Nemotron 3.5 Transcribe vs Voxtral 3 : l’écart de deux points qui ne permet pas de trancher

Un modèle, trois taux d’erreur de mots. Artificial Analysis répertorie NVIDIA Nemotron 3.5 Transcribe à 3,4 % dans son classement non-streaming ; la FAQ de la même page le décrit à 2,8 %. En parallèle, Mistral Voxtral 3 — la famille commercialisée sous le nom de Voxtral Small Transcribe 3 — se situe à 2,1 %, troisième de ce classement et environ un demi-point d’avance sur la meilleure valeur publiée par NVIDIA. Si l’on retient 3,4 %, l’écart semble décisif. Si l’on retient 2,8 %, il se situe dans la fourchette de bruit que cet indice a affichée d’un point de terminaison de service à l’autre. Et si l’on regarde la sous-note qui concerne l’audio conversationnel, le classement s’inverse.

Deux chiffres pour un seul modèle, et aucun des deux n'est un mensonge.

Le 3,4 % et le 2,8 % proviennent du même classement le même jour. Ils diffèrent parce que AA-WER v2 est calculé sur une tranche d’évaluation spécifique via un point de terminaison de service spécifique, et l’indice a historiquement varié de près d’un point complet entre des fournisseurs exécutant le même checkpoint. Le 2,8 % de NVIDIA est le chiffre que l’entreprise cite dans ses supports de lancement ; le 3,4 % est celui que le tableau affiche pour le point de terminaison qu’il a réellement testé. Ni l’un ni l’autre n’est fabriqué, et aucun ne devrait être soustrait du 2,1 % de Mistral comme si les deux avaient été mesurés sur un matériel identique, à une précision identique, sur un audio identique.

Cela ne rend pas l’écart dénué de sens. Cela en fait une fourchette : quelque part entre 0,6 et 1,3 point en faveur de Voxtral sur l’indice batch, la valeur réelle dépendant du point de terminaison utilisé. Pour un déploiement de service client où chaque point de WER coûte des minutes de relecture humaine, cela vaut de l’argent. Pour un produit de notes de réunion où un humain parcourt rapidement la sortie de toute façon, ce n’est pas le cas.

D'où vient réellement la différence

L’indice AA est une moyenne sur trois composantes : VoxPopuli, Earnings-22 et AgentTalk. Les deux premières sont de la parole lue et des conférences téléphoniques de résultats — propres, mono-locuteur, bien enregistrées, le type d’audio que les deux modèles gèrent bien. AgentTalk est conversationnel et plus bruité. Sur ce segment, le modèle de NVIDIA obtiendrait 1,8 % contre 2,3 % pour Voxtral Small, soit un véritable renversement et le chiffre le plus intéressant de la comparaison.

• VoxPopuli et Earnings-22 — Voxtral Small arrive en tête ; ces corpus récompensent un modèle ajusté sur de la parole longue et propre.

• AgentTalk — Nemotron arrive en tête, 1,8 % contre 2,3 %, sur l’audio conversationnel qui ressemble à un véritable appel au support ou à une réunion avec chevauchement de voix.

• Indice global — Voxtral Small à 2,1 %, Nemotron entre 2,8 % et 3,4 %. Les composantes de parole nette pèsent suffisamment pour produire cet ordre.

Ce schéma est cohérent avec les deux architectures. Voxtral Small est un modèle de transcription entraîné à être excellent en transcription ; le checkpoint de NVIDIA est un modèle de langage auquel est greffé un encodeur vocal à l'entrée, et les modèles de langage ont tendance à mieux s'en sortir lorsque l'audio est bruité et que le contexte est conversationnel. Cela explique aussi pourquoi les principales victoires revendiquées par NVIDIA ne portent pas du tout sur le WER en conditions propres : 15,80 de cpWER moyen sur de la parole superposée attribuée aux locuteurs, et un WER sur les entités nommées qui passe de 12,21 % à 2,20 % lorsqu'on fournit une liste d'entités.

Les tables de fournisseurs ne se chevauchent pas non plus.

Mistral publie le WER macro-moyenné de FLEURS-45 : 4,1 % en langue forcée et 4,0 % en langue inférée pour Voxtral Small Transcribe 3, contre 4,6 % pour son homologue Mini 4B et 16,0 % pour Whisper large-v3. NVIDIA publie l’Open ASR Leaderboard : 4,71 % en moyenne sur neuf ensembles anglais et 4,62 % sur sept ensembles multilingues. Les deux sont des bancs d’essai gérés par les fournisseurs, sur des corpus différents avec des normalisations différentes, et les valeurs presque identiques relèvent d’une coïncidence, pas d’une comparaison directe. Quiconque présente 4,0 contre 4,62 comme une victoire de 0,6 point compare un score FLEURS à un score Open ASR.

Les chiffres de la diarisation posent le même problème, mais en sens inverse. Mistral rapporte un WER concaténé à permutation minimale de 18,4 % sur AMI, Switchboard, CallHome et AISHELL-4. NVIDIA rapporte un cpWER moyen de 15,80 sur son propre ensemble multi-locuteurs. Le chiffre de NVIDIA est plus bas et son ensemble est différent ; sans corpus partagé, la seule affirmation défendable est que les deux entreprises estiment avoir battu les cascades spécialisées contre lesquelles elles ont testé, et qu’aucune n’a publié d’exécution sur les données de l’autre.

Ce que Voxtral 3 fait que Nemotron ne peut pas faire

La publication de Mistral est une famille, pas un checkpoint, et cette famille couvre un terrain que le modèle hors ligne unique de NVIDIA ne couvre pas.

• Étendue linguistique — Voxtral Small Transcribe 3 couvre plus de 50 langues, dont les 24 langues officielles de l’UE ; NVIDIA en couvre 40, avec des étiquettes de locuteur sur 13.

• Temps réel — Voxtral Mini Transcribe Realtime 3 traite les flux en continu avec une latence inférieure à 500 ms pour 0,008 $ par minute, avec un WER de 7,4 % à un délai de 240 ms et de 5,7 % à 2 400 ms. NVIDIA ne propose aucun mode streaming pour ce checkpoint, à aucun prix.

• Agents vocaux — le lancement de Voxtral 3 a livré un SDK Voice Agent basé sur LiveKit qui enchaîne la transcription, un modèle de raisonnement avec appels d’outils et la génération vocale, avec interruption (barge-in) et téléphonie SIP. C’est une catégorie de produits à part entière que le checkpoint de NVIDIA ne couvre pas.

• Simplicité opérationnelle — tarification à la minute, pas de GPU, pas de pile de serving, endpoints UE, États-Unis et mondiaux. Pour une équipe sans infrastructure, c’est la différence entre une intégration de deux jours et une de deux mois.

• Biais contextuel — 94,6 % de rappel des expressions clés avec contexte, contre 81,4 % sans, sur Earnings-22. Comparable dans l'esprit au mécanisme de liste d'entités de NVIDIA, mesuré sur un corpus différent.

Ce que Nemotron fait et que Voxtral 3 ne peut pas faire

La liste inversée est plus courte, mais plus consistante pour le bon acheteur.

• Poids ouverts — OpenMDW-1.1, utilisation commerciale autorisée, publiés en BF16, FP8, NVFP4 et GGUF. La page de Mistral propose un accès API et « un déploiement autonome sur votre propre infrastructure » via Mistral et, à la date de publication, ne publie ni poids, ni licence, ni checkpoint. Si votre équipe de conformité doit auditer l’artefact, un seul de ces éléments existe pour être audité.

• Passe unique d'une heure — 65 536 tokens de contexte et des enregistrements allant jusqu'à une heure. Mistral ne publie ni longueur maximale d'enregistrement ni fenêtre de contexte pour Voxtral 3, ce qui constitue en soi une raison de tester avant d'adopter un flux de travail pour formats longs.

• Traduction — 31 langues dans les deux sens, vers et depuis l’anglais. La page de lancement de Voxtral 3 documente la transcription, la diarisation et le biais contextuel ; elle ne documente pas une tâche de traduction de la parole comme le fait le checkpoint de NVIDIA.

• Sortie pilotable par prompt — cinq styles de transcription sélectionnés sur instruction, plutôt qu'un format unique accompagné de post-traitement.

• Compréhension audio — réponse aux questions et suivi d’instructions orales sur l’enregistrement. Uniquement en anglais sur ce checkpoint, et non documenté dans les supports de lancement de Voxtral 3.

La comparaison des coûts n’est pas serrée, et c’est précisément là l’essentiel.

Voxtral Small Transcribe 3 coûte 0,0040 $ par minute, soit 0,24 $ par heure d'audio. Le 4B Mini est à 0,0035 $, soit 0,21 $ par heure. Le tarif hébergé de NVIDIA est de 2,00 $ pour 1 000 minutes, soit 0,12 $ par heure. L'auto-hébergement relève d'une tout autre arithmétique : au débit revendiqué par NVIDIA de 2 238 secondes d'audio par seconde sur un seul RTX PRO 6000 Blackwell, mille heures d'audio — 3,6 millions de secondes — prennent environ 27 minutes de temps GPU. Même à la moitié de ce débit, qui est ce que NVIDIA affirme que l'intégration open source délivre, cela prend moins d'une heure.

• 1 000 heures par mois — Voxtral Small 240 $, Voxtral Mini 210 $, Nemotron hébergé 120 $, Nemotron auto-hébergé environ 2 $ de temps GPU à un tarif de location de 2 $/heure, plus les opérations.

• 10 000 heures par mois — 2 400 $, 2 100 $, 1 200 $ et environ 20 $ de temps GPU, respectivement.

• Le revers de la médaille — l’approche auto-hébergée suppose que vous disposez déjà du GPU, de la pile de déploiement et de quelqu’un capable de la maintenir en fonctionnement. Un seul RTX PRO 6000 représente un investissement en capital à cinq chiffres ; à 1 000 heures par mois, vous ne l’amortirez pas avant la sortie de la prochaine génération. À 10 000 heures, il est rentabilisé en quelques mois.

• L'autre hic — ces chiffres de débit dépendent de NVFP4 ainsi que du modèle draft DFlash2, et cette combinaison désactive les horodatages par mot. Si vous avez besoin d'alignement, vous utilisez une configuration plus lente que celle du tableau marketing.

L'argument tarifaire se divise donc selon le volume et selon que l'audio peut ou non quitter votre réseau. Le tarif à la minute de Mistral est suffisamment bas pour que la plupart des équipes traitant moins de quelques centaines d'heures par mois ne devraient pas du tout penser aux GPU. Au-delà de dix mille heures, l'auto-hébergement d'un checkpoint ouvert devient l'option la moins chère d'un ordre de grandeur, et la charge opérationnelle est la seule véritable question.

Le test de cinquante heures

Chaque chiffre ci-dessus correspond à l’audio de quelqu’un d’autre. Avant d’engager l’un ou l’autre modèle sur une voie de production, transcrivez cinquante heures de vos propres enregistrements avec les deux, puis évaluez-les comme le feront vos utilisateurs : entités nommées correctes, tours de parole corrects, nombres et montants en devise corrects, et les accents spécifiques de vos clients. L’indice AA ne vous dira pas quel modèle gère mieux un centre d’appels de Glasgow, et aucun banc d’essai de fournisseur ne vous le dira non plus.

C’est aussi dans ce test qu’un routeur se révèle utile pour autre chose que le coût. OrcaRouter met les appels texte en aval — synthèse, extraction d’entités, caviardage, traduction de la transcription finale — derrière une seule clé avec 0 % de marge, au prix catalogue du fournisseur répercuté, avec bascule automatique entre fournisseurs, et un DSL de routage qui peut envoyer différentes étapes vers différents modèles au sein d’un même workflow. Ni Nemotron 3.5 Transcribe ni Voxtral 3 ne figurent au catalogue d’OrcaRouter ; le routeur ne vous aide donc pas à les appeler, mais à traiter ce qu’ils renvoient sans établir une seconde relation fournisseur pour la couche texte.

Le verdict dépend de la phrase qui décrit votre problème. Si c’est « nous avons besoin d’une transcription précise en cinquante langues, nous ne voulons pas posséder de GPU et la latence compte », Voxtral Small Transcribe 3 est le meilleur produit et le 2,1 % constitue une raison bien réelle. Si c’est « nous avons besoin de transcriptions avec attribution des locuteurs de réunions d’une heure, de traduction et d’un artefact que notre équipe de conformité peut examiner », Nemotron 3.5 Transcribe est la seule option de cette liste qui réponde aux trois exigences, et un point de WER sur de la parole lue propre est le prix à payer pour cela. Si c’est « nous avons besoin des deux », la réponse honnête est qu’ils ne sont pas interchangeables, et les équipes qui tirent le meilleur parti de cette génération en utilisent un pour l’audio en direct et l’autre pour l’archive.