Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B : deux noms, un seul checkpoint, quatre fichiers

Si un catalogue, un site de comparaison ou votre propre feuille d’approvisionnement présente Nemotron 3.5 Transcribe et Nemotron 3.5 Transcribe 30B comme deux entrées, il répertorie un seul modèle deux fois. Le dépôt publié est NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, la fiche de NVIDIA indique un total de 34 milliards de paramètres et un nombre de paramètres actifs d’environ 4,3 milliards, et le nom simple repris dans chaque titre correspond au même artefact, la taille en moins. Il n’existe pas de modèle 30B distinct auquel se comparer, ce qui en fait moins une comparaison directe qu’un problème de dénomination dans lequel se cache une décision de déploiement.

Pourtant, cette décision est bien réelle, et c’est la raison pour laquelle les deux noms continuent d’apparaître côte à côte. L’un de ces noms est celui que vous recherchez et que pourrait afficher un catalogue de modèles ou une liste d’API. L’autre est celui que vous téléchargez, dans l’une des quatre précisions, pour l’une des quatre empreintes mémoire, et le choix entre ces fichiers est la seule comparaison que ce modèle vous demande réellement d’effectuer. Ce qui suit est la réconciliation : ce que compte le 30B, pourquoi la fiche indique 34B, et quel fichier correspond au GPU dont vous disposez plutôt qu’à celui que suppose la page de lancement.

Le nom qui ne s’accorde pas avec lui-même

Deux chiffres circulent et tous deux sont officiels. Le nom du dépôt se termine par 30B-A4B, selon la convention qu’utilise NVIDIA pour sa gamme mixture-of-experts : les paramètres totaux d’abord, les paramètres actifs ensuite. La fiche du modèle, sur la même page, indique 34B au total et environ 4,3B d’actifs, en incluant explicitement l’encodeur audio. La page de recherche reprend le nom 30B-A4B dans son titre et le chiffre de 4,3B d’actifs dans son corps.

La fiche nomme également les composants, et c’est là que les calculs commencent à compter. Le socle linguistique est Nemotron 3.5 Lightning 30B-A3B, un MoE hybride Mamba-2 et Transformer avec 3,5 B de paramètres actifs. L’encodeur audio conjoint — un encodeur ASR Transformer et un encodeur de locuteur — fait environ 800 M. Additionnez ceux-ci et vous obtenez environ 30,8 B, pas 34 B. Soit le 34 B inclut quelque chose que NVIDIA n’a pas détaillé, soit le 30B dans le nom du dépôt est une étiquette arrondie pour un socle qui est en fait plus grand que son nom. NVIDIA n’a pas publié la réconciliation, et aucun audit indépendant des paramètres du checkpoint complet n’existe encore.

Ce que cela signifie pour un acheteur est plus limité que cela n’en a l’air. Que le système fasse 31B ou 34B ne change pas la carte sur laquelle il tient, car la taille du fichier est bien davantage déterminée par la précision que par les trois derniers milliards de paramètres. En revanche, cela signifie que toute fiche technique indiquant « 30B » et toute fiche indiquant « 34B » décrivent le même téléchargement, et qu’une comparaison d’approvisionnement fondée sur cette différence compare une convention d’arrondi.

Ce que le suffixe 30B compte réellement

Le suffixe désigne un modèle de langue, pas un transcripteur. Nemotron 3.5 Transcribe est un LLM enrichi de parole : l'audio passe par un encodeur Transformer, un modèle Nemotron 3 Diarization gelé fournit des représentations de locuteur via ce que NVIDIA appelle un encodeur expert parallèle, et le décodeur hybride MoE produit la transcription. L'étiquette 30B revient au décodeur et à sa pile d'embeddings. La chaîne vocale — encodeur, diariseur, tête d'horodatage CTC — vient se greffer par-dessus et n'est pas ce que le nom annonce.

C’est pourquoi le modèle se comporte comme un LLM d’une manière qu’un système ASR classique ne fait pas. Il accepte des prompts. Il répond aux questions sur l’audio. Il traduit sur 31 paires, vers et depuis l’anglais, au sein d’une même passe. Il dispose d’un contexte de 65 536 tokens, de sorte qu’une heure de parole tient sans découpage. Rien de tout cela ne vient du fait qu’un décodeur de 30B soit grand ; cela vient du fait que le décodeur est bel et bien un modèle de langage général, avec la parole projetée dans son espace d’entrée.

Cela explique aussi l’absence que tout le monde ne cesse de chercher. Il n’existe aucun modèle frère limité à 30B, aucun Transcribe dense plus petit, ni aucun plus grand. Le dépôt contient les précisions d’un seul modèle, pas celles d’une famille. Les seules autres tailles en circulation sont des quantisations produites par la communauté, ainsi qu’un modèle de reconnaissance vocale en streaming véritablement plus petit — Nemotron Speech Streaming EN 0.6B — qui est un modèle différent, couvrant uniquement l’anglais et sans diarisation, et non une version mini de celui-ci.

Les quatre fichiers qui se cachent derrière ce nom, et ce que chacun coûte en mémoire

Voici la comparaison que les deux noms désignent réellement. NVIDIA publie trois précisions et la communauté a ajouté un quatrième format de livraison ; les chiffres de mémoire ci-dessous proviennent des checkpoints publiés et des dépôts de la communauté, et non d’un tableau d’un seul fournisseur.

• BF16 — le checkpoint de référence, environ 67-68 Go sur disque, servi sur un seul H100 80 Go. C'est la version sur laquelle les chiffres de benchmark publiés ont été produits, et celle à utiliser lorsque vous devez les reproduire.

• FP8 — environ 35 Go, ce qui abaisse le seuil à une carte de 48 Go telle que la L40S. La perte de précision par rapport à BF16 est faible dans le cadrage de NVIDIA lui-même, mais c'est le cadrage de NVIDIA ; aucune évaluation indépendante de FP8 n'a été publiée.

• NVFP4 — environ 21 Go, assez petit pour une RTX 5090 de 32 Go ou une RTX PRO 6000. C’est la précision qui sous-tend la revendication phare de débit de NVIDIA, soit 2 238 secondes d’audio par seconde sur une seule RTX PRO 6000 avec le modèle draft DFlash2 attaché.

• GGUF — quatre décodeurs communautaires entre 19,7 Go et 35 Go, plus un fichier encodeur F16 obligatoire de 1,67 Go. La version IQ4_NL de 19,7 Go est celle destinée aux cartes 24 Go, à l'inférence CPU, à Metal et à Vulkan ; la version NVFP4 de 19,7 Go vise Blackwell ; la Q5 se situe autour de 29 Go et la Q8 autour de 35 Go. Un drafter DFlash2 facultatif de 1,15 Go ajoute le décodage spéculatif sur le chemin CUDA.

• MLX — portages communautaires de 4 bits à 8 bits entre environ 19 Go et 35 Go pour Apple silicon, avec un auteur rapportant environ 154 tokens par seconde sur la version 4 bits. Utile pour l’évaluation sur un Mac, pas pour une voie de service en production.

Ce qui les fait tourner, et la seule erreur d'exécution que les gens commettent

Les fichiers GGUF sont le piège. Un fichier se terminant par .gguf n'implique pas llama.cpp, Ollama ou LM Studio, et aucun de ces trois n'exécute ce modèle : il lui faut un runtime de LLM vocal avec l'encodeur audio intégré. Les pistes fonctionnelles au moment de la sortie sont plus limitées que ne le suggère la liste des formats.

• vLLM 0.32.0 — la voie principale, et la seule qui expose toute la surface de sortie, y compris les horodatages au niveau des mots via le runner V1 et le middleware d'horodatage. La sortie attribuée aux locuteurs et la traduction se trouvent ici.

• SGLang-Omni 0.2.0 sur SGLang 0.5.22 — transcription du fichier entier via un endpoint audio compatible OpenAI, sans horodatages des mots, attribution des locuteurs, traduction ni décodage spéculatif.

• NeMo Speech — la boîte à outils de fine-tuning, avec NVIDIA annonçant 0,5 à 2,3 heures-GPU par tâche sur un seul GPU. Les recettes LoRA publiées fonctionnent sur une seule carte.

• NeMo-Speech.cpp et speech.cpp — le chemin C++ que ciblent les constructeurs GGUF, et le seul qui charge ces quants. Les deux fichiers de 19,7 Go et 35 Go ci-dessus sont distribués pour celui-ci, et les README des dépôts sont la source honnête pour savoir ce qui tient où.

• Transformers — utilisation en cours de processus à partir d'une installation depuis les sources, adéquate pour l'évaluation, pas pour le débit.

L’erreur consiste à télécharger le plus petit quant, à le pointer vers llama.cpp et à en conclure que le modèle est cassé. Il n’est pas cassé ; c’est un LLM vocal doté d’un encodeur dont les runtimes de texte n’ont aucune notion. Si le runtime ne répertorie pas Nemotron 3.5 Transcribe parmi ses architectures prises en charge, le fichier ne se chargera pas, quelle que soit sa taille.

La place de chaque fichier, en termes simples

Raisonnez à rebours à partir du matériel plutôt qu’en avançant à partir de la fiche du modèle. La référence indiquée sur la fiche — un H100 de 80 Go en BF16 — correspond à la voie de fidélité maximale, et non à la voie minimale.

Carte de 24 Go, RTX 4090 ou classe L4 — le GGUF IQ4_NL de 19,7 Go avec son encodeur de 1,67 Go. Laissez de la marge pour le cache KV et le tampon audio ; 24 Go, c'est serré, mais documenté comme fonctionnel.

• Carte 32 Go, RTX 5090 ou RTX PRO 6000 — le checkpoint NVFP4 de 21 Go, qui correspond à la configuration décrite par l'affirmation de débit de NVIDIA, avec le drafter DFlash2 si vous souhaitez le décodage spéculatif.

• Carte de 48 Go, {{1}}L40S ou A6000{{/1}} — le {{2}}checkpoint FP8 de 35 Go{{/2}}, le compromis le moins inconfortable entre fidélité et coût.

• Accélérateur 80 Go, H100 ou A100 — BF16, la configuration de référence, et la seule qui reproduise le tableau WER publié sans réserve quant à la précision.

• Aucun GPU du tout — aucun de ces fichiers. L’encodeur s’exécute sur CPU dans le chemin C++, mais une heure d’audio sur un décodeur 30B-A3B sans accélération est une tâche par lots qui se compte en heures, pas un service.

Une contrainte demeure, quelle que soit la précision : l’entrée est du PCM mono à 16 kHz et la limite est d’une heure d’audio par requête. Le sous-échantillonnage et la sélection des canaux s’effectuent avant que le modèle ne voie quoi que ce soit, et un enregistrement stéréo de salle de réunion est mixé en mono, sauf si vous séparez vous-même les canaux. Il s’agit d’une décision de prétraitement, pas d’une décision relative au checkpoint, et une erreur à ce niveau coûte davantage en qualité de transcription que ne le fait l’étape BF16 vers FP8.

Les vérifications à effectuer lorsqu'une annonce affiche les deux noms

Comme la situation de noms en double est bien réelle et se reproduira dans les catalogues et les pages de comparaison, une courte routine de vérification vaut mieux qu’un autre paragraphe d’explication.

• Identifiant du dépôt — le seul artefact officiel est NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Une ligne nommée Nemotron 3.5 Transcribe 30B avec un identifiant de dépôt différent correspond soit à une quantification, soit à un modèle entièrement différent.

• Chaîne de licence — OpenMDW-1.1 sur la version officielle, utilisation commerciale autorisée. Une fiche qui indique « usage de recherche uniquement » ou « non commercial » décrit autre chose.

• Contexte et fenêtre audio — 65 536 tokens et une heure. Une fiche qui indique une fenêtre plus longue est erronée, ou bien elle décrit un autre checkpoint.

• Déclaration des paramètres — 30B-A4B dans le nom, 34B sur la fiche, 4,3B actifs dans les deux. Une annonce indiquant 4B au total a confondu le nombre d’actifs avec le total, ce qui est la transcription la plus courante de ce modèle sur le web.

• Liste des fichiers — BF16, FP8 et NVFP4 de NVIDIA, ainsi qu’un modèle draft DFlash2. Si une page propose « Nemotron 3.5 Transcribe 30B » comme un seul fichier téléchargeable et sans précisions, il s’agit d’un quant communautaire qui porte le nom du fournisseur.

La question de routage qui est en fait distincte

Une fois le fichier choisi et l’environnement d’exécution opérationnel, la question du déploiement est réglée et une plus ancienne resurgit : que devient le texte. Une transcription est une matière première pour le résumé, l’extraction d’entités, le masquage, l’indexation de recherche et la réponse aux questions, et ces appels constituent un trafic ordinaire vers les modèles de texte, avec les problèmes ordinaires des modèles de texte — limites de débit, pannes en amont, un modèle de classification peu coûteux qui suffirait pour neuf dixièmes du volume.

OrcaRouter ne propose pas Nemotron 3.5 Transcribe, et son catalogue ne comporte aucune entrée sous l'un ou l'autre de ces noms ; si vous voyez deux lignes pour ce modèle où que ce soit, la vérification du dépôt ci-dessus est le moyen le plus rapide de trancher. Ce que la plateforme offre, c'est la couche qui intervient une fois la transcription produite : une seule clé compatible OpenAI pour plus de 200 modèles texte et vision au prix catalogue des fournisseurs, avec 0 % de marge, un basculement automatique entre fournisseurs, et un DSL de routage qui compose plusieurs modèles en un seul appel, de sorte que la passe d'extraction bon marché et la passe de jugement coûteuse puissent vivre derrière un point de terminaison unique. Le GPU transcrit ; le routage décide de ce que vaut la transcription.

Le suffixe est une indication de taille de fichier, pas un second modèle.

La façon la plus simple de garder les deux noms en tête est la suivante : Nemotron 3.5 Transcribe est le produit, Nemotron 3.5 Transcribe 30B est le dépôt, et le 30B compte un décodeur tandis que la fiche compte un système. L’écart entre 30,8B et 34B est un détail non résolu que NVIDIA devrait harmoniser, mais il ne change aucune décision d’un acheteur, car la décision se prend en gigaoctets et en environnements d’exécution pris en charge, pas au troisième chiffre d’un nombre de paramètres.

Choisissez la précision que votre carte peut prendre en charge, confirmez que l’environnement d’exécution répertorie l’architecture, et considérez toute fiche qui présente les deux noms comme des modèles distincts comme une erreur de catalogue plutôt que comme une option. La véritable bifurcation dans cette version — celle qui justifierait un véritable comparatif en face à face — oppose le reconnaisseur en streaming 0.6B, d’un côté, et ce transcripteur hors ligne 30B, de l’autre. Cette comparaison porte sur la latence et la couverture, et elle vaut la peine d’être faite. Comparer un modèle à son propre nom de fichier ne le vaut pas.