Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: Zwei Namen, ein Checkpoint, vier Dateien

Wenn ein Katalog, eine Vergleichsseite oder Ihre eigene Beschaffungsliste Nemotron 3.5 Transcribe und Nemotron 3.5 Transcribe 30B als zwei Einträge aufführt, führt sie ein und dasselbe Modell zweimal auf. Das veröffentlichte Repository heißt NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, die Karte von NVIDIA gibt die Gesamtzahl mit 34B Parametern und die aktive Anzahl mit etwa 4,3B an, und der schlichte Name in jeder Schlagzeile bezeichnet dasselbe Artefakt ohne die Größenangabe. Es gibt kein separates 30B-Modell, gegen das man vergleichen könnte, weshalb dies weniger ein direkter Vergleich als vielmehr ein Benennungsproblem ist, in dem eine Bereitstellungsentscheidung steckt.

Diese Entscheidung ist jedoch real, und sie ist der Grund, warum die beiden Namen immer wieder nebeneinander auftauchen. Der eine Name ist der, nach dem du suchst, und der, den ein Modellkatalog oder eine API-Auflistung möglicherweise anzeigt. Der andere ist der, den du herunterlädst – in einer von vier Präzisionen, mit einem von vier Speicherbedarfen –, und die Auswahl zwischen diesen Dateien ist der einzige Vergleich, den dieses Modell tatsächlich von dir verlangt. Was folgt, ist der Abgleich: was die 30B zählt, warum die Karte 34B sagt und welche Datei zu der GPU passt, die du hast, statt zu der, die die Launch-Seite voraussetzt.

Der Name, der sich selbst widerspricht

Zwei Zahlen sind im Umlauf, und beide sind offiziell. Der Repository-Name endet auf 30B-A4B, entsprechend der Konvention, die NVIDIA für seine Mixture-of-Experts-Reihe verwendet: zuerst die Gesamtparameterzahl, dann die aktiven Parameter. Die Modellkarte auf derselben Seite nennt 34B insgesamt und etwa 4,3B aktiv, wobei der Audio-Encoder ausdrücklich eingeschlossen ist. Die Forschungsseite wiederholt den Namen 30B-A4B in ihrer Überschrift und die Angabe von 4,3B aktiven Parametern im Haupttext.

Die Modellkarte benennt außerdem die Bestandteile – und da beginnt die Arithmetik relevant zu werden. Das Sprach-Backbone ist Nemotron 3.5 Lightning 30B-A3B, ein MoE-Hybrid aus Mamba-2 und Transformer mit 3,5B aktiven Parametern. Der gemeinsame Audio-Encoder – ein Transformer-ASR-Encoder plus ein Sprecher-Encoder – umfasst etwa 800M. Addiert man diese, kommt man auf rund 30,8B, nicht 34B. Entweder zählt die 34B-Angabe etwas, das NVIDIA nicht einzeln aufgeführt hat, oder die 30B im Repository-Namen sind eine gerundete Bezeichnung für ein Backbone, das tatsächlich größer ist als sein Name. NVIDIA hat den Abgleich nicht veröffentlicht, und es gibt noch keine Parameterprüfung des vollständigen Checkpoints durch Dritte.

Was das für einen Käufer bedeutet, ist enger gefasst, als es klingt. Ob das System 31B oder 34B groß ist, ändert nichts daran, auf welche Karte es passt, denn die Dateigröße wird weit stärker von der Präzision bestimmt als von den letzten drei Milliarden Parametern. Es bedeutet jedoch, dass jedes Datenblatt, das „30B“ angibt, und jedes, das „34B“ angibt, denselben Download beschreiben, und ein Beschaffungsvergleich, der auf dem Unterschied aufbaut, vergleicht eine Rundungskonvention.

Was das 30B-Suffix tatsächlich zählt

Das Suffix steht für ein Sprachmodell, nicht für einen Transkribierer. Nemotron 3.5 Transcribe ist ein um Sprache erweitertes LLM: Das Audio durchläuft einen Transformer-Encoder, ein eingefrorenes Nemotron 3 Diarization-Modell trägt Sprecherrepräsentationen über einen von NVIDIA als „parallel expert encoder“ bezeichneten Encoder bei, und der hybride MoE-Decoder schreibt das Transkript. Die 30B-Angabe bezieht sich auf den Decoder und seinen Embedding-Stack. Der Sprachpfad – Encoder, Diarizer, CTC-Zeitstempel-Head – kommt obendrauf und ist nicht das, was der Name verspricht.

Deshalb verhält sich das Modell in mancher Hinsicht wie ein LLM, was ein klassisches ASR-System nicht tut. Es nimmt Prompts entgegen. Es beantwortet Fragen zum Audio. Es übersetzt über 31 Sprachpaare hinweg nach und aus dem Englischen innerhalb desselben Durchlaufs. Es verfügt über einen Kontext von 65.536 Token, sodass eine Stunde Sprache ohne Chunking hineinpasst. Nichts davon kommt daher, dass ein 30B-Decoder groß ist; es kommt daher, dass der Decoder überhaupt ein allgemeines Sprachmodell ist, wobei Sprache in seinen Eingaberaum projiziert wird.

Es erklärt auch das Fehlen, nach dem alle ständig suchen. Es gibt kein 30B-only-Geschwistermodell, kein kleineres dichtes Transcribe und auch kein größeres. Das Repository enthält Präzisionsvarianten eines einzelnen Modells, nicht einer Familie. Die einzigen anderen Größen im Umlauf sind von der Community erzeugte Quantisierungen und ein wirklich kleinerer Streaming-Erkenner – Nemotron Speech Streaming EN 0.6B –, der ein anderes Modell mit rein englischer Abdeckung und ohne Diarisierung ist, keine Mini-Version dieses Modells.

Die vier Dateien hinter dem Namen – und was jede einzelne davon im Speicher kostet

Dies ist der Vergleich, auf den die beiden Namen tatsächlich verweisen. NVIDIA veröffentlicht drei Präzisionen, und die Community hat ein viertes Bereitstellungsformat hinzugefügt; die Speicherangaben unten stammen aus den veröffentlichten Checkpoints und den Community-Repositories, nicht aus einer einzigen Herstellertabelle.

• BF16 — der Referenz-Checkpoint, etwa 67–68 GB auf der Festplatte, bereitgestellt auf einer einzelnen H100 mit 80 GB. Dies ist die Version, mit der die veröffentlichten Benchmark-Werte erzeugt wurden, und die Version, die Sie verwenden sollten, wenn Sie diese reproduzieren möchten.

• FP8 — etwa 35 GB, was die Untergrenze auf eine 48-GB-Karte wie eine L40S verschiebt. Der Genauigkeitsverlust gegenüber BF16 ist in NVIDIAs eigener Darstellung gering, aber es ist NVIDIAs Darstellung; eine unabhängige FP8-Bewertung wurde nicht veröffentlicht.

• NVFP4 — etwa 21 GB, klein genug für eine RTX 5090 mit 32 GB oder eine RTX PRO 6000. Diese Präzision steht hinter NVIDIAs zentraler Durchsatzangabe von 2.238 Sekunden Audio pro Sekunde auf einer einzelnen RTX PRO 6000 mit angehängtem DFlash2-Draft-Modell.

• GGUF — vier Community-Decoder zwischen 19,7 GB und 35 GB plus eine obligatorische 1,67-GB-F16-Encoder-Datei. Der 19,7-GB-IQ4_NL-Build ist der für 24-GB-Karten, CPU-Inferenz, Metal und Vulkan gedachte; der 19,7-GB-NVFP4-Build ist auf Blackwell ausgerichtet; Q5 liegt bei etwa 29 GB und Q8 bei etwa 35 GB. Ein optionaler 1,15-GB-DFlash2-Drafter ergänzt spekulatives Decoding auf dem CUDA-Pfad.

• MLX — Community-Portierungen von 4-Bit bis 8-Bit zwischen rund 19 GB und 35 GB für Apple Silicon, wobei ein Autor für den 4-Bit-Build etwa 154 Token pro Sekunde angibt. Nützlich für die Evaluierung auf einem Mac, nicht als Produktions-Serving-Pfad.

Was sie ausführt – und der eine Laufzeitfehler, den Leute machen

Die GGUF-Dateien sind die Falle. Eine Datei mit der Endung .gguf bedeutet nicht llama.cpp, Ollama oder LM Studio, und keines dieser drei führt dieses Modell aus: Es benötigt eine Speech-LLM-Runtime, in die der Audio-Encoder fest eingebunden ist. Die zum Release funktionierenden Pfade sind enger, als die Formatliste vermuten lässt.

• vLLM 0.32.0 — der primäre Pfad und der einzige, der die vollständige Ausgabeschnittstelle bereitstellt, einschließlich Wortzeitstempeln über den V1-Runner und die Zeitstempel-Middleware. Sprecherattribuierte Ausgabe und Übersetzung sind hier beheimatet.

• SGLang-Omni 0.2.0 auf SGLang 0.5.22 — Transkription ganzer Dateien über einen OpenAI-kompatiblen Audio-Endpunkt, ohne Wort-Zeitstempel, Sprecherzuordnung, Übersetzung oder spekulative Dekodierung.

• NeMo Speech — das Fine-Tuning-Toolkit, wobei NVIDIA 0,5 bis 2,3 GPU-Stunden pro Aufgabe auf einer einzelnen GPU angibt. Die veröffentlichten LoRA-Rezepte laufen auf einer Karte.

NeMo-Speech.cpp und speech.cpp — der C++-Pfad, auf den die GGUF-Builder abzielen, und der einzige, der diese Quants lädt. Sowohl die 19,7-GB- als auch die 35-GB-Dateien oben werden dafür vertrieben, und die READMEs der Repositories sind die ehrliche Quelle dafür, was wohin passt.

• Transformers — Nutzung im Prozess aus einer Quellinstallation, ausreichend für die Evaluierung, nicht für den Durchsatz.

Der Fehler besteht darin, die kleinste Quantisierung herunterzuladen, llama.cpp darauf anzusetzen und daraus zu schließen, dass das Modell defekt sei. Es ist nicht defekt; es ist ein Sprach-LLM mit einem Encoder, für den die Text-Runtimes kein Konzept haben. Wenn die Runtime Nemotron 3.5 Transcribe nicht in ihren unterstützten Architekturen auflistet, wird die Datei nicht geladen, egal wie klein sie ist.

Wo jede Datei hingehört, in einfachen Worten

Von der Hardware aus rückwärts arbeiten, statt von der Model Card aus vorwärts. Die in der Karte angegebene Baseline – eine H100 80GB mit BF16 – ist der Pfad maximaler Genauigkeitstreue, nicht der minimale.

• 24-GB-Karte, RTX 4090 oder L4-Klasse — das 19,7-GB-IQ4_NL-GGUF mit seinem 1,67-GB-Encoder. Lassen Sie Reserve für den KV-Cache und den Audiopuffer; 24 GB sind knapp, aber als funktionierend dokumentiert.

• 32-GB-Karte, RTX 5090 oder RTX PRO 6000 – der 21-GB-NVFP4-Checkpoint, also die Konfiguration, auf die sich NVIDIAs Durchsatzangabe bezieht, mit dem DFlash2-Drafter, wenn Sie spekulative Dekodierung wünschen.

• 48-GB-Karte, L40S oder A6000 – der 35-GB-FP8-Checkpoint, der am wenigsten unangenehme Kompromiss zwischen Wiedergabetreue und Kosten.

• 80-GB-Beschleuniger, H100 oder A100 — BF16, die Referenzkonfiguration und die einzige, die die veröffentlichte WER-Tabelle ohne einen Präzisionsvorbehalt reproduziert.

Überhaupt keine GPU – keine dieser Dateien. Der Encoder läuft im C++-Pfad auf der CPU, aber eine Stunde Audio auf einem 30B-A3B-Decoder ohne Beschleunigung ist ein Batch-Job, der in Stunden gemessen wird, kein Dienst.

Eine Einschränkung bleibt unabhängig von der Präzision bestehen: Die Eingabe ist 16-kHz-Mono-PCM, und die Obergrenze liegt bei einer Stunde Audio pro Anfrage. Downsampling und Kanalauswahl erfolgen, bevor das Modell überhaupt etwas sieht, und eine Stereo-Konferenzraumaufnahme wird zu Mono gemischt, es sei denn, man trennt die Kanäle selbst. Das ist eine Entscheidung der Vorverarbeitung, keine des Checkpoints, und sie falsch zu treffen kostet mehr Transkriptionsqualität als der Schritt von BF16 auf FP8.

Die Prüfungen, die ausgeführt werden müssen, wenn ein Eintrag beide Namen anzeigt

Da die Situation mit doppelten Namen real ist und in Katalogen und Vergleichsseiten wiederkehren wird, ist eine kurze Überprüfungsroutine mehr wert als ein weiterer Absatz Erklärung.

• Repository-ID — das einzige offizielle Artefakt ist NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Eine Zeile namens Nemotron 3.5 Transcribe 30B mit einer anderen Repository-ID ist entweder eine Quantisierung oder ein völlig anderes Modell.

• Lizenzstring — OpenMDW-1.1 in der offiziellen Veröffentlichung, kommerzielle Nutzung gestattet. Ein Eintrag, der „research-only“ oder „non-commercial“ angibt, beschreibt etwas anderes.

• Kontext- und Audiofenster — 65.536 Token und eine Stunde. Eine Angabe, die ein längeres Fenster nennt, ist falsch oder beschreibt einen anderen Checkpoint.

• Parameterangabe – 30B-A4B im Namen, 34B in der Modellkarte, 4.3B aktiv in beiden. Eine Auflistung, die 4B als Gesamtzahl angibt, hat die Anzahl der aktiven Parameter mit der Gesamtzahl verwechselt – die im Web am häufigsten anzutreffende Wiedergabe dieses Modells.

• Dateiliste — BF16, FP8 und NVFP4 von NVIDIA, plus ein DFlash2-Draft-Modell. Wenn eine Seite „Nemotron 3.5 Transcribe 30B“ als eine einzige herunterladbare Datei und ohne Präzisionsvarianten anbietet, handelt es sich um einen Community-Quant, der den Namen des Herstellers trägt.

Die Routing-Frage, die tatsächlich separat ist

Sobald die Datei ausgewählt ist und die Laufzeitumgebung läuft, ist die Deployment-Frage geklärt, und eine ältere kehrt zurück: Was geschieht mit dem Text. Ein Transkript ist Rohmaterial für Zusammenfassung, Entitätsextraktion, Schwärzung, Suchindexierung und Fragebeantwortung, und diese Aufrufe sind gewöhnlicher Textmodell-Verkehr mit gewöhnlichen Textmodell-Problemen — Rate-Limits, Ausfälle vorgelagerter Dienste, ein kostengünstiges Klassifikationsmodell, das für neun Zehntel des Volumens ausreichen würde.

OrcaRouter bietet Nemotron 3.5 Transcribe nicht an, und sein Katalog enthält unter keinem der beiden Namen einen Eintrag; wenn Sie irgendwo zwei Zeilen für dieses Modell sehen, ist die oben beschriebene Repository-Prüfung der schnellste Weg, das zu klären. Was die Plattform bereitstellt, ist die Ebene, die nach dem Vorliegen des Transkripts kommt: ein OpenAI-kompatibler Schlüssel für über 200 Text- und Vision-Modelle zum Listenpreis des Anbieters ohne Aufschlag von 0 %, automatisches Failover zwischen Anbietern und eine Routing-DSL, die mehrere Modelle zu einem einzigen Aufruf zusammensetzt, sodass der günstige Extraktionsschritt und der teure Bewertungsschritt hinter einem einzigen Endpunkt liegen können. Die GPU transkribiert; das Routing entscheidet, was das Transkript wert ist.

Das Suffix ist eine Dateigrößen-Kennzeichnung, kein zweites Modell.

Am einfachsten behält man beide Namen so im Kopf: Nemotron 3.5 Transcribe ist das Produkt, Nemotron 3.5 Transcribe 30B ist das Repository, und die 30B zählen einen Decoder, während die Karte ein System zählt. Die Lücke zwischen 30,8B und 34B ist ein ungeklärtes Detail, das NVIDIA klären sollte, aber sie ändert keine Entscheidung, die ein Käufer trifft, denn die Entscheidung fällt in Gigabyte und in unterstützten Laufzeitumgebungen, nicht in der dritten Ziffer einer Parameteranzahl.

Wählen Sie die Präzision, die Ihre Karte unterstützen kann, stellen Sie sicher, dass die Runtime die Architektur aufführt, und behandeln Sie jede Auflistung, die die beiden Namen als getrennte Modelle darstellt, als Katalogfehler statt als Auswahl. Die eigentliche Gabelung in diesem Release – die einen echten direkten Vergleich rechtfertigen würde – ist der 0,6B-Streaming-Erkenner auf der einen und dieser 30B-Offline-Transkribierer auf der anderen Seite. Bei diesem Vergleich geht es um Latenz und Abdeckung, und er lohnt sich. Ein Modell mit seinem eigenen Dateinamen zu vergleichen, lohnt sich nicht.