Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: dwie nazwy, jeden checkpoint, cztery pliki

Jeśli katalog, serwis porównawczy lub Twoja własna lista zakupowa wymienia Nemotron 3.5 Transcribe i Nemotron 3.5 Transcribe 30B jako dwie pozycje, to dwukrotnie wymienia ten sam model. Opublikowane repozytorium to NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, karta NVIDIA podaje łączną liczbę 34B parametrów i około 4,3B parametrów aktywnych, a prosta nazwa w każdym nagłówku to ten sam artefakt z pominiętą wielkością. Nie ma osobnego modelu 30B, z którym można by go porównać, co sprawia, że jest to raczej problem nazewnictwa z ukrytą w nim decyzją dotyczącą wdrożenia niż bezpośrednie porównanie.

Ta decyzja jest jednak realna i właśnie dlatego te dwie nazwy wciąż pojawiają się obok siebie. Jedna nazwa to ta, której szukasz i którą może wyświetlać katalog modeli lub wpis w API. Druga to ta, którą pobierasz — w jednej z czterech precyzji i przy jednym z czterech rozmiarów zajętości pamięci — a wybór między tymi plikami to jedyne porównanie, którego ten model faktycznie od ciebie wymaga. To, co następuje, to uzgodnienie: co liczy 30B, dlaczego karta mówi 34B i który plik pasuje do twojego GPU, a nie do GPU zakładanego przez stronę premiery.

Nazwa, która nie zgadza się ze sobą

W obiegu są dwie liczby i obie są oficjalne. Nazwa repozytorium kończy się na 30B-A4B, zgodnie z konwencją, którą NVIDIA stosuje w swojej serii modeli typu mieszanka ekspertów: najpierw łączna liczba parametrów, potem liczba parametrów aktywnych. Karta modelu na tej samej stronie podaje 34B łącznie i około 4,3B aktywnych, wyraźnie uwzględniając enkoder audio. Strona badania powtarza nazwę 30B-A4B w nagłówku, a w treści — liczbę 4,3B aktywnych parametrów.

Karta wymienia także poszczególne elementy i właśnie tutaj arytmetyka zaczyna mieć znaczenie. Rdzeń językowy to Nemotron 3.5 Lightning 30B-A3B, hybrydowy MoE łączący Mamba-2 i Transformer, z 3.5B aktywnych parametrów. Wspólny enkoder audio — enkoder ASR oparty na Transformerze plus enkoder mówcy — ma około 800M. Po zsumowaniu otrzymuje się około 30.8B, a nie 34B. Albo 34B uwzględnia coś, czego NVIDIA nie wyszczególniła, albo 30B w nazwie repozytorium jest zaokrągloną etykietą dla rdzenia, który w rzeczywistości jest większy, niż wynika z jego nazwy. NVIDIA nie opublikowała uzgodnienia, a audytu parametrów pełnego checkpointu przez podmiot trzeci jeszcze nie ma.

To, co to oznacza dla kupującego, jest węższe, niż brzmi. To, czy system ma 31B, czy 34B, nie zmienia tego, na jakiej karcie się mieści, ponieważ rozmiarem pliku rządzi precyzja znacznie bardziej niż ostatnie trzy miliardy parametrów. Oznacza to jednak, że każda specyfikacja podająca „30B” i każda podająca „34B” opisują ten sam plik do pobrania, a porównanie zakupowe oparte na tej różnicy jest porównywaniem konwencji zaokrąglania.

Co tak naprawdę liczy sufiks 30B

Przyrostek dotyczy modelu językowego, a nie transkrybera. Nemotron 3.5 Transcribe to LLM rozszerzony o mowę: dźwięk przechodzi przez enkoder Transformer, zamrożony model Nemotron 3 Diarization wnosi reprezentacje mówców poprzez to, co NVIDIA nazywa równoległym enkoderem eksperckim, a hybrydowy dekoder MoE zapisuje transkrypcję. Etykieta 30B należy do dekodera i jego stosu embeddingów. Ścieżka mowy — enkoder, diaryzator, głowa znaczników czasu CTC — działa na wierzchu i nie jest tym, co reklamuje nazwa.

Dlatego właśnie model zachowuje się jak LLM w sposób, w jaki klasyczny system ASR tego nie robi. Przyjmuje prompty. Odpowiada na pytania dotyczące audio. Tłumaczy w obrębie 31 par językowych do i z angielskiego w ramach jednego przebiegu. Utrzymuje kontekst o długości 65 536 tokenów, dzięki czemu godzinna wypowiedź mieści się bez dzielenia na fragmenty. Nic z tego nie wynika z tego, że dekoder 30B jest duży; wynika to z faktu, że dekoder jest w ogóle ogólnym modelem językowym, a mowa jest rzutowana do jego przestrzeni wejściowej.

Wyjaśnia to również brak, którego wszyscy wciąż szukają. Nie ma żadnego wariantu wyłącznie 30B, mniejszego gęstego Transcribe ani większego. Repozytorium zawiera wersje o różnych precyzjach pojedynczego modelu, a nie rodziny. Jedynymi innymi rozmiarami w obiegu są kwantyzacje tworzone przez społeczność oraz jeden naprawdę mniejszy strumieniowy model rozpoznawania mowy — Nemotron Speech Streaming EN 0.6B — który jest innym modelem obejmującym wyłącznie język angielski i bez diaryzacji, a nie miniaturą tego modelu.

Cztery pliki stojące za tą nazwą i ile pamięci zajmuje każdy z nich

To jest porównanie, na które faktycznie wskazują obie nazwy. NVIDIA publikuje trzy precyzje, a społeczność dodała czwarty format dostarczania; poniższe wartości dotyczące pamięci pochodzą z opublikowanych checkpointów i repozytoriów społeczności, a nie z pojedynczej tabeli dostawcy.

• BF16 — referencyjny checkpoint, około 67-68 GB na dysku, serwowany na pojedynczym H100 80GB. To wersja, na której uzyskano opublikowane wyniki benchmarków, i tej należy użyć, gdy trzeba je odtworzyć.

• FP8 — około 35 GB, co obniża minimalny wymóg do karty 48 GB, takiej jak L40S. W ujęciu samej NVIDIA utrata dokładności względem BF16 jest niewielka, ale jest to ujęcie NVIDIA; nie opublikowano niezależnej oceny FP8.

• NVFP4 — około 21 GB, czyli na tyle mało, że zmieści się na RTX 5090 z 32 GB lub na RTX PRO 6000. To właśnie ta precyzja stoi za sztandarowym twierdzeniem NVIDIA o przepustowości wynoszącej 2238 sekund audio na sekundę na pojedynczym RTX PRO 6000 z dołączonym modelem draft DFlash2.

• GGUF — cztery dekodery społecznościowe o rozmiarach od 19,7 GB do 35 GB oraz obowiązkowy plik enkodera F16 o rozmiarze 1,67 GB. Wersja IQ4_NL o rozmiarze 19,7 GB jest przeznaczona dla kart graficznych z 24 GB, wnioskowania na CPU, Metal i Vulkan; wersja NVFP4 o rozmiarze 19,7 GB jest przeznaczona dla Blackwell; Q5 oscyluje wokół 29 GB, a Q8 wokół 35 GB. Opcjonalny drafter DFlash2 o rozmiarze 1,15 GB dodaje dekodowanie spekulatywne na ścieżce CUDA.

• MLX — tworzone przez społeczność porty 4-bit i 8-bit o rozmiarach od około 19 GB do 35 GB dla Apple silicon, przy czym jeden z autorów podaje około 154 tokenów na sekundę w wersji 4-bit. Przydatne do oceny na Macu, nie jako produkcyjna ścieżka serwowania.

Co je uruchamia i jedyny błąd czasu wykonania, który ludzie popełniają

Pliki GGUF to pułapka. Rozszerzenie .gguf nie oznacza llama.cpp, Ollama ani LM Studio, i żaden z tych trzech nie uruchomi tego modelu: wymaga on środowiska uruchomieniowego dla LLM mowy z podłączonym enkoderem audio. Działające ścieżki w momencie wydania są węższe, niż sugeruje lista formatów.

• vLLM 0.32.0 — podstawowa ścieżka i jedyna, która udostępnia pełny zakres danych wyjściowych, w tym znaczniki czasu słów przez runner V1 i middleware znaczników czasu. Tutaj znajdują się dane wyjściowe z atrybucją mówcy oraz tłumaczenie.

• SGLang-Omni 0.2.0 na SGLang 0.5.22 — transkrypcja całego pliku przez zgodny z OpenAI punkt końcowy audio, bez znaczników czasowych słów, atrybucji mówcy, tłumaczenia ani dekodowania spekulacyjnego.

• NeMo Speech — zestaw narzędzi do dostrajania, przy czym NVIDIA podaje od 0,5 do 2,3 godzin GPU na zadanie na jednym GPU. Opublikowane przepisy LoRA działają na jednej karcie.

• NeMo-Speech.cpp i speech.cpp — ścieżka C++, do której adresowane są buildery GGUF, i jedyna, która wczytuje te kwanty. Zarówno pliki 19,7 GB, jak i 35 GB powyżej są dystrybuowane z myślą o niej, a README repozytoriów to rzetelne źródło informacji, co gdzie pasuje.

• Transformers — użycie w procesie z instalacji źródłowej, wystarczające do ewaluacji, nie do przepustowości.

Błąd polega na pobraniu najmniejszego pliku skwantyzowanego, wskazaniu go w llama.cpp i uznaniu, że model jest zepsuty. Nie jest zepsuty; to LLM mowy z enkoderem, którego tekstowe środowiska uruchomieniowe nie znają. Jeśli środowisko uruchomieniowe nie wymienia Nemotron 3.5 Transcribe wśród obsługiwanych architektur, plik nie załaduje się niezależnie od tego, jak mały jest.

Gdzie pasuje każdy plik — prostymi słowami

Idź wstecz od sprzętu, a nie w przód od karty modelu. Podany na karcie poziom odniesienia — jeden H100 80GB w precyzji BF16 — to ścieżka maksymalnej wierności, a nie minimalna.

• Karta 24 GB, klasy RTX 4090 lub L4 — 19,7 GB IQ4_NL GGUF wraz z enkoderem 1,67 GB. Zostaw zapas na KV cache i bufor audio; 24 GB to ciasno, ale udokumentowano, że działa.

• Karta 32 GB, RTX 5090 lub RTX PRO 6000 — checkpoint NVFP4 o rozmiarze 21 GB, czyli konfiguracja, którą opisuje deklaracja przepustowości NVIDIA, z drafterem DFlash2, jeśli chcesz dekodowania spekulacyjnego.

• Karta 48GB, L40S lub A6000 — checkpoint 35GB FP8, najmniej kłopotliwy kompromis między wiernością a kosztem.

• Akcelerator 80GB, H100 lub A100 — BF16, konfiguracja referencyjna i jedyna, która odtwarza opublikowaną tabelę WER bez zastrzeżenia dotyczącego precyzji.

• W ogóle brak GPU — żadnego z tych plików. Enkoder działa na CPU w ścieżce C++, ale godzina dźwięku na dekoderze 30B-A3B bez akceleracji to zadanie wsadowe liczone w godzinach, a nie usługa.

Niezależnie od wybranej precyzji obowiązuje jedno ograniczenie: wejście to 16 kHz mono PCM, a limit wynosi jedną godzinę dźwięku na żądanie. Downsampling i wybór kanałów następują, zanim model cokolwiek zobaczy, a stereofoniczne nagranie z sali konferencyjnej jest miksowane do mono, chyba że samodzielnie rozdzielisz kanały. To decyzja dotycząca wstępnego przetwarzania, a nie decyzja dotycząca checkpointu, i pomyłka w tym zakresie obniża jakość transkrypcji bardziej niż etap BF16-to-FP8.

Kontrole do przeprowadzenia, gdy ogłoszenie wyświetla obie nazwy

Ponieważ sytuacja z duplikującymi się nazwami jest realna i będzie się powtarzać w katalogach oraz na stronach porównawczych, krótka procedura weryfikacyjna jest warta więcej niż kolejny akapit wyjaśnień.

Identyfikator repozytorium — jedynym oficjalnym artefaktem jest NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Wiersz o nazwie Nemotron 3.5 Transcribe 30B z innym identyfikatorem repozytorium jest albo kwantyzacją, albo zupełnie innym modelem.

• Ciąg licencji — OpenMDW-1.1 w oficjalnym wydaniu, dozwolone użycie komercyjne. Ogłoszenie, które mówi wyłącznie o badaniach lub o niekomercyjności, opisuje coś innego.

• Kontekst i okno audio — 65,536 tokenów oraz jedna godzina. Specyfikacja podająca dłuższe okno jest błędna albo opisuje inny checkpoint.

• Deklaracja parametrów — 30B-A4B w nazwie, 34B w karcie modelu, 4,3B aktywnych w obu. Ogłoszenie podające łącznie 4B pomyliło liczbę aktywnych parametrów z liczbą łączną, co jest najczęstszym zapisem tego modelu w sieci.

• Lista plików — BF16, FP8 i NVFP4 od NVIDIA oraz model roboczy DFlash2. Jeśli strona oferuje „Nemotron 3.5 Transcribe 30B” jako pojedynczy plik do pobrania i nie podaje żadnych precyzji, to jest to społecznościowa kwantyzacja nosząca nazwę dostawcy.

Kwestia routingu, która jest faktycznie osobna

Gdy plik zostanie wybrany i środowisko uruchomieniowe będzie działać, kwestia wdrożenia zostaje zamknięta i powraca starsza: co dzieje się z tekstem. Transkrypcja to surowy materiał do podsumowywania, ekstrakcji encji, redagowania, indeksowania do wyszukiwania i odpowiadania na pytania, a te wywołania to zwykły ruch modeli tekstowych z typowymi problemami modeli tekstowych — limity zapytań, awarie po stronie dostawcy, tani model klasyfikacyjny, który wystarczyłby na dziewięć dziesiątych wolumenu.

OrcaRouter nie udostępnia modelu Nemotron 3.5 Transcribe, a jego katalog nie zawiera wpisu pod żadną z tych nazw; jeśli gdziekolwiek zobaczysz dwa wiersze dotyczące tego modelu, powyższa kontrola repozytorium to najszybszy sposób, aby to rozstrzygnąć. Platforma zapewnia natomiast warstwę działającą po powstaniu transkryptu: jeden klucz zgodny z OpenAI obejmujący ponad 200 modeli tekstowych i wizyjnych w cenie listowej dostawcy z 0% marży, automatyczne przełączanie awaryjne między dostawcami, oraz DSL routingu, który łączy kilka modeli w jedno wywołanie, dzięki czemu tani etap ekstrakcji i kosztowny etap oceny mogą działać za jednym punktem końcowym. GPU transkrybuje; routing decyduje, ile wart jest transkrypt.

Przyrostek to etykieta rozmiaru pliku, a nie drugi model.

Najprostszy sposób, aby utrzymać w głowie obie nazwy, jest następujący: Nemotron 3.5 Transcribe to produkt, Nemotron 3.5 Transcribe 30B to repozytorium, a 30B dotyczy dekodera, natomiast karta modelu dotyczy całego systemu. Rozbieżność między 30,8B a 34B to nierozstrzygnięty szczegół, który NVIDIA powinna uzgodnić, ale nie zmienia ona żadnej decyzji podejmowanej przez nabywcę, ponieważ decyzja podejmowana jest w gigabajtach i obsługiwanych środowiskach wykonawczych, a nie w trzeciej cyfrze liczby parametrów.

Wybierz precyzję, którą obsłuży Twoja karta, potwierdź, że środowisko uruchomieniowe wskazuje architekturę, a każdą listę przedstawiającą te dwie nazwy jako osobne modele traktuj jako błąd katalogu, a nie jako wybór. Prawdziwym rozwidleniem w tym wydaniu — takim, które uzasadniałoby prawdziwe bezpośrednie porównanie — jest rozpoznawacz strumieniowy 0,6B po jednej stronie i ten transkrybator offline 30B po drugiej. To porównanie dotyczy opóźnienia i pokrycia i warto je przeprowadzić. Porównywanie modelu z nazwą jego własnego pliku nie jest tego warte.