Nemotron 3.5 Transcribe: LLM mowy NVIDIA przewyższa kaskadę diarizacji — w 13 językach

NVIDIA wydała Nemotron 3.5 Transcribe 28 października 2026 roku na otwartej licencji, a liczbą, która pojawia się w każdym nagłówku na jego temat, jest 40: czterdzieści języków, jeden checkpoint, etykiety mówców w zestawie. Liczbą, która faktycznie zmienia sposób budowania stosu transkrypcji, jest 15,80. To średni cpWER modelu na własnym zestawie testowym NVIDIA z udziałem wielu mówców, w porównaniu z 16,83 dla najlepszej wyspecjalizowanej kaskady, z którą firma go zestawiła — rozpoznawanie mowy plus osobny pipeline diarizacji, połączone tak, jak wciąż działa większość produkcyjnych systemów transkrypcji spotkań. NVIDIA twierdzi, że to pierwszy model LLM do zadań mowy, który bije taki układ, i właśnie tę tezę warto sprawdzić, bo to ona usuwa komponent z architektury, a nie dodaje języka do listy.

Liczba 40 języków jest prawdziwa, ale jej zakres jest węższy, niż sugeruje brzmienie. Atrybucja mówców — część, która zastępuje kaskadę — jest trenowana dla trzynastu języków, a nie czterdziestu. Model czyta wyłącznie pliki nagrań, maksymalnie godzinę na raz, bez możliwości strumieniowania. Nie jest to też mały plik do pobrania: łącznie 34 mld parametrów, około 4,3 mld aktywnych na token, a podanym punktem odniesienia dla serwowania w BF16 jest H100 80GB. Te trzy ograniczenia decydują, czy wynik diaryzacji wykorzystasz w tym kwartale, czy tylko zanotujesz z myślą o następnym.

Co NVIDIA faktycznie dostarczyła

Checkpoint opublikowano jako NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, a różnicę między tą nazwą a opublikowaną liczbą parametrów należy wyjaśnić w pierwszej kolejności. Model opiera się na Nemotron 3.5 Lightning 30B-A3B, hybrydowym modelu językowym typu mixture-of-experts łączącym Mamba-2 i Transformer; karta modelu NVIDIA podaje łącznie 34B parametrów, z czego około 4,3B aktywnych, w tym stos audio. Dodatkowe parametry ponad 30B w nazwie to enkodery: około 600M dla transformera ASR i około 99M dla enkodera mówcy, łącznie około 800M, co pozostawia szkielet językowy na poziomie około 3,5B aktywnych. Kilka publikacji zgłaszało to jako niespójność; nie jest to jednak niespójność — to nazwa, która liczy LLM, oraz karta, która liczy cały system.

Architektonicznie elementem wartym zrozumienia jest równoległy enkoder ekspercki. Zamrożony model Nemotron 3 Diarization tworzy reprezentacje aktywności mówców, które są wstrzykiwane do wyjścia enkodera ASR, dzięki czemu model językowy widzi zarówno słowa, jak i tego, kto prawdopodobnie je wypowiada, w jednym przebiegu. Lekki adapter CTC dopasowuje następnie wygenerowany tekst z powrotem do audio, aby utworzyć znaczniki czasowe słów z przypisaniem do mówców. Nie ma drugiego etapu dopasowania ani wywołania pyannote pośrodku. Natywne przewidywanie wielu tokenów pełni jednocześnie rolę szkicu dekodowania spekulatywnego wewnątrz vLLM, a NVIDIA udostępnia również osobno wytrenowany model szkicowy DFlash2.

• Łączne i aktywne parametry — 34B łącznie, ~4,3B aktywnych na token, z czego ~3,5B przypada na rdzeń językowy

• Kontekst i dźwięk — 65 536 tokenów, nagrania o długości do 1 godziny w formacie 16 kHz mono, dekodowane w wewnętrznych fragmentach 30-sekundowych

• Zasięg językowy — 40 języków w transkrypcji, 32 w tłumaczeniu na angielski i z angielskiego, 13 w transkrypcji z atrybucją mówcy

• Licencja — OpenMDW-1.1, dozwolone użycie komercyjne i niekomercyjne

• Baseline serwowania — jedna karta H100 80GB w precyzji BF16; kompilacje BF16, FP8 i NVFP4 są publikowane

• Strumieniowanie — brak; to model typu plik na wejściu, transkrypcja na wyjściu

Wydanie składa się z pary artefaktów i warto trzymać je osobno, ponieważ w większości omówień ich rozróżnienie się zaciera. Obok modelu NVIDIA opublikowała Granary v2 — wydanie potoku danych mowy, a nie checkpoint: 463 062 godziny w 48 językach i 16 korpusach źródłowych, w porównaniu z 25 językami w Granary v1, zbudowane przy użyciu NeMo Curator i dostarczone z publicznym manifestem. Każdy rekord zawiera trzy formy transkrypcji — dosłowną w postaci znormalizowanej tekstowo, odwrotnie znormalizowaną z dysfluencjami i odwrotnie znormalizowaną bez nich — a także etykiety zadań, pary pytanie-odpowiedź oparte na mowie, terminy ukierunkowania kontekstowego i flagę jakości dla każdego rekordu. To dane, których oczekują przepisy do dostrajania, a nie wagi, które można uruchomić. Źródłowe audio nadal trzeba pobrać zgodnie z licencją każdego korpusu, więc Granary v2 jest otwarte w tym sensie, że otwarte są jego manifest i potok, a nie w tym, że audio można swobodnie redystrybuować.

Licencja ma znaczenie równie duże jak wagi. OpenMDW-1.1 pozwala na użycie komercyjne, co umieszcza ten model w tej samej kategorii co linia Voxtral firmy Mistral, a nie w wyłącznie badawczej części spektrum modeli z otwartymi wagami. Wsparcie dla środowisk uruchomieniowych w dniu premiery jest szersze niż w przypadku większości wydań modeli LLM do mowy: vLLM 0.32.0 jest główną ścieżką i jedyną, która zapewnia pełny zestaw funkcji, przy czym znaczniki czasu słów wymagają runnera V1 i middleware znaczników czasu, a DFlash2 nie jest dostępny. SGLang-Omni 0.2.0 na SGLang 0.5.22 obsługuje transkrypcję całych plików przez punkt końcowy audio zgodny z OpenAI, ale nie obsługuje znaczników czasu słów, wyników z przypisaniem mówcy, tłumaczenia ani dekodowania spekulatywnego. NeMo Speech jest dostarczany z zestawem narzędzi do dostrajania, Transformers obsługuje użycie wewnątrzprocesowe z instalacji ze źródeł, a kompilacja GGML obejmuje wybrane układy Blackwell, w tym RTX 5090 i RTX PRO 6000.

Wynik diaryzacji to historia.

Tabela NVIDIA dla wielu mówców to miejsce, w którym znajduje się porównanie kaskady, i jest ona nietypowo szczegółowa jak na wpis premierowy. Średni cpWER dla całego zestawu wynosi 15,80 wobec 16,83 dla DiCoW v3.3 w połączeniu z DiariZen. Liczby dla poszczególnych warunków pokazują, skąd bierze się przewaga, a skąd nie: AMI w warunkach bliskiego odbioru osiąga 10,29, AMI z pojedynczym mikrofonem odległościowym 17,34, CALLHOME CH109 11,50, Mixer 6 channel 4 14,80, NOTSOFAR-1 w warunkach bliskiego odbioru 14,94 i jednokanałowy 25,91, przy czym AISHELL-4 ma 32,91 cpCER, a AliMeeting 34,95. Szerokopasmowy, wielokanałowy przypadek spotkania jest mocny; pojedynczy mikrofon w polu odległym i chińskie nagrania spotkań są znacznie słabsze, co stanowi uczciwy opis tego, z czym każdy system diaryzacji ma trudności.

Niezależnie wyglądające potwierdzenie, na którym opiera się NVIDIA, to Diarization-Bench firmy VoiceArena, w którym model odnotowuje 32,4% cpWER w pełnych sesjach angielskich, zajmując pierwsze miejsce wśród czternastu systemów. Drugi w klasyfikacji, Multitalker Parakeet w połączeniu z Nemotron 3 Diarization, osiąga 34,2%, a pozostałe systemy w stawce plasują się między 34,7% a 71,9%. NVIDIA podaje również odsetek usunięć słów wynoszący 8,32% słów referencyjnych, podczas gdy mediana w stawce wynosi około 31%. Ta druga liczba jest bardziej użyteczna dla każdego, kto wdrożył transkrypcję: cpWER można oszukać, pomijając słowa, co do których nie ma się pewności, a system, który zachowuje 92% słów referencyjnych i jednocześnie wygrywa metrykę, robi trudniejszą rzecz. Oba te wyniki to liczby podane przez dostawcę na podstawie testu porównawczego strony trzeciej, a nie niezależna ocena modelu.

Limit wynika z liczby języków. Atrybucja mówców jest wytrenowana dla trzynastu języków — angielskiego, francuskiego, niemieckiego, hindi, włoskiego, koreańskiego, portugalskiego, rosyjskiego, hiszpańskiego, japońskiego, tajskiego, arabskiego i chińskiego — i obsługuje do ośmiu mówców. Jeśli Twoje nagrania to spotkania po angielsku lub w jednym z tych dwunastu pozostałych języków, argument o zastąpieniu kaskady pozostaje w mocy. Jeśli Twoje audio jest po polsku, turecku lub wietnamsku, otrzymujesz transkrypcję bez diaryzacji i nadal potrzebujesz drugiego komponentu.

Gdzie faktycznie plasuje się w rankingu: trzy tabele rankingowe, trzy różne odpowiedzi

Wynik dla języka angielskiego zależy od tego, którą stronę NVIDIA czytasz, i warto ująć to precyzyjnie, zamiast wybierać korzystniejszy wynik. Średni współczynnik błędów słów (WER) na dziewięciu zbiorach z karty modelu wynosi 4,71%, a kolejny jest Qwen3-ASR-1.7B z wynikiem 4,94%. Wpis NVIDIA na Hugging Face z tego samego dnia podaje 5,33% jako średni WER na Hugging Face Open ASR Leaderboard, przy RTFx wynoszącym 462,09, oraz 5,4% dla Qwen3-ASR-1.7B. W obu przypadkach są to dane samego dostawcy, opublikowane w odstępie kilku godzin, a różnica polega na tym, które zbiory testowe wchodzą do średniej. Nie uśredniaj ich, nie odejmuj jednej od drugiej i nie traktuj wartości dziesiętnej jako rozstrzygniętej. To, co pozostaje prawdziwe w obu ujęciach, to pozycja: pierwsze miejsce wśród modeli z otwartymi wagami na tej liście rankingowej.

Reszta zestawu raportowanego przez dostawcę ma spójny kształt. Średni wielojęzyczny WER wynosi 4,62% w siedmiu językach wobec 6,49% dla Qwen3-ASR-1.7B. Średnia dla długich form wynosi 10,98% wobec 13,37% dla Parakeet-TDT-0.6B-v3. Kontrola stylu uzyskuje wynik 7,56% w trybie domyślnym i 6,16% po wydaniu instrukcji, wobec 8,16% i 8,36% dla Canary-Qwen. Podpowiadanie kontekstowe przesuwa ContextASR-Bench z 3,33% bez kontekstu do 1,71% z precyzyjnym kontekstem oraz transkrypcję rozmów o wynikach finansowych z 12,54% do 9,58% po dostarczeniu kontekstu lokalnego.

Niezależna weryfikacja opowiada mniej pochlebną historię i to właśnie ją warto przeczytać, jeśli w tym tygodniu wybierasz między modelami. W indeksie błędów słów w trybie niestrumieniowym Artificial Analysis, sprawdzonym 29 października, Nemotron 3.5 Transcribe wynosi 2,8%. Voxtral Small Transcribe 3 wynosi 2,1%, a MAI-Transcribe-2 wynosi 2,0% w tym samym widoku, podczas gdy Gemini 3.5 Transcribe plasuje się na 2,6%. Sformułowanie NVIDIA „ex aequo na pierwszym miejscu wśród modeli o otwartych wagach” jest uzasadnione w odniesieniu do konkretnego modelu, który wymienia — Voxtral Small, który ten sam indeks również pokazuje z wynikiem 2,8% i który NVIDIA opisuje jako model 24B w zestawieniu z około 4B aktywnych parametrów tego modelu — ale ranking poszedł dalej niż to zestawienie, zanim ten model został wydany. Nowszy model siostrzany Mistrala, Voxtral Small Transcribe 3, ma w tym samym widoku wskaźnik błędów niższy o około jedną czwartą. To nie czyni wyniku diaryzacji błędnym, ponieważ Voxtral nie wykonuje atrybucji mówcy w jednym przebiegu. Oznacza to jednak, że właściwym sformułowaniem jest „najlepszy model o otwartych wagach w ASR z atrybucją mówcy”, a nie „najlepszy transkryber o otwartych wagach”.

To właśnie na końcowym fragmencie przypadającym na każdy język wdrożenia się psują

Pokrycie i parytet to różne twierdzenia, a karta modelu NVIDIA publikuje wystarczająco szczegółowe dane dla poszczególnych języków, by dostrzec dzielącą je odległość. Macierz językowa ma 41 wierszy; norweski występuje w niej bez zaznaczeń zadań, przez co faktycznie oznaczone na potrzeby ASR pozostają 40 języków. W FLEURS współczynniki błędów wahają się od 1,41% do 63,76% — a 63,76 to norweski. Włoski osiąga 1,41, hiszpański 2,20, niemiecki 2,73, francuski 3,16, angielski 3,35, arabski 6,35, a hindi 7,47; japoński osiąga 4,42 CER, koreański 2,78 CER, a chiński 8,62 CER. W średnich dla poszczególnych języków na wielojęzycznej tabeli rankingowej hindi wynosi 9,15 OIWER wobec holenderskiego 5,96 i niemieckiego 2,81.

Przełączanie kodów, które karta deklaruje dla wszystkich 40 języków, jest równie nierównomierne: ASCEND mandaryński-angielski osiąga 18,74% błędu mieszanego, MUCS hindi-angielski 19,28%, a MUCS bengalski-angielski 35,46%, przy czym Monsoon hindi ma 9,40% OIWER. Jakość tłumaczenia również obejmuje szeroki zakres — BLEU FLEURS→angielski od 6,40 do 44,33, angielski→FLEURS od 8,70 do 42,65 oraz CoVoST2→angielski od 6,95 do 54,46. Odporność na zbiorze HALAS wynosi 31,50% WER i to jest liczba, która powinna studzić każdy plan oparty na nagraniach terenowych z akcentem lub szumem.

Praktyczny wniosek jest taki, że „40 języków” to deklaracja pokrycia, według której można planować moce przerobowe, a nie deklaracja jakości, według której można planować produkt. Zanim się zobowiążesz, przetestuj konkretny język i konkretne warunki nagrania, które Cię interesują, na kilkuset własnych klipach. Studium przypadku dostrajania z samej karty modelu jest szablonem: na indyjskim benchmarku mowy medycznej błąd w standardowej konfiguracji wynosił 30,8%, polecenie wskazujące język angielski i pismo łacińskie obniżyło go do 23,8%, a adaptacja na około 245 godzinach danych doprowadziła go do 11,8% — około 62% mniej błędów, przy 14 godzinach GPU na jednym GB300. Mówcy z wydzielonego zestawu przeszli z 22,44% do 12,17%, co stanowi względne zmniejszenie o 45,8%, podczas gdy LibriSpeech test-clean pogorszył się z 1,54% do 1,69%, co jest zwykłym oznakiem wąskiej adaptacji.

Ile kosztuje utrzymanie i gdzie pasuje routing

NVIDIA nie opublikowała ceny tego modelu. Na stronie badawczej ani w karcie modelu nie ma stawki za minutę; wagi są darmowe na licencji OpenMDW-1.1, a dostęp hostowany w momencie premiery odbywa się przez własny punkt końcowy NIM firmy NVIDIA oraz kilka platform zewnętrznych, które ustalają własne stawki. Zatem kwestia kosztów to kwestia GPU, a dane w tym zakresie są niezwykle kompletne.

Na jednej karcie RTX PRO 6000 Blackwell Server Edition wersja NVFP4 z modelem roboczym DFlash2 przetwarza do 2238 sekund dźwięku na sekundę — 30-sekundowe nagranie jest przetwarzane w 0,13 sekundy — co pozwala przetworzyć 100 godzin dźwięku w niecałe trzy minuty. To zoptymalizowana ścieżka NIM, a NVIDIA podaje, że otwarta integracja z vLLM jest około dwa razy wolniejsza. Na H100 w BF16 współczynniki RTFx dla tej karty wynoszą 410 przy spekulacji dwutokenowej, 270 przy ośmiotokenowej, 340 z DFlash2 przy K=7 i 260 przy K=15. W górnej części tego zakresu jedna godzina pracy H100 pokrywa około 410 godzin dźwięku, więc transkrypcja tysiąca godzin to około dwóch i pół godziny obliczeń GPU. Czy jest to korzystniejsze niż hostowana stawka za minutę, zależy wyłącznie od tego, jak bardzo obciążona jest karta: przy kilkuset godzinach miesięcznie bezczynna karta GPU o pojemności 80 GB jest droższą opcją, a rachunek odwraca się dopiero wtedy, gdy kolejka pozostaje pełna.

Adaptacja jest tania według standardów tej klasy. NVIDIA podaje od 0,5 do 2,3 GPU-godziny na zadanie na pojedynczym GPU dla nowych języków, dziedzin lub stylów wyjściowych, ocenianych w ramach 17 zadań, z LoRA w modelu językowym oraz trenowaniem enkodera i projekcji. To wystarczająco mała liczba, że adaptację dziedzinową należy traktować jako część wdrożenia, a nie projekt badawczy — powyższy przypadek medyczny to 14 GPU-godzin od początku do końca.

Jedna uwaga architektoniczna istotna dla tego, co nastąpi: ten model generuje tekst, a streszczanie, ekstrakcja encji i tagowanie zgodności, które następują po transkrypcji, to zwykła praca LLM. Ten etap downstream to część, którą obejmuje OrcaRouter — jeden API dla ponad 200 modeli z 0% marży ponad cenę katalogową dostawcy, automatyczne przełączanie awaryjne, gdy dostawca pogarsza się w trakcie pipeline'u, oraz DSL routingu do wysyłania długich transkrypcji i krótkich fragmentów do różnych modeli bez osobnej integracji za każdym razem. Nie hostujemy Nemotron 3.5 Transcribe; to model mowy, który uruchamiasz na własnym sprzęcie lub przez endpoint NVIDIA. Warstwa routingu zaczyna się tam, gdzie kończy się transkrypcja.

Dwa modele mają tę samą nazwę, a tylko jeden to ten.

Spora część tego, co w ciągu ostatniego dnia napisano o tym wydaniu, dotyczy innego checkpointu. NVIDIA publikuje również nemotron-3.5-asr-streaming-0.6b, mały strumieniowy checkpoint ASR przeznaczony do środowisk uruchomieniowych na urządzeniach i zorientowanych na CPU, przy czym jego skwantowane wersje są wystarczająco małe, by można je było osadzić w aplikacji. To nie jest ten model, nie wykonuje atrybucji mówców, a jego wskaźniki szybkości i dokładności nie mają zastosowania. LLM mowy 30B-A4B to ten ogłoszony 28 października; model strumieniowy 0,6B to ten, który działa na laptopie. Jeśli w czytanym porównaniu podano opóźnienie poniżej jednej sekundy lub pobranie o rozmiarze jednego gigabajta obok twierdzenia o 40 językach, to połączono ze sobą te dwa modele.

Kto powinien działać teraz, a kto powinien poczekać?

Działaj teraz, jeśli prowadzisz nagrywane spotkania, rozmowy telefoniczne lub wywiady w języku angielskim albo w jednym z dwunastu innych języków diarizacji, w plikach krótszych niż godzina, i masz już zasoby GPU klasy 80 GB lub hostowany punkt końcowy, za który jesteś gotów zapłacić. Argument jest najmocniejszy wtedy, gdy obecnie utrzymujesz kaskadę dwumodelową: jeden checkpoint, jedno przejście, z etykietami mówców i znacznikami czasu słów, na licencji zezwalającej na użycie komercyjne. Oceń go na własnym materiale audio, zanim wycofasz pyannote — liczby dla dalekiego pola i audio z akcentem powyżej są tymi, które najprawdopodobniej rozczarują.

Wstrzymaj się, jeśli potrzebujesz transmisji na żywo, ponieważ nie ma ścieżki strumieniowej; jeśli Twoje języki znajdują się w ogonie tego zakresu FLEURS; jeśli nagrania trwają ponad godzinę; lub jeśli nie masz GPU i nie masz ochoty na hosting rozliczany za minutę. Wstrzymaj się też, jeśli Twój stack opiera się już na nowszym transkrybatorze, który osiąga niższy błąd w Artificial Analysis i nie wymaga diarizacji — jednoprzebiegowe przypisanie mówców jest powodem do zmiany i jedynym.

Warte uwagi otwarte pytania są wąskie i możliwe do sprawdzenia. Niezależna ewaluacja w pełnej precyzji wciąż jest uboga; wczesne doniesienia osób uruchamiających społecznościowe kwantyzacje 4-bitowe opisują typowe spowolnienie i utratę dokładności, co mówi więcej o kwantyzacji niż o modelu. SGLang-Omni musi osiągnąć parytet funkcji, zanim ścieżka nieoparta na vLLM stanie się realną alternatywą. A trzynaście języków diaryzacji to liczba, która najprawdopodobniej zmieni się pierwsza, ponieważ właśnie tam skupia się argument architektoniczny.