Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 64× więcej parametrów, 43× wolniejszy

Najbardziej użytecznym obiektem w tym porównaniu jest plik o rozmiarze 279 megabajtów. To kwantyzacja Q4_K_M Granite Speech 5.0 470M TurboCTC, oparty wyłącznie na enkoderze system rozpoznawania mowy IBM, który będzie transkrybował angielski na procesorze laptopa bez GPU, bez jakiegokolwiek sensownego środowiska Python i bez umowy serwisowej. Nemotron 3.5 Transcribe, który NVIDIA opublikowała jako otwarte wagi 28 października 2026 r., to model językowy rozszerzony o mowę z 30 miliardami parametrów, wymagający akceleratora klasy centrum danych i około sześćdziesięciu gigabajtów wag BF16. Model NVIDIA jest sześćdziesiąt cztery razy większy i — według publikowanych przez każdego dostawcę wskaźników przepustowości — około czterdzieści trzy razy wolniejszy w przeliczeniu na sekundę pracy GPU. Jest też jedynym z tej dwójki, który potrafi powiedzieć, kto mówił.

Żaden z tych faktów nie jest rozstrzygający. Opisują dwie różne maszyny, które przypadkiem są mierzone w tej samej tabeli rankingowej, a cała kwestia sprowadza się do tego, czy Twoje obciążenie potrzebuje przestrzeni, czy tylko słów.

Nieautoregresyjny model CTC w zestawieniu z generatywnym LLM mowy

Granite Speech 5.0 470M TurboCTC to szesnaście bloków Conformer z warstwą wyjściową BPE o 16 384 elementach, trenowanych z użyciem celu CTC i dekodowanych zachłannie. Nie ma tu modelu językowego, projektora ani pętli generowania: dźwięk wchodzi, a wychodzi sekwencja etykiet synchroniczna z ramkami, podpróbkowana z 100 Hz do 12,5 Hz. To dlatego jest szybki, dlatego jest mały i dlatego nie potrafi niczego, czego nie obejmuje zestaw etykiet. Nie ma pojęcia promptu, stylu wyjścia, celu tłumaczenia ani pola mówcy.

Nemotron 3.5 Transcribe to architektura odwrotna i nie chodzi tu o różnicę międzypokoleniową. Enkoder mowy zasila zamrożony model Nemotron 3 Diarization, którego sygnał aktywności mówców jest wstrzykiwany do enkodera przez Parallel Expert Encoder, a hybrydowy dekoder Mamba–Transformer typu mixture-of-experts generuje transkrypcję jako tekst, przy czym na każdy token aktywnych jest około 4 miliardów z jego 30 miliardów parametrów. Ponieważ wynik jest generowany, a nie klasyfikowany, można mu przekazywać instrukcje: formę dosłowną lub pisemną, listę oczekiwanych encji, cel tłumaczenia, wynik z przypisaniem mówców albo ustną odpowiedź na pytanie dotyczące nagrania.

• Parametry — łącznie około 30B, około 4B aktywnych na token w porównaniu z 470M w modelu wyłącznie enkoderowym.

• Dekodowanie — generowanie autoregresyjne na modelu 30B MoE kontra zachłanne nieautoregresyjne CTC.

• Licencja — OpenMDW-1.1 vs Apache-2.0 (bardziej permisywna z tych dwóch; osobny wariant IBM z końcówką -nc to CC-BY-NC-SA-4.0).

• Rozmiar — około 60 GB w BF16; oferowane kompilacje NVFP4 i GGUF, w porównaniu z 279 MB przy Q4_K_M w społecznościowym porcie GGUF.

• Języki — 40 transkrybowanych, 31 przetłumaczonych w porównaniu z 7 (angielski, francuski, niemiecki, hiszpański, portugalski, włoski, japoński) po aktualizacji wielojęzycznej z 21 października 2026 r.

{{1}}Mówcy{{/1}} — {{2}}do 8{{/2}}, z przypisaniem, w {{3}}13 językach{{/3}} w porównaniu z brakiem; diaryzacja wymaga osobnego modelu.

• Znaczniki czasu — na poziomie słów za pomocą adaptera CTC stosowanego po dekodowaniu vs brak; pozycje szczytów CTC nie są granicami słów.

• Streaming — brak, tylko nagrane audio vs brak.

Różnica w dokładności jest mniejsza niż różnica w rozmiarze, a średnie nie są zgodne.

IBM podaje średni wskaźnik błędów słów wynoszący 5,51% w dziewięciu publicznych angielskich zestawach testowych dla wielojęzycznego wydania TurboCTC, poprawiony z 5,78% podczas sierpniowej premiery. NVIDIA podaje średni angielski WER wynoszący 5,33% w rankingu Hugging Face Open ASR Leaderboard oraz 4,71% w dziewięciu publicznych zestawach testowych na własnej stronie badań. Obie liczby są danymi dostawców, a te dwa średnie nie są tą samą mieszanką: dziewięć zestawów IBM i wpis w rankingu NVIDIA obejmujący osiem zestawów różnią się składem i normalizacją, a osobna wartość dla dziewięciu zestawów ze strony badań znów różni się od własnego wpisu NVIDIA w rankingu. Nie odejmuj ich i nie nazywaj różnicy luką jakościową. Możliwe do obrony stwierdzenie jest węższe — w publicznym rankingu angielskich krótkich wypowiedzi te dwa wyniki mieszczą się w granicach kilku dziesiątych punktu od siebie, co jest niezwykłym wynikiem dla modelu 64 razy mniejszego i ostrzeżeniem, jak dużą część średniej w rankingu stanowi czysta mowa czytana w stylu LibriSpeech.

Wskaźnik błędów słów ukrywa też to, co tak naprawdę je różni. Granite jest klasyfikatorem: emituje najbardziej prawdopodobną sekwencję etykiet, a gdy akustyka jest niejednoznaczna, emituje coś prawdopodobnego. Nemotron generuje tekst, mając za sobą model językowy, dlatego jego twierdzenie o podpowiadaniu kontekstowym — sześciokrotne zmniejszenie liczby błędów w encjach nazwanych na ContextASR-Bench przy liście encji w podpowiedzi — jest w ogóle możliwe. W transkrypcji rozmowy sprzedażowej pełnej kodów produktów mały model nie ma mechanizmu do uwzględniania tego obciążenia, a duży ma.

Przepustowość: 19 870 RTFx w porównaniu z 462

Wpis Nemotron 3.5 Transcribe w rankingu Hugging Face ma RTFx równy 462,09 — co oznacza, że model przetwarza około 462 sekund audio na sekundę obliczeń w środowisku pomiarowym rankingu. Październikowa aktualizacja IBM podaje 19 870 RTFx dla TurboCTC na jednym H200, w porównaniu z około 12 600 przy premierze, po optymalizacji polegającej na ponownym wykorzystaniu grafu pojedynczego bloku. To różnica czterdziestotrzykrotna i, w przeciwieństwie do wartości WER, została ona przynajmniej zmierzona na dwóch konkurencyjnych akceleratorach, a nie na dwóch różnych mieszankach testowych.

Własny nagłówek NVIDIA to liczba innego rodzaju: nawet 2238 sekund audio na sekundę na jednej RTX PRO 6000 Blackwell, przy użyciu checkpointu NVFP4 i modelu pomocniczego DFlash2. Jest to wyższe niż 462 w rankingu, ponieważ jest to inny pomiar — 30-sekundowe klipy przy wysokiej współbieżności, jak podaje własny post NVIDIA na Hugging Face, z włączonym dekodowaniem spekulatywnym i kwantyzacją, którą wciąż opisywano jako mającą dopiero się pojawić. Czytając te dwa wyniki razem, uczciwy wniosek jest taki, że przepustowość Nemotrona zależy od konfiguracji i może różnić się o rząd wielkości, podczas gdy przepustowość TurboCTC jest właściwością jego architektury. Model bez pętli autoregresyjnej nie może być wolny tak, jak może być wolny 30B MoE.

Co daje ci 470 milionów parametrów, czego nie da 30 miliardów

Pierwsza odpowiedź dotyczy kształtu wdrożenia. Plik GGUF o rozmiarze 279 MB działa na CPU, na urządzeniu brzegowym zbliżonym możliwościami do telefonu, wewnątrz aplikacji desktopowej, a także na płytce klasy Raspberry Pi — jeśli masz cierpliwość. Istnieją już społecznościowe porty GGUF oraz rodzina runtime'ów C++, która traktuje model jako pełnoprawny silnik. Nemotron 3.5 Transcribe działa pod vLLM z wtyczką NeMo Speech albo SGLang-Omni, na akceleratorze 80 GB w BF16 lub na karcie Blackwell w NVFP4. To nie są dwa punkty na spektrum; to różne kategorie zakupowe.

Drugi czynnik to dolna granica opóźnienia. Model CTC zwraca transkrypcję w jednym przebiegu w przód. Model generatywny zwraca jeden token naraz, a jego rzeczywiste opóźnienie na krótkim pliku jest zdominowane przez pętlę dekodowania, a nie przez sam dźwięk. W przypadku archiwów wsadowych nie ma to znaczenia. Wszędzie tam, gdzie liczy się interaktywność — pole dyktowania, monitor jakości połączeń, narzędzie do napisów, które musi nadążać za przewijaniem — mały model jest jedynym z tych dwóch, który kończy pracę, zanim użytkownik to zauważy.

Po trzecie, przejrzystość licencyjna. Apache-2.0 to licencja, którą działy prawne już zatwierdziły; OpenMDW-1.1 jest na tyle nowa, że niektóre z nich będą chciały ją przejrzeć. Jeśli Twoim blokerem jest formularz zamówienia, a nie benchmark, model IBM radzi sobie z nim szybciej.

Co można zyskać dzięki 30 miliardom parametrów, czego nie można zyskać dzięki 470 milionom

Mówcy — po pierwsze i rozstrzygająco. TurboCTC w ogóle nie ma reprezentacji mówcy. Aby uzyskać transkrypcje z atrybucją mówców, potrzebujesz modelu diaryzacji przed nim, etapu scalania i budżetu błędów na scalanie — standardowej kaskady. Nemotron 3.5 Transcribe włącza zamrożony model diaryzacji do enkodera i emituje etykiety mówców bezpośrednio, maksymalnie osiem, w 13 językach, z czasami słów przypisanymi do mówcy dzięki adapterowi CTC działającemu po dekodowaniu. Zgłaszany przez NVIDIA współczynnik błędu diaryzacji wynosi 18,26% w 21 językach w benchmarku David AI, najlepszy spośród 14 systemów, a najbliższym konkurentem jest jej własny model Nemotron 3 Diarization z 18,38%. To liczby dostawcy uzyskane w środowisku testowym dostawcy i nie zostały niezależnie odtworzone. Porównanie z kaskadą, które sugerują — jeden model kontra trzy — nie jest wcale twierdzeniem benchmarkowym, to opis wdrożenia.

Języki i tłumaczenie na drugim miejscu. TurboCTC po październikowej aktualizacji obsługuje siedem języków; Nemotron obsługuje czterdzieści języków w transkrypcji i trzydzieści jeden w tłumaczeniu z języka angielskiego lub na niego. Jeśli Twoja kolejka jest europejska i jednojęzyczna, siedem wystarczy. Jeśli nie, porównanie się kończy.

Po trzecie, dostrajanie. NVIDIA podaje, że adaptacja na pojedynczym GPU zajmuje od 0,5 do 2,3 GPU-godziny na zadanie, oraz przykład dotyczący mowy medycznej, w którym dostrojenie obniżyło współczynnik błędów słów z 30,8% do 11,8% na 3 619 klipach, a dla mówców ze zbioru testowego poprawił się on z 22,44% do 12,17%. TurboCTC IBM również można dostrajać — ma licencję Apache-2.0 — ale dostrajałbyś głowę CTC na znacznie mniejszym modelu, a maksymalne korzyści z dodatkowego kontekstu są mniejsze, ponieważ nie ma modelu językowego, który można by przekonać.

Model kosztów, który to rozstrzyga

Ekonomika TurboCTC jest niemal nudna. Pojedynczy H200 obsługujący 19 870 RTFx nasyca bardzo dużą kolejkę; skwantyzowana wersja o rozmiarze 279 MB na standardowych procesorach kosztuje niemal nic w przeliczeniu na godzinę audio, a pozycją kosztową jest prąd. Nigdzie w całym stosie nie ma licznika naliczającego opłaty za minutę.

Ekonomia Nemotronu ma ten sam kształt w innej skali: brak licznika za minutę, ale znacznie większy akcelerator i znacznie mniejszy limit przepustowości. Jedna karta Blackwell przetwarzająca 2 238 sekundy audio na sekundę pokrywa 100 godzin w niespełna trzy minuty przy dużej współbieżności i znacznie szybciej w przypadku godzinnych spotkań z nakładaniem się.

• Kolejka 20 godzin miesięcznie — TurboCTC na CPU jest praktycznie za darmo; Nemotron wymaga wynajmowanego lub własnego akceleratora, który przez większość miesiąca będzie stał bezczynnie.

• Archiwum obejmujące 2000 godzin miesięcznie, bez wymagań dotyczących mówców — TurboCTC na jednej GPU lub niewielka flota CPU to zdecydowanie tańsza i szybsza konfiguracja.

• Archiwum 2000 godzin miesięcznie sześcioosobowych spotkań — TurboCTC plus diaryzator plus warstwa scalająca, porównane z Nemotronem na jednej karcie. To jedyna konfiguracja, w której cena dużego modelu jest do obrony, a nawet tutaj kaskada jest tańsza sprzętowo.

• Cokolwiek objęte ograniczeniem poufności, które zabrania przesyłania audio — oba rozwiązania można hostować samodzielnie, więc ograniczenie jest spełnione w każdym przypadku, a decyzja sprowadza się do mówców i języków.

Ta połowa potoku, która odpowiada za przetwarzanie końcowe, to miejsce, w którym warstwa routingu uzasadnia swoją obecność niezależnie od wyboru rozpoznawacza. Transkrypcje są streszczane, tagowane i kierowane, a OrcaRouter udostępnia 200+ modeli tekstowych i multimodalnych za jednym kluczem z cenami listowymi dostawców przekazywanymi przy 0% narzutu, automatyczne przełączanie awaryjne oraz DSL routingu, który potrafi skierować jedną kategorię transkrypcji do taniego streszczacza, a inną do mocniejszego modelu, bez kolejnej integracji. Ani Nemotron 3.5 Transcribe, ani Granite Speech 5.0 470M TurboCTC nie są oferowane w tym katalogu — nie hostujemy zamiany mowy na tekst — więc wybór technologii mowy pozostaje osobnym kontraktem, a przenośna staje się wyłącznie warstwa ponad nim.

Wybieraj według kształtu pracy, a nie według rankingu.

Jeśli zadanie polega na „zamienieniu dużej ilości czystego, w większości angielskiego audio w tekst tak tanio i szybko, jak to możliwe”, Granite Speech 5.0 470M TurboCTC wygrywa i porównanie nie jest nawet bliskie — to model o rozmiarze 279 MB na licencji Apache, który jest ponad czterdziestokrotnie szybszy niż system 30B i prawie nic nie traci względem publicznej średniej dla języka angielskiego. Kaskada, którą budujesz na potrzeby mówców, jest kosztem tej wydajności, a jeśli nigdy nie potrzebowałeś mówców, nigdy za nią nie płacisz.

Jeśli zadaniem jest „wygenerowanie jednej ustrukturyzowanej transkrypcji z atrybucją mówców i znacznikami czasu z trudnego nagrania w jednym z czterdziestu języków”, Nemotron 3.5 Transcribe jest jedynym z dwóch, który podejmuje to zadanie, a liczby dotyczące diarizacji podane przez dostawcę — jeszcze nieodtworzone niezależnie — sugerują, że robi to lepiej niż kaskady, które zastępuje. Koszt przepustowości jest realny, koszt sprzętu jest realny, ale w przypadku obciążenia zdominowanego przez spotkania żaden z nich nie jest zaporowy.

Błędem, którego należy uniknąć, jest traktowanie tego jako rywalizacji pokoleń. Model CTC 470M nie jest przestarzałą wersją 30B LLM-a do mowy; to inny instrument, który przypadkowo wypada podobnie w benchmarku zbudowanym głównie z czystej mowy czytanej. Kolejna wersja nie sprawi, że stanie się przestarzały. Twoje własne najgorsze nagranie powie ci, którego potrzebowałeś.