Nemotron 3.5 Transcribe mot Granite Speech 5.0 470M TurboCTC: 64 gånger fler parametrar, 43 gånger långsammare

Det mest användbara objektet i den här jämförelsen är en fil på 279 megabyte. Det är Q4_K_M-kvantiseringen av Granite Speech 5.0 470M TurboCTC, IBM:s taligenkännare med endast encoder, och den transkriberar engelska på en bärbar dators CPU utan GPU, utan någon Python-miljö värd namnet och utan serviceavtal. Nemotron 3.5 Transcribe, som NVIDIA publicerade som öppna vikter den 28 oktober 2026, är en talaugmenterad språkmodell med 30 miljarder parametrar som kräver en accelerator i datacenterklass och ungefär sextio gigabyte BF16-vikter. NVIDIA:s modell är sextiofyra gånger större och, enligt de genomströmningssiffror som respektive leverantör publicerar, omkring fyrtiotre gånger långsammare per GPU-sekund. Den är också den enda av de två som kan säga vem som talade.

Inget av dessa faktum är avgörande. De beskriver två olika maskiner som råkar mätas på samma resultattavla, och hela frågan är om din arbetsbelastning behöver utrymmet eller bara orden.

En icke-autoregressiv CTC-modell jämfört med en generativ tal-LLM

Granite Speech 5.0 470M TurboCTC består av sexton Conformer-block med ett BPE-utskikt på 16 384 delar, tränat med ett CTC-mål och girigt avkodat. Det finns ingen språkmodell, ingen projektor och ingen genereringsloop: ljud matas in, en framesynkron etikettsekvens kommer ut, subsamplad från 100 Hz till 12,5 Hz. Den designen är anledningen till att den är snabb, att den är liten och att den inte kan göra något som etikettuppsättningen inte täcker. Den har inget begrepp om en prompt, ingen utdatastil, inget översättningsmål och inget talarfält.

Nemotron 3.5 Transcribe har motsatt arkitektur, och skillnaden är inte en generationsklyfta. En talencoder matar en fryst Nemotron 3 Diarization-modell vars talaraktivitetssignal injiceras i encodern via en Parallel Expert Encoder, och en hybrid Mamba–Transformer mixture-of-experts-dekoder producerar transkriptionen som text, med ungefär 4 miljarder av dess 30 miljarder parametrar aktiva per token. Eftersom utdatan genereras i stället för att klassificeras kan den instrueras: ordagrann eller skriven form, en lista över förväntade entiteter, ett översättningsmål, talarattribuerad utdata eller ett talat svar på en fråga om ljudet.

• Parametrar – cirka 30B totalt, ungefär 4B aktiva per token jämfört med 470M encoder-only.

• Avkodning — autoregressiv generering över en 30B MoE kontra girig icke-autoregressiv CTC.

• Licens — OpenMDW-1.1 vs Apache-2.0 (den mer tillåtande av de två; IBM:s separata -nc-syskon är CC-BY-NC-SA-4.0).

• Fotavtryck — cirka 60 GB i de BF16-, NVFP4- och GGUF-byggen som erbjuds, jämfört med 279 MB vid Q4_K_M i en GGUF-port från communityn.

• Språk – 40 transkriberade, 31 översatta jämfört med 7 (engelska, franska, tyska, spanska, portugisiska, italienska, japanska) efter den flerspråkiga uppdateringen den 21 oktober 2026.

• Talare – upp till 8, attribuerade, på 13 språk jämfört med inga; diarisering kräver en separat modell.

• Tidsstämplar — ordnivå via en CTC-adapter efter avkodning jämfört med ingen sådan; CTC-topplägen är inte ordgränser.

• Streaming — inget, endast inspelat ljud vs inget.

Noggrannhetsgapet är mindre än storleksgapet, och medelvärdena överensstämmer inte.

IBM rapporterar en genomsnittlig ordningsfelkvot på 5,51 % över nio offentliga engelska testset för den flerspråkiga TurboCTC-utgåvan, förbättrad från 5,78 % vid lanseringen i augusti. NVIDIA rapporterar 5,33 % genomsnittlig engelsk WER på Hugging Face Open ASR Leaderboard och 4,71 % över nio offentliga testset på sin egen forskningssida. Båda siffrorna är leverantörsrapporterade, och de två genomsnitten är inte samma blandning: IBMs nio set och NVIDIAs topplisteinträde med åtta set skiljer sig åt i sammansättning och normalisering, och forskningssidans separata siffra för nio set skiljer sig återigen från dess eget topplisteinträde. Subtrahera dem inte och kalla skillnaden för ett kvalitetsgap. Det försvarbara påståendet är snävare – på den offentliga engelska topplistan för kortformat ligger dessa två inom ett par tiondels procentenhet från varandra, vilket är ett anmärkningsvärt resultat för en modell som är 64 gånger mindre och en varning om hur stor del av en topplistas genomsnitt som utgörs av LibriSpeech-formad, rent uppläst tal.

Ordfelsfrekvens döljer också det som faktiskt skiljer dem åt. Granite är en klassificerare: den avger den mest sannolika etikettsekvensen, och där akustiken är tvetydig avger den något som verkar rimligt. Nemotron genererar text med en språkmodell bakom sig, vilket är anledningen till att dess påstående om kontextuell promptning – en sexfaldig minskning av fel på namngivna entiteter på ContextASR-Bench med en lista över entiteter i prompten – ens är möjligt. På en transkription av ett säljsamtal fullt av produktkoder har den lilla modellen ingen mekanism för biasen, och den stora har det.

Genomströmning: 19 870 RTFx mot 462

Posten för Nemotron 3.5 Transcribe på Hugging Face-leaderboarden har ett RTFx på 462,09 – vilket innebär att modellen bearbetar ungefär 462 sekunder ljud per sekund datorkraft i leaderboardens testmiljö. IBMs oktoberuppdatering rapporterar 19 870 RTFx för TurboCTC på en enda H200, upp från cirka 12 600 vid lanseringen efter en optimering med återanvändning av grafer för ett enda block. Det är en fyrtiotre gånger så stor skillnad, och till skillnad från WER-siffrorna är den i alla fall uppmätt på två konkurrerande acceleratorer snarare än två olika testblandningar.

NVIDIAs egen rubrik är en annan sorts siffra: upp till 2 238 sekunder ljud per sekund på en RTX PRO 6000 Blackwell, med NVFP4-checkpointen och en DFlash2-draftmodell. Det är högre än topplistans 462 eftersom det är en annan mätning – 30-sekundersklipp vid hög samtidighet, som NVIDIAs eget Hugging Face-inlägg anger, med spekulativ avkodning aktiverad och en kvantisering som fortfarande beskrevs som kommande. Läser man de två tillsammans är den ärliga slutsatsen att Nemotrons genomströmning varierar med en storleksordning beroende på konfigurationen, medan TurboCTCs är en egenskap hos dess arkitektur. En modell utan autoregressiv loop kan inte vara långsam på det sätt som en 30B-MoE kan.

Vad 470 miljoner parametrar ger dig som 30 miljarder inte kan

Det första svaret är driftsättningsformen. En 279MB GGUF körs på en CPU, på en edge-enhet nära en telefon, i en skrivbordsapplikation, på ett kort i Raspberry Pi-klass om du har tålamod. Det finns nu community-GGUF-portar och en C++-runtime-familj som behandlar modellen som en förstklassig motor. Nemotron 3.5 Transcribe körs under vLLM med NeMo Speech-pluginprogrammet, eller SGLang-Omni, på en 80GB accelerator i BF16 eller ett Blackwell-kort i NVFP4. Det är inte två punkter på ett spektrum; de är olika anskaffningskategorier.

Den andra är latensgolvet. En CTC-modell returnerar en transkription i en enda framåtpassning. En generativ modell returnerar en token i taget, och dess väggklockslatens på en kort fil domineras av avkodningsloopen snarare än av ljudet. För batcharkiv är detta irrelevant. För allt interaktivt – en dikteringsruta, en samtalskvalitetsmonitor, ett undertextverktyg som måste hålla jämna steg med en skrubning – är den lilla modellen den enda av de två som blir klar innan användaren hinner märka det.

Den tredje punkten är tydlighet kring licensiering. Apache-2.0 är den licens som juridiska avdelningar redan har godkänt; OpenMDW-1.1 är så nytt att en del av dem vill ha en granskning. Om det som blockerar dig är ett inköpsformulär snarare än ett benchmark, klarar IBM:s modell det snabbare.

Vad 30 miljarder parametrar ger dig som 470 miljoner inte kan

Talare, först och avgörande. TurboCTC har ingen talarrepresentation överhuvudtaget. För att få transkript med talartillhörighet behöver du en diariseringsmodell före den, ett sammanfogningssteg och en felbudget för sammanfogningen – den vanliga kaskaden. Nemotron 3.5 Transcribe bygger in en fryst diariseringsmodell i kodaren och matar ut talaretiketter direkt, upp till åtta stycken, på 13 språk, med ordtidsangivelser kopplade till talare från en CTC-adapter efter avkodningen. NVIDIA:s rapporterade diariseringsfelkvot är 18,26 % över 21 språk i David AI-benchmarken, bäst av 14 system, där närmaste konkurrent är deras egen Nemotron 3 Diarization-modell på 18,38 %. Det är leverantörens siffror i leverantörens testramverk och de har inte reproducerats oberoende. Jämförelsen med kaskaden som de antyder – en modell mot tre – är inte alls något benchmarkpåstående, utan en beskrivning av driftsättningen.

Språk och översättning, för det andra. TurboCTC täcker sju språk efter sin oktoberuppdatering; Nemotron täcker fyrtio för transkribering och trettioett för översättning till eller från engelska. Om din kö är europeisk och enspråkig räcker sju. Om den inte är det, slutar jämförelsen.

Finjustering kommer på tredje plats. NVIDIA rapporterar anpassning på en enda GPU på 0,5 till 2,3 GPU-timmar per uppgift, samt ett exempel med medicinskt tal där en finjustering sänkte ordfelsfrekvensen från 30,8 % till 11,8 % på 3 619 klipp, medan talare som hölls utanför träningen förbättrades från 22,44 % till 12,17 %. IBMs TurboCTC går också att finjustera – det är Apache-2.0 – men då skulle du finjustera ett CTC-huvud på en mycket mindre modell, och taket för vad ytterligare kontext kan ge dig är lägre eftersom det inte finns någon språkmodell att övertala.

Kostnadsmodellen som avgör det

Ekonomin i TurboCTC är nästan tråkig. En H200 som levererar 19 870 RTFx mättar en mycket stor kö; en kvantiserad 279MB-version på standard-CPU:er kostar nästan ingenting per ljudtimme, och elen är den radpost som gäller. Det finns ingen mätare per minut någonstans i stacken.

Nemotrons ekonomi har samma form i en annan skala: ingen mätare per minut, men en betydligt större accelerator och ett betydligt lägre tak för genomströmningen. Ett Blackwell-kort som bearbetar 2 238 sekunder ljud per sekund täcker 100 timmar på under tre minuter vid hög samtidighet och betydligt kortare tid för timslånga möten med överlappning.

• En kö på 20 timmar per månad – TurboCTC på en CPU är i praktiken gratis; Nemotron kräver en hyrd eller egen accelerator som står oanvänd större delen av månaden.

• Ett arkiv på 2 000 timmar per månad utan talarkrav – TurboCTC på en GPU, eller en liten uppsättning processorer, är den billigare och snabbare konfigurationen med stor marginal.

• Ett arkiv med 2 000 timmar per månad av möten med sex personer — TurboCTC plus en diariserare plus ett sammanslagningslager, mätt mot Nemotron på ett kort. Detta är den enda konfigurationen där den stora modellens pris är försvarbart, och även här är kaskaden billigare i hårdvara.

• Allt som omfattas av en sekretessbegränsning som förbjuder uppladdning av ljud – båda kan självhostas, så begränsningen uppfylls oavsett, och beslutet beror då på talare och språk.

Det är i den efterbearbetande halvan av pipelinen som ett routningslager motiverar sin plats, oavsett vilken igenkännare du väljer. Transkript sammanfattas, taggas och routas, och OrcaRouter samlar 200+ text- och multimodala modeller bakom en enda nyckel med leverantörernas listpriser som vidarebefordras med 0 % påslag, automatisk failover, och ett routnings-DSL som kan skicka en klass av transkript till en billig sammanfattare och en annan till en starkare modell utan en andra integration. Varken Nemotron 3.5 Transcribe eller Granite Speech 5.0 470M TurboCTC erbjuds i den katalogen – vi hostar inte tal-till-text – så valet av talmotor förblir ett separat avtal och endast lagret ovanför blir portabelt.

Välj efter jobbets utformning, inte efter topplistan

Om jobbet är "att omvandla mycket rent, mestadels engelskt ljud till text så billigt och snabbt som möjligt" vinner Granite Speech 5.0 470M TurboCTC, och jämförelsen är inte nära — det är en 279 MB Apache-licensierad modell som är över fyrtio gånger snabbare än ett 30B-system och nästan inte förlorar något på det offentliga engelska genomsnittet. Den kaskad du bygger för talare är priset för den effektiviteten, och om du aldrig behövde talare betalar du aldrig det.

Om uppgiften är "att producera en attribuerad, tidsatt, strukturerad transkription från en svår inspelning på ett av fyrtio språk" är Nemotron 3.5 Transcribe den enda av de två som försöker sig på det, och leverantörens diariseringssiffror – ännu inte oberoende reproducerade – tyder på att den gör det bättre än de kaskader den ersätter. Genomströmningskostnaden är verklig, hårdvarukostnaden är verklig, och för en mötestung arbetsbelastning är ingen av dem oöverkomlig.

Misstaget att undvika är att behandla detta som en generationstävling. En CTC-modell på 470M är inte en föråldrad version av en tal-LLM på 30B; det är ett annat instrument som råkar prestera liknande på ett benchmark som mestadels bygger på rent inläst tal. Nästa release kommer inte att göra den föråldrad. Din egen sämsta inspelning kommer att visa vilken du behövde.