Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 64× de parameters, 43× langzamer

Het nuttigste object in deze vergelijking is een bestand van 279 megabyte. Dat is de Q4_K_M-quantisatie van Granite Speech 5.0 470M TurboCTC, IBM's spraakherkenner met alleen een encoder, en die zal Engels transcriberen op een laptop-CPU zonder GPU, zonder noemenswaardige Python-omgeving en zonder servicecontract. Nemotron 3.5 Transcribe, die NVIDIA op 28 oktober 2026 als open gewichten publiceerde, is een spraak-augmenteerd taalmodel met 30 miljard parameters dat een accelerator van datacenterklasse en ongeveer zestig gigabyte BF16-gewichten vereist. NVIDIA's model is vierenzestig keer groter en, op basis van de door elke leverancier gepubliceerde doorvoercijfers, ongeveer drieënveertig keer langzamer per GPU-seconde. Het is ook de enige van de twee die je kan vertellen wie er aan het woord was.

Geen van die twee feiten is doorslaggevend. Ze beschrijven twee verschillende machines die toevallig op dezelfde ranglijst worden gemeten, en de hele vraag is of je workload de ruimte nodig heeft of alleen de woorden.

Een niet-autoregressief CTC-model tegenover een generatief spraak-LLM

Granite Speech 5.0 470M TurboCTC bestaat uit zestien Conformer-blokken met een BPE-uitvoerlaag van 16.384 eenheden, getraind met een CTC-doelstelling en hebzuchtig gedecodeerd. Er is geen taalmodel, geen projector en geen generatielus: audio gaat erin, er komt een frame-synchrone labelsequentie uit, gedownsampled van 100 Hz naar 12,5 Hz. Dat ontwerp is de reden dat het snel is, dat het klein is en dat het niets kan doen wat de labelset niet dekt. Het heeft geen besef van een prompt, geen uitvoerstijl, geen vertaaldoel en geen sprekerveld.

Nemotron 3.5 Transcribe is de tegenovergestelde architectuur, en het verschil is geen generatiekloof. Een spraakencoder voedt een bevroren Nemotron 3 Diarization-model waarvan het signaal voor sprekeractiviteit via een Parallel Expert Encoder in de encoder wordt geïnjecteerd, en een hybride Mamba–Transformer-mixture-of-experts-decoder produceert de transcriptie als tekst, waarbij ongeveer 4 miljard van de 30 miljard parameters per token actief zijn. Omdat de uitvoer wordt gegenereerd in plaats van geclassificeerd, kan deze worden geïnstrueerd: letterlijk of in geschreven vorm, een lijst met verwachte entiteiten, een vertaaldoel, uitvoer met sprekerattributie, of een gesproken antwoord op een vraag over de audio.

• Parameters — ongeveer 30B totaal, ruwweg 4B actief per token vs 470M encoder-only.

• Decodering — autoregressieve generatie met een 30B MoE versus greedy niet-autoregressieve CTC.

• Licentie — OpenMDW-1.1 vs Apache-2.0 (de meer permissieve van de twee; IBM's aparte -nc-tegenhanger is CC-BY-NC-SA-4.0).

• Ruimtegebruik — circa 60 GB in BF16-, NVFP4- en GGUF-builds die worden aangeboden, versus 279 MB bij Q4_K_M in een door de community gemaakte GGUF-port.

• Talen — 40 getranscribeerd, 31 vertaald tegenover 7 (Engels, Frans, Duits, Spaans, Portugees, Italiaans, Japans) na de meertalige update van 21 oktober 2026.

• Sprekers — tot 8, met sprekerattributie, in 13 talen versus geen; diarisatie vereist een afzonderlijk model.

• Tijdstempels — op woordniveau via een post-decode-CTC-adapter versus geen; CTC-piekposities zijn geen woordgrenzen.

• Streaming — geen, alleen opgenomen audio versus geen.

De kloof in nauwkeurigheid is kleiner dan die in grootte, en de gemiddelden komen niet overeen.

IBM meldt een gemiddeld woorderfoutpercentage van 5,51% over negen openbare Engelse testsets voor de meertalige TurboCTC-release, een verbetering ten opzichte van 5,78% bij de lancering in augustus. NVIDIA meldt een gemiddelde Engelse WER van 5,33% op de Hugging Face Open ASR Leaderboard, en 4,71% over negen openbare testsets op zijn eigen onderzoekspagina. Beide cijfers zijn door de leverancier gemeld, en de twee gemiddelden betreffen niet dezelfde samenstelling: IBM's negen sets en NVIDIA's leaderboardinzending met acht sets verschillen in samenstelling en normalisatie, en het afzonderlijke negen-sets-cijfer op de onderzoekspagina verschilt weer van zijn eigen leaderboardinzending. Trek ze niet van elkaar af en noem het verschil geen kwaliteitskloof. De houdbare uitspraak is beperkter: op het openbare Engelse leaderboard voor korte spraakfragmenten liggen deze twee binnen een paar tienden van een punt van elkaar, wat een opmerkelijk resultaat is voor een model dat 64 keer kleiner is, en een waarschuwing over hoe groot het aandeel LibriSpeech-achtige schone voorgelezen spraak in het gemiddelde van een leaderboard is.

Het woordfoutpercentage verbergt ook wat hen daadwerkelijk onderscheidt. Granite is een classificator: het geeft de waarschijnlijkste labelreeks uit, en waar de akoestiek dubbelzinnig is, geeft het iets plausibel uit. Nemotron genereert tekst met een taalmodel erachter, en daarom is zijn claim over contextuele prompting — een zesvoudige vermindering van fouten bij genoemde entiteiten op ContextASR-Bench met een entiteitenlijst in de prompt — überhaupt mogelijk. In een transcript van een verkoopgesprek vol productcodes heeft het kleine model geen mechanisme voor de bias en het grote wel.

Doorvoer: 19.870 RTFx tegenover 462

Het Hugging Face-leaderboarditem voor Nemotron 3.5 Transcribe vermeldt een RTFx van 462,09 — wat betekent dat het model op het testharnas van de leaderboard ruwweg 462 seconden audio verwerkt per seconde aan rekenkracht. In IBM's update van oktober wordt voor TurboCTC een RTFx van 19.870 gemeld op één H200, tegen ongeveer 12.600 bij de lancering, na een optimalisatie voor hergebruik van een enkele blokgrafiek. Dat is een 43-voudig verschil, en anders dan bij de WER-cijfers wordt het ten minste gemeten op twee concurrerende accelerators in plaats van op twee verschillende testmengsels.

NVIDIA's eigen kop is een ander soort getal: tot 2.238 seconden audio per seconde op één RTX PRO 6000 Blackwell, met de NVFP4-checkpoint en een DFlash2-conceptmodel. Dat is hoger dan de 462 van de ranglijst, omdat het een andere meting is: clips van 30 seconden bij hoge gelijktijdigheid, zoals NVIDIA's eigen Hugging Face-post stelt, met speculatieve decodering ingeschakeld en een kwantisatie die nog als toekomstig werd beschreven. Lees je de twee samen, dan is de eerlijke conclusie dat de doorvoer van Nemotron afhankelijk is van de configuratie, met verschillen van een orde van grootte, terwijl die van TurboCTC een eigenschap van zijn architectuur is. Een model zonder autoregressieve lus kan niet traag zijn op de manier waarop een 30B MoE dat kan.

Wat 470 miljoen parameters je oplevert wat 30 miljard niet kan

Het eerste antwoord is de implementatievorm. Een GGUF van 279 MB draait op een CPU, op een edge-apparaat naast een telefoon, binnen een desktopapplicatie, op een bord van Raspberry Pi-niveau als je geduldig bent. Er zijn nu GGUF-ports van de community en een C++-runtimefamilie die het model als een volwaardige engine behandelt. Nemotron 3.5 Transcribe draait onder vLLM met de NeMo Speech-plugin, of SGLang-Omni, op een accelerator van 80 GB in BF16 of een Blackwell-kaart in NVFP4. Dat zijn geen twee punten op een spectrum; het zijn verschillende inkoopcategorieën.

De tweede is de latentiegrens. Een CTC-model levert een transcriptie in één forward pass. Een generatief model levert token voor token, en zijn werkelijke latentie op een kort bestand wordt gedomineerd door de decoderingsloop en niet door de audio. Voor batcharchieven is dit irrelevant. Voor alles wat interactief is — een dicteerveld, een monitor voor gesprekskwaliteit, een ondertitelingshulpmiddel dat een scrub moet kunnen bijhouden — is het kleine model het enige van de twee dat klaar is voordat de gebruiker het merkt.

De derde is duidelijkheid over licenties. Apache-2.0 is de licentie die juridische afdelingen al hebben goedgekeurd; OpenMDW-1.1 is zo nieuw dat sommige ervan een review willen. Als je blokkade een inkoopformulier is en niet een benchmark, dan komt het model van IBM er sneller door.

Wat 30 miljard parameters je oplevert dat 470 miljoen niet kan

Sprekers, eerst en doorslaggevend. TurboCTC heeft helemaal geen sprekerrepresentatie. Om transcripten met sprekerattributie te krijgen, heb je een diarisatiemodel ervoor nodig, een samenvoegstap en een foutbudget voor de samenvoeging — de standaardcascade. Nemotron 3.5 Transcribe vouwt een bevroren diarisatiemodel in de encoder en voert sprekerlabels direct uit, tot acht stuks, in 13 talen, met aan sprekers toegewezen woordtiming uit een CTC-adapter na het decoderen. NVIDIA's gerapporteerde diarisatiefoutpercentage is 18,26% over 21 talen op de David AI-benchmark, de beste van 14 systemen, met als dichtstbijzijnde concurrent zijn eigen Nemotron 3 Diarization-model op 18,38%. Dat zijn leverancierscijfers op een testopstelling van de leverancier, en ze zijn niet onafhankelijk gereproduceerd. De cascadevergelijking die ze impliceren — één model tegenover drie — is helemaal geen benchmarkclaim; het is een beschrijving van de implementatie.

Talen en vertaling komen op de tweede plaats. TurboCTC ondersteunt zeven talen na zijn update van oktober; Nemotron ondersteunt veertig talen voor transcriptie en eenendertig voor vertaling naar of vanuit het Engels. Als je wachtrij Europees en eentalig is, is zeven genoeg. Is dat niet het geval, dan eindigt de vergelijking.

Fine-tuning komt als derde. NVIDIA meldt dat adaptatie op één GPU 0,5 tot 2,3 GPU-uur per taak kost, en geeft een voorbeeld uit de medische spraak waarin een fine-tune het woordfoutpercentage op 3.619 clips van 30,8% naar 11,8% bracht, waarbij achtergehouden sprekers van 22,44% naar 12,17% verbeterden. IBM's TurboCTC kan ook worden fine-getuned — het is Apache-2.0 — maar dan zou je een CTC-head fine-tunen op een veel kleiner model, en de bovengrens van wat extra context je kan opleveren is lager, omdat er geen taalmodel is om te overtuigen.

Het kostenmodel dat de doorslag geeft

De economie van TurboCTC is bijna saai. Eén H200 die 19.870 RTFx levert, verzadigt een zeer grote wachtrij; een gequantiseerde build van 279 MB op gangbare CPU's kost bijna niets per audio-uur, en de elektriciteit is de kostenpost. Er is nergens in de stack een meter per minuut.

De economie van Nemotron heeft dezelfde vorm op een andere schaal: geen per-minuutmeter, maar een veel grotere accelerator en een veel lager doorvoerplafond. Eén Blackwell-kaart die 2.238 seconden audio per seconde verwerkt, dekt 100 uur in minder dan drie minuten bij hoge gelijktijdigheid en aanzienlijk minder bij vergaderingen van een uur met overlap.

• Een wachtrij van 20 uur per maand — TurboCTC op een CPU is praktisch gratis; Nemotron vereist een gehuurde of eigen accelerator die het grootste deel van de maand stilstaat.

• Een archief van 2.000 uur per maand zonder sprekervereisten — TurboCTC op één GPU, of een kleine vloot cpu's, is met grote marge de goedkopere en snellere configuratie.

• Een archief van 2.000 uur per maand aan vergaderingen met zes personen — TurboCTC plus een diarizer plus een samenvoeglaag, gemeten tegen Nemotron op één kaart. Dit is de enige configuratie waarin de prijs van het grote model verdedigbaar is, en zelfs hier is de cascade goedkoper qua hardware.

• Alles wat onder een geheimhoudingsverplichting valt die het uploaden van audio verbiedt — beide zijn zelf te hosten, dus aan de beperking wordt hoe dan ook voldaan, en de beslissing komt neer op sprekers en talen.

Het post-processingdeel van de pipeline is waar een routeringslaag zijn waarde bewijst, ongeacht welke herkenningsmodule je kiest. Transcripties worden samengevat, getagd en gerouteerd, en OrcaRouter biedt 200+ tekst- en multimodale modellen achter één sleutel met lijstprijzen van providers die tegen 0% opslag worden doorberekend, automatische failover, en een routerings-DSL die de ene klasse transcripties naar een goedkope samenvatter kan sturen en de andere naar een sterker model, zonder een tweede integratie. Nemotron 3.5 Transcribe en Granite Speech 5.0 470M TurboCTC worden geen van beide in die catalogus aangeboden — we hosten geen spraak-naar-tekst — dus de spraakkeuze blijft een apart contract en alleen de laag daarboven wordt portabel.

Kies op basis van de vorm van de opdracht, niet op basis van het leaderboard.

Als de taak is om "veel schone, grotendeels Engelse audio zo goedkoop en snel mogelijk in tekst om te zetten", dan wint Granite Speech 5.0 470M TurboCTC, en de vergelijking komt niet eens in de buurt — het is een Apache-gelicenseerd model van 279MB dat meer dan veertig keer sneller is dan een 30B-systeem en vrijwel niets inlevert op het openbare Engelse gemiddelde. De cascade die je voor sprekers bouwt, is de prijs van die efficiëntie, en als je nooit sprekers nodig had, betaal je die nooit.

Als de opdracht is "één transcript met sprekerattributie, tijdstempels en structuur maken van een moeilijke opname in een van veertig talen", is Nemotron 3.5 Transcribe de enige van de twee die dat probeert, en de diarisatiecijfers van de leverancier — nog niet onafhankelijk gereproduceerd — suggereren dat het dat beter doet dan de cascades die het vervangt. De doorvoerkosten zijn reëel, de hardwarekosten zijn reëel, en voor een werkbelasting met veel vergaderingen is geen van beide onoverkomelijk.

De fout die je moet vermijden, is dit als een wedstrijd tussen generaties te behandelen. Een 470M CTC-model is geen verouderde versie van een 30B spraak-LLM; het is een ander instrument dat op een benchmark die grotendeels uit schone voorgelezen spraak bestaat, toevallig vergelijkbaar scoort. De volgende release zal het niet obsoleet maken. Je eigen slechtste opname zal je vertellen welke je nodig had.