Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM wint de benchmarks, Whisper wint 99 talen

Op de twee cijfers die de meeste mensen als eerste checken, Granite Speech 5.0 2B verslaat Whisper large-v3-turbo en dat is allesbehalve nipt. Het model van IBM haalt gemiddeld een woordfoutpercentage van 5,06% over de negen Engelse short-form testsets van de Open ASR Leaderboard bij 570 RTFx; het turbo-checkpoint van OpenAI haalt gemiddeld 7,83% bij 200 RTFx op hetzelfde leaderboard. Sneller én nauwkeuriger, op dezelfde benchmark, met ongeveer twee jaar verschil in releasedatum. Als je audio Engels is en je audio schoon is, is dat de hele vergelijking en kun je stoppen met lezen. De gedocumenteerde AI-fouten en agentincidenten achter releases zoals deze zijn verzameld in het OrcaRouter AI Incident Archive waarbij elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.

De reden dat deze pagina nog steeds moet bestaan, is het derde getal: 99. Whisper large-v3-turbo dekt negenennegentig talen; Granite Speech 5.0 2B dekt er zes voor transcriptie en vertaalt naar nog twee andere. Een WER-voorsprong van 2,8 punt op Engels is niets waard als de audio Vietnamees is. De echte vraag is dus niet welk model beter is — het is of jouw talenmix in een doosje van zes talen past, en wat de migratie kost als dat zo is.

Wat Whisper large-v3-turbo eigenlijk is

Het loont hier nauwkeurig te zijn, want de naam wordt toegeschreven aan zaken die het niet is. Whisper large-v3-turbo is OpenAI's geprunede versie van large-v3: de encoder is ongewijzigd, maar de decoder heeft 4 lagen in plaats van 32. Die ene wijziging brengt het model van 1.550M parameters naar 809M en verdrievoudigt ongeveer de doorvoer, terwijl het betrekkelijk weinig nauwkeurigheid inlevert — daarom werd het binnen enkele maanden na de release in oktober 2024 het standaard fast-ASR-checkpoint in het ecosysteem.

Drie eigenschappen volgen uit dat ontwerp en ze zijn allemaal van belang voor deze vergelijking:

• Het is een vertaalmodel dat toevallig is gesnoeid, waardoor het 99 talen voor transcriptie en taalidentificatie erft — maar de turbo-variant is niet getraind voor vertaling. Anders dan large-v3 transcribeert en identificeert het taal; het zet spraak in de ene taal niet om in tekst in een andere. Teams ontdekken dit regelmatig nadat ze erop hebben voortgebouwd.

• De decoder is autoregressief. Hij schrijft tokens, vier lagen tegelijk, waardoor de doorvoer op 200 RTFx blijft steken in plaats van in de duizenden. De snelheid van Whisper kwam voort uit het verwijderen van lagen, niet uit het veranderen van het decodeerparadigma.

• Het is MIT-gelicenseerd, wat in de praktijk op precies één punt ruimhartiger is dan Apache 2.0, een punt dat voor sommige juridische teams van belang is: geen patentverleningsclausule om te analyseren, en geen attributiebestand om mee te leveren.

Het echte voordeel van Whisper was nooit de benchmark. Het zijn twee jaar aan tooling — faster-whisper, whisper.cpp, het beheerde endpoint van elke cloudaanbieder, quantisatierecepten, bibliotheken voor timestamps op woordniveau, diarisatiestacks die erop zijn gebouwd. Dat ecosysteem is een echte overstapkostenpost, en deze vergelijking moet daar eerlijk rekening mee houden.

Waar de kloof reëel is, en waar het om een artefact van het testharnas gaat

De vergelijking van 5,06% tegen 7,83% staat op dezelfde ranglijst, waardoor ze legitiemer is dan de meeste cijfers van verschillende leveranciers — maar het is geen gelijkwaardige meting, en de details pleiten zowel voor als tegen.

Het Granite-cijfer komt uit IBM's eigen evaluatierun die aan het leaderboard is ingediend, in de aankondigingsblog beschreven als "onofficieel, per 15 oktober 2026." De modelkaart noemt dezelfde resultaten "officieel" per 20 oktober. Kies maar welk bijvoeglijk naamwoord je wilt; niemand buiten IBM heeft het gereproduceerd.

• Het Whisper-getal is het gepubliceerde resultaat van het leaderboard voor het checkpoint, uitgevoerd met de eigen harness van het leaderboard, wat een andere pipeline is dan die van IBM.

• Beide getallen zijn gemiddelden over negen openbare testsets, waarvan de meeste Engels voorgelezen spraak zijn uit LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI en VoxPopuli. Whispers zwakte op deze ranglijst is goed gedocumenteerd en structureel: het is getraind op 680.000 uur zwak gesuperviseerde webaudio, wat breedte oplevert ten koste van nauwkeurige opmaak.

Bij far-field- en ruisige audio blijft de rangorde behouden. De FFASR-board — gemiddeld over near-field, hoge SNR, midden-SNR en lage SNR — zet whisper-large-v3 op 18,02%, met Granite Speech 5.0 2B op 14,80%. Let op: dat is large-v3, niet turbo; turbo is over het algemeen iets slechter dan zijn moedermodel op moeilijke audio, omdat het minder decoderlagen heeft om zich van een slechte akoestische gok te herstellen.

Dus de nauwkeurigheidskloof is waarschijnlijk echt qua richting en waarschijnlijk kleiner dan 2,8 punten in een eerlijke vergelijking. Wat niet in twijfel wordt getrokken, is waar die vandaan komt: de decoder van Whisper wordt gevraagd om taalididentificatie, transcriptie, interpunctie, hoofdlettergebruik en tijdstempeluitlijning tegelijk te doen met vier lagen, terwijl de architectuur van Granite het akoestische werk (een CTC-encoder met karakter- en BPE-heads) scheidt van de tekstgeneratie (een 1B-taalmodel).

Het taalvak, gekwantificeerd

Dit is waar de beslissing wordt genomen, dus het verdient meer dan een getal in een opsomming.

• Granite Speech 5.0 2B transcribeert Engels, Frans, Duits, Spaans, Portugees en Japans, en vertaalt tussen die zes talen en Engels, plus Engels naar Italiaans en Engels naar Mandarijn.

• Whisper large-v3-turbo transcribeert negenennegentig talen en herkent welke taal het hoort. Het vertaalt niet.

• Het zeventalige zusje van Granite, Granite Speech 5.0 470M TurboCTC, voegt Italiaans toe aan de transcriptieset — waardoor de familie zeven Europese en Japanse talen beslaat, niet zes.

Negenennegentig tegen zeven is het hele argument voor Whisper, en het is een sterk argument. Maar de praktische distributie is belangrijker dan het aantal. Als je audio Engels, Frans, Duits, Spaans, Portugees, Japans en Italiaans is, dekt Granite dat. Als je Hindi, Arabisch, Koreaans, Turks, Pools, Vietnamees, Indonesisch, Nederlands, Zweeds of een van de andere ruim negentig nodig hebt, is Whisper van deze twee de enige die werkt — en geen enkel WER-voordeel op Engels verandert dat.

Het middelste geval is het geval waarin de meeste teams zich daadwerkelijk bevinden: een grotendeels Engelstalig product met een lange staart aan talen die maar een paar procent van de tijd opduikt. Twee modellen, één per tier, is een normaal en correct antwoord — en het is goedkoper dan het klinkt, want in de staart is het volume laag.

Lange audio, tijdstempels en de dingen die op schaal stukgaan

Het deploymentverhaal van Whisper is volwassen op manieren die op geen enkele benchmark staan. Tijdstempels op woordniveau, stemactiviteitsdetectie, sprekerdiarisatie, streaming met chunkgewijze decodering — het bestaat allemaal, het is allemaal in de praktijk beproefd, en veel ervan gaat uit van het 30-secondenvenster van Whisper en de bijbehorende tijdstempel-tokens.

Granite Speech 5.0 2B heeft een andere vorm. IBM raadt segmenten van maximaal ongeveer twee minuten aan, opgesplitst met VAD voor langere opnames, en het taalmodel ziet 10 Hz-embeddings binnen een 16k YaRN-uitgebreide context. Er is geen tijdstempel-head op woordniveau op het basis-2B-checkpoint — de 4.1-generatie leverde een aparte "-plus"-variant voor ASR met sprekerattributie en tijdstempels op woordniveau, en er bestaat nog geen equivalente 5.0-variant.

Dat is een echte lacune als je ondertitels maakt, vergadertranscripten met sprekerslabels, of iets dat naar een bepaalde zin moet kunnen zoeken. De 5.0-blog beschrijft wel verbeteringen aan tijdstempels, maar die horen bij de vernieuwde granite-speech-4.1-2b-plus, niet bij de 5.0 2B.

• Woordniveau-tijdstempels nodig — Whisper large-v3-turbo vandaag; Granite 4.1-2b-plus als je de Granite-familie wilt en het oudere akoestische model kunt accepteren.

• Sprekerattributie nodig — hetzelfde antwoord; de 5.0 2B doet dat niet.

• Heb je langdurige nauwkeurigheid nodig voorbij een paar minuten — Granite's richtlijn van segmenten van twee minuten is een praktische limiet, en Whisper's opdeling in stukken van 30 seconden met conditionering op voorgaande tekst heeft zijn eigen bekende faalmodus (herhalingslussen bij stilte). Geen van beide is duidelijk beter; beide hebben VAD ervoor nodig.

Twee functies die Granite heeft en Whisper turbo niet

Keyword-biasing. Granite Speech 5.0 2B accepteert een trefwoordenlijst van maximaal 2.000 termen per prompt en is getraind op 23.600 uur aan audio met keyword-bias binnen de Europese en Japanse taalgroepen. Whisper heeft geen equivalente interface — het dichtstbijzijnde alternatief is een promptstring die stijl en vocabulaire bijstuurt, zonder enige training erachter. Voor een implementatie die productnamen, geneesmiddelnamen, ticket-ID's of het eigen glossarium van een klant transcribeert, is dit het meest bruikbare verschil tussen beide modellen, en het komt in geen enkel WER-gemiddelde tot uiting.

Prompten op taal-ID. Je kunt Granite vertellen in welke taal de audio is en het instrueren om te transcriberen in plaats van te vertalen. Whisper detecteert de taal automatisch en doet in de turbo-variant alleen aan transcriptie. Voor een meertalig corpus waarvan je de taal al uit de metadata kent, elimineert het forceren ervan een hele categorie fouten — Whisper identificeert af en toe een korte clip verkeerd en transcribereert dan vol vertrouwen in de verkeerde taal.

De migratie, in stappen die echt werken

Als de taalkwestie is opgelost, valt de overstap minder pijnlijk uit dan de kloof in het ecosysteem doet vermoeden, omdat de meeste op Whisper gebaseerde pipelines al de naad hebben die je nodig hebt.

1. Houd je VAD. Beide modellen willen segmenten, geen bestanden. Wat je ook gebruikt om audio op te delen voor Whisper, werkt voor Granite bij maximaal twee minuten per segment in plaats van dertig seconden.

2. Vervang de decode-aanroep, niet de onderliggende infrastructuur. Granite laadt via AutoModelForSpeechSeq2Seq en AutoProcessor in transformers>=4.52.1, of via vLLM, llama.cpp op Q8_0, of mlx-audio op Apple Silicon. Als je service faster-whisper via de shell aanroept, vervang je de ene lokale modelaanroep door de andere.

3. Herschrijf de prompt. Granite is instructiegestuurd en de prompt bepaalt de modus: onbewerkt transcript, transcript met interpunctie, keyword-biased, language-ID-pinned. Dit is de stap die teams overslaan, en dan concluderen ze dat het model slechter presteert omdat ze het Whisper's standaardgedrag hebben gegeven.

4. Bepaal je WER-baseline opnieuw op je eigen audio, niet op LibriSpeech. Dit is geen formaliteit. De zwakte van Whisper op de leaderboard is opmaak en drift bij lange fragmenten; als je audio schone Engelse clips van 30 seconden zijn en je downstreamstap een taalmodel is dat de opmaak corrigeert, kan je gemeten kloof bijna nul zijn — of, als je audio een accent heeft en veraf is opgenomen, groter dan 2,8 punten.

5. Houd een fallback-route achter de hand. De dekking voor niet-Engelse talen van Granite Speech 5.0 2B is een harde grens, en een taaldetector vóór het model is niet optioneel in een meertalig product. Alles buiten de zeven talen wordt naar Whisper gerouteerd.

Waar de routeringslaag zijn plaats verdient

Stap vijf is het onderdeel van deze migratie dat uitgroeit tot architectuur. Een taal- en kwaliteitsdispatch vóór twee spraakmodellen, plus welk taalmodel dan ook dat achteraf het transcript opschoont, betekent drie modelaanroepen per bestand, en drie afzonderlijke leveranciersintegraties zijn precies hoe een eenvoudige pipeline een onderhoudsprobleem wordt.

OrcaRouter is één OpenAI-compatibel endpointmet meer dan 200 modellen tegen de lijstprijs van de provider, zonder extra opslag, zodat de post-processingfase — het opschonen, het samenvatten, de veldextractie — kan worden verwisseld of A/B-getest zonder de spraakcode aan te raken, en een storing bij een provider wordt opgevangen met failover in plaats van dat de taak mislukt. De routerings-DSL kan de dispatchregel zelf bevatten: de taal detecteren, de zeven ondersteunde talen naar het zelfgehoste Granite-checkpoint sturen, al het andere naar Whisper sturen en het transcript doorgeven aan het opschoningsmodel dat de taak vereist. Die laatste hop is de stap die we vandaag daadwerkelijk kunnen aanbieden; noch Granite Speech 5.0 2B noch Whisper large-v3-turbo staan in onze catalogus, dus de spraakmodellen blijven op je eigen hardware en begint de routering één stap stroomafwaarts, waar die nog steeds het meeste integratiewerk wegneemt.

Wie moet overstappen, en wie niet

Schakel over als uw audio Engels of een van de zes Granite-talen is, nauwkeurigheid voor u belangrijker is dan vertrouwdheid met uw ecosysteem, u keyword-biasing of een geforceerde taal nodig hebt, en u voorlopig zonder timestamps op woordniveau kunt. De 5,06% tegenover 7,83% is een reëel verschil in een richting die ertoe doet, en 570 RTFx tegenover 200 RTFx betekent dat de overstap waarschijnlijk tegelijkertijd uw GPU-rekening verlaagt.

Schakel niet over als je een van de andere tweeënnegentig talen nodig hebt, tijdstempels op woemniveau, sprekerattributie of een beheerd endpoint — Granite Speech 5.0 2B wordt op het moment van schrijven door geen enkele inferentieprovider aangeboden, en zelf hosten is vandaag de enige manier om eraan te komen. Whisper large-v3-turbo is overal beschikbaar, ook op plekken waar je je eigen GPU's niet mag draaien.

Voer beide uit als je een lange taalstaart hebt. De dispatch is goedkoop, de staart is per definitie laagvolume, en het haalt het enige argument weg dat Whisper nog heeft.