Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM vinner benchmarktestet, Whisper vinner 99 språk

På de två siffrorna som de flesta tittar på först, Granite Speech 5.0 2B slår Whisper large-v3-turbo och det är inte ens nära. IBM:s modell har en genomsnittlig ordfelsfrekvens på 5,06 % över de nio engelska kortformatstestseten i Open ASR Leaderboard vid 570 RTFx; OpenAI:s turbo-checkpoint ligger i genomsnitt på 7,83 % vid 200 RTFx i samma leaderboard. Snabbare och mer träffsäker, i samma benchmark, med ungefär två års mellanrum i releasedatum. Om ditt ljud är på engelska och ditt ljud är rent, är det hela jämförelsen och du kan sluta läsa. De dokumenterade AI-felen och agentincidenterna bakom släpp som det här finns samlade i OrcaRouter AI Incident Archive där varje post har egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.

Anledningen till att den här sidan fortfarande behöver finnas är den tredje siffran: 99. Whisper large-v3-turbo täcker nittionio språk; Granite Speech 5.0 2B täcker sex för transkribering och översätter till ytterligare två. En WER-fördel på 2,8 punkter på engelska är värd ingenting om ljudet är på vietnamesiska. Så den verkliga frågan är inte vilken modell som är bättre — det är om din språkmix passar i en sexspråkig box, och vad migreringen kostar om den gör det.

Vad Whisper large-v3-turbo faktiskt är

Det är värt att vara precis här, eftersom namnet kopplas till saker som inte är det. Whisper large-v3-turbo är OpenAI:s beskurna version av large-v3: kodaren är oförändrad, men avkodaren har 4 lager i stället för 32. Den enda förändringen tar modellen från 1 550M parametrar till 809M och ungefär tredubblar genomströmningen, samtidigt som den ger avkall på förhållandevis lite noggrannhet – vilket är anledningen till att den blev standardvalet för snabb ASR-checkpoint i hela ekosystemet inom månader efter lanseringen i oktober 2024.

Tre egenskaper följer av den utformningen och de är alla viktiga för den här jämförelsen:

• Det är en översättningsmodell som råkade bli beskuren, så den ärver transkription och språkidentifiering för 99 språk – men turbo-varianten är inte tränad för översättning. Till skillnad från large-v3 transkriberar och identifierar den språk; den återger inte tal på ett språk som text på ett annat. Team upptäcker regelbundet detta efter att ha byggt på den.

• Avkodaren är autoregressiv. Den skriver token, 4 lager åt gången, vilket är varför dess genomströmning ligger på 200 RTFx snarare än i tusental. Whispers hastighet kom från att ta bort lager, inte från att ändra avkodningsparadigmet.

• Det är MIT-licensierat, vilket i praktiken är mer tillåtande än Apache 2.0 i exakt en aspekt som spelar roll för vissa juridiska team: ingen patentbeviljningsklausul att analysera, och ingen attributionsfil att skicka med.

Whispers verkliga fördel har aldrig varit benchmarken. Det är två års verktyg — faster-whisper, whisper.cpp, varje molns hanterade endpoint, kvantiseringsrecept, bibliotek för tidsstämplar på ordnivå, diariseringsstackar byggda ovanpå det. Det ekosystemet är en reell växlingskostnad och den här jämförelsen måste förhålla sig ärligt till det.

Där gapet är verkligt, och där det är en artefakt från testramverket

Jämförelsen 5,06 % mot 7,83 % finns på samma leaderboard, vilket gör den mer legitim än de flesta siffror mellan olika leverantörer – men det är inte en helt jämförbar körning, och detaljerna talar både för och emot.

• Siffran för Granite kommer från IBM:s egen utvärderingskörning som skickades in till leaderboarden, beskriven i tillkännagivandebloggen som ”inofficiell, per den 15 oktober 2026”. Modellkortet kallar samma resultat ”officiella” per den 20 oktober. Välj vilket adjektiv du vill; ingen utanför IBM har reproducerat det.

• Whisper-siffran är resultattavlans publicerade resultat för checkpointen, körd med resultattavlans eget testramverk, vilket är en annan pipeline än IBM:s.

• Båda siffrorna är medelvärden över nio offentliga testset, de flesta av dem engelskt uppläst tal från LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI och VoxPopuli. Whispers svaghet på den här resultattavlan är väl dokumenterad och strukturell: den tränades på 680 000 timmar svagt övervakat webbaserat ljud, vilket ger bredd till priset av exakt formatering.

• På långdistans- och brusigt ljud håller ordningen. FFASR-tavlan – genomsnitt av närfält, hög SNR, medel-SNR och låg SNR – placerar whisper-large-v3 på 18,02 %, med Granite Speech 5.0 2B på 14,80 %. Observera att det är large-v3, inte turbo; turbo är i allmänhet något sämre än sin föräldramodell på svårt ljud eftersom det har färre avkodarlager för att återhämta sig från en dålig akustisk gissning.

Så noggrannhetsgapet är förmodligen verkligt till sin riktning och förmodligen mindre än 2,8 punkter i en rättvis jämförelse. Det som inte är tveksamt är var det kommer från: Whispers avkodare får i uppgift att göra språkidentifiering, transkribering, interpunktion, versalisering och tidsstämpeljustering på en gång med fyra lager, medan Granites arkitektur separerar det akustiska arbetet (en CTC-kodare med tecken- och BPE-huvuden) från textgenereringen (en 1B-språkmodell).

Språkrutan, kvantifierad

Det är här beslutet fattas, så det förtjänar mer än en siffra i en punkt.

• Granite Speech 5.0 2B transkriberar engelska, franska, tyska, spanska, portugisiska och japanska, och översätter mellan dessa sex språk och engelska, samt engelska till italienska och engelska till mandarin.

• Whisper large-v3-turbo transkriberar nittionio språk och identifierar vilket språk det hör. Det översätter inte.

• Granites sjuspråkiga syskon, Granite Speech 5.0 470M TurboCTC, lägger till italienska i transkriberingsuppsättningen – så familjen täcker sju språk från Europa och Japan, inte sex.

Nittionio mot sju är hela argumentet för Whisper, och det är ett starkt sådant. Men den praktiska fördelningen spelar större roll än antalet. Om ditt ljud är på engelska, franska, tyska, spanska, portugisiska, japanska och italienska täcker Granite det. Om du behöver hindi, arabiska, koreanska, turkiska, polska, vietnamesiska, indonesiska, nederländska, svenska eller något av de andra drygt nittio språken är Whisper den enda av dessa två som fungerar – och ingen WER-fördel på engelska är stor nog att ändra på det.

Det mellersta fallet är det som de flesta team faktiskt befinner sig i: en till största delen engelskspråkig produkt med en lång svans av språk som dyker upp några få procent av tiden. Två modeller, en per nivå, är ett normalt och korrekt svar — och det är billigare än det låter, eftersom svansen är där volymen är låg.

Långa ljudfiler, tidsstämplar och det som brister i stor skala

Berättelsen om hur Whisper driftsätts är mogen på sätt som inte finns med i något benchmark. Tidsstämplar på ordnivå, röstaktivitetsdetektion, talardiarisering, strömning med chunkad avkodning – allt finns, allt är beprövat i skarpa miljöer, och mycket av det förutsätter Whispers 30-sekundersfönster och dess tidsstämpeltokens.

Granite Speech 5.0 2B har en annan utformning. IBM rekommenderar segment på upp till cirka två minuter, uppdelade med VAD för längre inspelningar, och språkmodellen ser 10 Hz-embeddingar inom en 16k YaRN-förlängd kontext. Det finns inget huvud för tidsstämplar på ordnivå på bascheckpointen för 2B — 4.1-generationen levererade en separat "-plus"-variant för talarattribuerad ASR och tidsstämplar på ordnivå, och någon motsvarande 5.0-variant finns ännu inte.

Det är en verklig lucka om du bygger undertexter, mötestranskriptioner med talaretiketter eller något annat som behöver hoppa till en fras. 5.0-bloggen beskriver visserligen förbättringar av tidsstämplar, men de tillhör den uppdaterade granite-speech-4.1-2b-plus, inte 5.0 2B.

• Behöver tidsstämplar på ordnivå — Whisper large-v3-turbo i dag; Granite 4.1-2b-plus om du vill ha Granite-familjen och kan acceptera den äldre akustiska modellen.

• Behöver talarattribution – samma svar; 5.0 2B gör det inte.

• Behöver långformsnoggrannhet bortom några minuter — Granites vägledning om tvåminuterssegment är en praktisk gräns, och Whispers uppdelning i 30-sekundersblock med villkorning mot föregående text har sitt eget välkända felsätt (repetitionsloopar vid tystnad). Ingen av dem är uppenbart bättre; båda behöver VAD framför sig.

Två funktioner som Granite har som Whisper turbo inte har

Nyckelordsbias. Granite Speech 5.0 2B tar emot en nyckelordslista med upp till 2 000 termer per prompt och tränades på 23 600 timmar nyckelordsbiasad ljuddata inom de europeiska och japanska språkgrupperna. Whisper har inget motsvarande gränssnitt – det närmaste man kommer är en promptsträng som styr stil och ordförråd, utan någon träning bakom. För en driftsättning som transkriberar produktnamn, läkemedelsnamn, ticket-ID:n eller kundens egen ordlista är detta den enskilt mest användbara skillnaden mellan de två modellerna, och den syns inte i något WER-genomsnitt.

Promptning med språk-ID. Du kan tala om för Granite vilket språk ljudet är på och instruera det att transkribera i stället för att översätta. Whisper identifierar språk automatiskt och transkriberar i turbo-varianten endast. För ett flerspråkigt korpus där du redan känner till språket från metadata eliminerar tvingandet en hel felklass — Whisper felidentifierar ibland ett kort klipp och transkriberar sedan med säkerhet på fel språk.

Migreringen, i steg som faktiskt fungerar

Om språkfrågan klaras upp är bytet mindre smärtsamt än ekosystemklyftan antyder, eftersom de flesta Whisper-baserade pipelines redan har den skarv du behöver.

1. Behåll din VAD. Båda modellerna vill ha segment, inte filer. Det du använder för att stycka ljud åt Whisper fungerar även för Granite, med upp till två minuter per segment i stället för trettio sekunder.

2. Byt ut avkodningsanropet, inte infrastrukturen. Granite laddas via AutoModelForSpeechSeq2Seq och AutoProcessor i transformers>=4.52.1, eller via vLLM, llama.cpp med Q8_0, eller mlx-audio på Apple Silicon. Om din tjänst gör ett shellanrop till faster-whisper byter du ett lokalt modellanrop mot ett annat.

3. Skriv om prompten. Granite är instruktionsstyrd, och prompten väljer läget: rå transkription, interpunkterad transkription, nyckelordsviktad, språk-ID-låst. Det här är steget som team hoppar över, och sedan drar de slutsatsen att modellen är sämre eftersom de matade den med Whisper:s standardbeteende.

4. Sätt en ny baslinje för din WER på ditt eget ljud, inte på LibriSpeech. Detta är ingen formalitet. Whispers svaghet på resultattavlan är formatering och drift vid långa inspelningar; om ditt ljud består av 30-sekunders rena engelska klipp och ditt nedströmssteg är en språkmodell som rättar formatering, kan din uppmätta skillnad vara nära noll – eller, om ditt ljud har brytning och är i fjärrfält, större än 2,8 punkter.

5. Ha en reservväg. Granite Speech 5.0 2B:s täckning för icke-engelska är en hård gräns, och en språkdetektor före modellen är inte valfri i en flerspråkig produkt. Allt som faller utanför de sju språken dirigeras till Whisper.

Där routinglagret förtjänar sin plats

Steg fem är den del av den här migreringen som övergår i arkitektur. En språk- och kvalitetsstyrning framför två talmodeller, plus vilken språkmodell som än rensar upp transkriptet efteråt, innebär tre modellanrop per fil, och tre separata leverantörsintegrationer är hur en enkel pipeline blir ett underhållsproblem.

OrcaRouter är en OpenAI-kompatibel endpoint över 200+ modeller till leverantörens listpris utan påslag, så efterbearbetningssteget – rensningen, sammanfattningen, fältutvinningen – kan bytas ut eller A/B-testas utan att röra talkoden, och ett leverantörsavbrott växlar över i stället för att jobbet misslyckas. Routnings-DSL:en kan själv innehålla dirigeringsregeln: identifiera språket, skicka de sju som stöds till den självhostade Granite-checkpointen, skicka allt annat till Whisper och lämna transkriptionen till vilken rensningsmodell uppgiften kräver. Det sista hoppet är det vi faktiskt kan tillhandahålla i dag; varken Granite Speech 5.0 2B eller Whisper large-v3-turbo finns i vår katalog, så talmodellerna stannar på din egen hårdvara och routningen börjar ett steg längre nedströms, där den fortfarande tar bort det mesta av integrationsarbetet.

Vilka bör byta, och vilka bör inte

Byt om ditt ljud är på engelska plus de sex Granite-språken, noggrannheten är viktigare för dig än din vana vid ekosystemet, du behöver nyckelordsbiasering eller tvingat språk, och du kan klara dig utan tidsstämplar på ordnivå tills vidare. 5,06 % mot 7,83 % är en verklig skillnad i en riktning som spelar roll, och 570 RTFx mot 200 RTFx innebär att bytet sannolikt sänker din GPU-kostnad samtidigt.

Byt inte om du behöver något av de andra nittiotvå språken, tidsstämplar på ordnivå, talarattribution eller en hanterad slutpunkt – Granite Speech 5.0 2B tillhandahålls inte av någon inferensleverantör i skrivande stund, och egen drift är den enda vägen dit i dag. Whisper large-v3-turbo finns överallt, även på platser som inte låter dig köra dina egna GPU:er.

Kör båda om du har en lång språksvans. Dispatchningen är billig, svansen är per definition lågvolym, och det tar bort det enda argument Whisper har kvar.