Titelkaart met de tekst 'Scribe v3 Live Medical vs Whisper Large v3 Turbo' en de ondertitel 'de ene kun je niet huren, de andere kun je bezitten'. Daaronder één schaal: links een vergrendeld hangslotpictogram met het label 'alleen ElevenAgents, geen model-ID', rechts een open doos met het label '809M parameters, MIT-licentie, draait op ongeveer 6 GB VRAM'.
Guides & Insights

Scribe v3 Live Medical vs Whisper Large v3 Turbo: het model dat je niet kunt huren vs. het model dat je kunt bezitten

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Whisper Large v3 Turbo is een model met 809 miljoen parameters onder de MIT-licentie dat je kunt downloaden, kunt kwantiseren tot ongeveer 1,6 GB en kunt draaien op één enkele bescheiden GPU met ongeveer acht keer de snelheid van Whisper Large v3. Scribe v3 Live Medical is een klinische fine-tune van ElevenLabs die je niet kunt downloaden, niet via een API kunt aanroepen en helemaal niet kunt verkrijgen, tenzij je een agent binnen ElevenAgents draait. Ze in dezelfde zin zetten is vreemd tot je beseft dat ze dezelfde plek innemen in een echte beslissing: beide zijn waar je naar grijpt wanneer een algemene transcriber "empagliflozin" blijft verhaspelen, en slechts één ervan is beschikbaar voor de meeste teams.

Dat is de eigenlijke vergelijking. Niet nauwkeurigheid — de twee cijfers komen niet overeen — maar beschikbaarheid, en wat de open baseline je aan engineering kost om een gat te dichten waarvoor een leverancier je geen gesloten oplossing wil verkopen.

De versie in elf woorden van waarom dit geen benchmarkstrijd is

ElevenLabs' gepubliceerde cijfer voor Scribe v3 Live Medical is een woordfoutpercentage van 12,8% op PriMock57, 57 nagebootste consulten in de eerstelijnszorg, tegenover 15,5% tot 17,2% voor vier concurrerende realtime medische en algemene modellen. De gepubliceerde cijfers van Whisper Large v3 Turbo zijn 2,1% op LibriSpeech test-clean en 4,2% op test-other — voorgelezen Engelse audioboekspraak, een corpus dat al jaren de standaard open benchmark is en ongeveer zo ver van een telefoongesprek over een recept verwijderd is als audio maar kan zijn.

Onder LibriSpeech-omstandigheden verslaat een open model van 809M een klinische fine-tune met een ruime marge. Tijdens een echt consult met een slechte headset zijn beide getallen ruis. Geen van beide getallen voorspelt het andere, en wie ze naast elkaar zet en een winnaar uitroept, vergelijkt een cleanroommeting van een batchmodel met een door de leverancier uitgevoerde meting van een streamingmodel. De eerlijke formulering is dat de medische fine-tune een voordeel claimt ten opzichte van andere realtime-modellen op klinische audio, en dat Whisper een voordeel claimt ten opzichte van andere open modellen op schone voorgelezen spraak, en dat geen van beide claims iets met de andere te maken heeft.

Wat Whisper Large v3 Turbo eigenlijk wel en niet is

OpenAI's distillatie van Whisper Large v3, in oktober 2024 onder MIT uitgebracht: 32 encoderlagen en 4 decoderlagen, teruggebracht van 32, en daar komt de snelheid vandaan. Het draait in faster-whisper-, whisper.cpp-, ONNX- en GGUF-builds, kwantiseert klein genoeg voor een laptop, dekt 99 talen en kost niets aan licentiekosten, of je het nu op één GPU of op een rack draait.

Wat het niet is, en dit is de lijst die van belang is voor een klinische agent:

• Het streamt niet. De architectuur van Whisper is gebouwd rond een vast venster van 30 seconden, dus "realtime" betekent dat je audio in stukken hakt en opnieuw laat draaien, waarbij je betaalt voor de overlap en accepteert dat het transcript achterloopt op de spraak met alles wat je buffert. Er is geen native stream met gedeeltelijke resultaten en geen beurtdetectie.

• Het doet niet aan sprekerdiarisatie. Eén stroom woorden, geen idee wie wat zei. Voor een consult met twee personen waarbij zowel de patiënt als de clinicus geneesmiddelen noemt, moet je een apart model voor sprekerlabeling toevoegen, of je accepteert een transcript zonder sprekerlabels.

• Het formatteert niet. Interpunctie en hoofdlettergebruik komen eruit zoals de audio ze heeft geproduceerd, inclusief haperingen en al. Geen oplossing van zelfcorrecties, geen hoofdletters aan het begin van zinnen, geen structuur voor klinische notities.

• Het is niet getraind voor vertaling, en het heeft geen domeinbiasmechanisme. Er is geen lijst met sleuteltermen om het het formularium te geven, en geen prompt om het te vertellen dat dit een cardiologiegesprek is. Je doet aan fine-tuning, of je doet nabewerking, of je accepteert de fouten.

Scribe v3 Live Medical daarentegen is bijna volledig gebouwd op die vier ontbrekende dingen: het streamt, het heeft beurtvoorspelling die een lid-ID afwacht, het ondersteunt tot 10.000 aangepaste klinische termen zonder kosten, en het is een fine-tune van een model dat is getraind op gesprekken in plaats van audioboeken. ElevenLabs is openhartig over waar dat ophoudt — geïsoleerde geneesmiddelnamen zonder omliggende context zijn voor elk model het moeilijkste geval, en het advies is om keyterms te gebruiken om af te sturen op wat je verwacht.

The openai/whisper repository page on GitHub, showing 113k stars and 13.7k forks, the README heading 'Robust Speech Recognition via Large-Scale Weak Supervision' and an MIT license badge in the sidebar.

De engineeringkosten om de kloof zelf te dichten

Dit is het punt waarop de vergelijking een spreadsheet wordt in plaats van een ranglijst. Een team dat wil dat Whisper Large v3 Turbo zich gedraagt als een klinische realtime-transcriber, moet vier dingen bouwen:

• Een streaming-wrapper — gechunkte audio, overlappende vensters, het samenvoegen van deelhypotheses, en een eigen endpointing-regel, omdat Whisper je die niet biedt. Reken erop dat je echt tijd kwijt bent aan de naadverwerking; daar lopen de meeste zelfgebouwde spraakagenten hun slechtste latency op.

• Een vocabulairemechanisme — Whisper heeft er geen. Ofwel fine-tune je op je eigen klinische audio, waarvoor je gelabelde data nodig hebt die je waarschijnlijk niet hebt, ofwel je past postcorrectie toe op basis van een lijst met geneesmiddelennamen, wat een fuzzy-matchingprobleem is dat zijn eigen categorie van zelfverzekerde fouten oplevert.

• Een diarizatiepass — een tweede model, een tweede latentiebudget, en een samenvoegstap die sprekerbeurten moet uitlijnen op Whisper's woordtimings.

• Infrastructuur — GPU's, autoscaling, een wachtrij voor het batchpad, en iemand die stand-by staat wanneer de machine die 40 uur per dag transcribeert om 2 uur 's nachts uitvalt.

Niets daarvan is onoverkomelijk. Het is allemaal werk dat een beheerd klinisch model zou hebben opgevangen, en de eerlijke vraag is of de tijd van je team beter daar of aan het klinische product zelf kan worden besteed. Voor een onderzoeksgroep of een platformteam dat al inferentie-infrastructuur draait, is het antwoord vaak ja — dat is waarom Whisper in de eerste plaats de standaard werd. Voor een startup in digitale gezondheid met vijf mensen, waarvan de onderscheidende factor de verpleegkundige workflow is, is het meestal nee.

De licentie is het echte voordeel, en dat is niet gering.

De MIT-licentie van Whisper betekent geen leverancier, geen meter, geen kosten per minuut die meegroeien met het gespreksvolume, en geen vereiste dat patiëntaudio je netwerk verlaat. Voor een covered entity is dat laatste punt geen nice-to-have. Een self-hosted Whisper-implementatie in je eigen VPC is een complianceverhaal dat je beveiligingsteam al weet goed te keuren: PHI passeert nooit een leveranciersgrens, logretentie stel je zelf in, en er is geen Business Associate Agreement om te onderhandelen.

Daar staat tegenover dat de ElevenLabs-documentatie momenteel iets zegt wat een compliance officer twee keer zal lezen: stuur geen beschermde gezondheidsinformatie naar Scribe v3 Live Medical totdat de HIPAA-geschiktheid voor het model is bevestigd, en EU-dataresidentie is niet beschikbaar tijdens early access. De algemene verklaring op de pagina voor medische transcriptie — HIPAA-geschikt voor Enterprise-klanten met een BAA en Zero Retention Mode — beschrijft het platform en het GA-medische product, Scribe v2 Medical. Voor het realtime model in early access is de waarschuwing de zin die telt.

Dus de open baseline wint vandaag zonder meer de compliancevergelijking, om een reden die niets met nauwkeurigheid te maken heeft en alles met papierwerk dat nog niet af is.

Marginale kosten, bij drie verschillende volumes

Whisper heeft een hardwarekostenpost en geen meter. Draai het op een GPU die je al bezit, dan naderen de marginale kosten van een getranscribeerde minuut de elektriciteitskosten; huur er een en dan is het het tarief per instantie gedeeld door de doorvoer, wat op moderne serving-stacks een paar cent per audio-uur is. Bij duizend uur per maand dekt één gehuurde GPU de belasting met reserve.

Scribe v3 Live Medical heeft geen marginale kosten om te berekenen, omdat het niet per minuut wordt verkocht — het zit in een ElevenAgents-abonnement dat per gespreksminuut factureert en de LLM, de telefonie en de stem omvat. De API-richtprijzen van ElevenLabs, voor de modellen die je daadwerkelijk kunt meten, zijn $0,22 per uur voor Scribe v3 Live en $0,20 per uur voor Scribe v2 Medical, met realtime keyterm-prompting voor $0,08 per uur.

Bij tien uur per maand is de beheerde route duidelijk goedkoper: geen GPU om te kopen, geen pipeline om te onderhouden, en het abonnement bevat de agent. Bij tienduizend uur per maand is zelfgehoste Whisper goedkoper dan elk per-minuuttarief dat ooit is gepubliceerd, en geen enkele leverancier zal ooit onder de marginale kosten duiken van je eigen hardware die MIT-gewichten draait. Het omslagpunt ligt, zoals altijd, waar je engineering salaris gedeeld door de bespaarde uren onder het per-minuuttarief uitkomt — en voor een klein klinisch team valt dat later dan de spreadsheet suggereert, omdat de pipeline die je bouwt een pipeline is die je voor altijd onderhoudt.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Whisper Large v3 Turbo — the scoreboard', with the rows Licence (platform only vs MIT), Access (ElevenAgents only vs download and self-host), Streaming (native, turn prediction vs no, 30-second windows), Diarization (built in vs no), Vocabulary (10,000 terms included vs none, fine-tune or correct) and Cost (bundled, no ASR rate vs your own GPU), and a footer reading 'Scribe figures vendor-run and unavailable outside ElevenAgents; Whisper figures per OpenAI.'

Waar een router precies past

Whisper levert je tekst; er moet nog steeds iets die lezen en erop handelen. In een klinische workflow is dat een tweede model — dat de notitie opstelt, de medicatielijst extraheert, beslist of het gesprek een verpleegkundige nodig heeft — en dat is het onderdeel dat meeschaalt met de gesprekslengte in plaats van de audiolengte. OrcaRouter serveert 215 modellen achter één OpenAI-compatibele API met 0% opslag, waarbij de lijstprijzen van providers ongewijzigd worden doorgegeven, met automatische failover, zodat dat redeneermodel een klein, snel model kan zijn voor antwoorden per beurt en een groter model voor de notitie aan het einde van het gesprek, op dezelfde sleutel.

Wees duidelijk over de grenzen: we hosten Whisper Large v3 Turbo niet en we hosten Scribe v3 Live Medical of enig ElevenLabs-model niet. Zelfgehoste Whisper is jouw GPU; het medische model van ElevenLabs is hun platform. Wat wij routeren is de laag boven beide.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Welke, voor welk team?

Kies Whisper Large v3 Turbo als een van de volgende situaties van toepassing is: je wilt dat het transcript binnen je eigen perimeter blijft, je transcripten maakt van opgenomen audio in plaats van livegesprekken, je volume zo hoog is dat een tarief per minuut de dominante kostenpost is, of je over de engineeringcapaciteit beschikt om de streaming-, diarisatie- en vocabulairelagen zelf te bouwen. Voor opgenomen klinische audio — gedicteerde notities die na het bezoek worden beoordeeld — is Whisper plus een nabewerking voor geneesmiddelnamen een echt sterke en echt goedkope oplossing, en de MIT-licentie ervan schrapt een hele categorie inkoopgesprekken.

Kies Scribe v3 Live Medical als de audio live is, de woordenschat klinisch is en de agent toch al van ElevenLabs zal zijn. De turnpredictie en het budget van 10.000 termen zijn dingen die je anders zelf zou bouwen, het resultaat van 12,8% op PriMock57 is van de leverancier zelf, maar de richting komt overeen met wat elke klinische ASR-leverancier meldt, en het platform neemt de infrastructuur voor zijn rekening. Wacht dan met PHI tot de waarschuwing voor vroege toegang van de documentatiepagina verdwijnt.

En als je volledig buiten ElevenAgents staat — wat voor de meeste lezers van dit stuk geldt — is de echte keuze tussen Whisper en een aanroepbaar medisch model zoals Scribe v2 Medical, voor $0,20 per uur met 15% minder fouten dan Scribe v2 op klinische testaudio. Scribe v3 Live Medical is op papier het betere model. Het is alleen simpelweg niet beschikbaar, en een model dat je niet kunt draaien is geen concurrent voor een model dat je wel kunt draaien.