Titelkort med texten 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live' och undertexten '12,8 % och 4,00 % är inte samma tal'. Under det två horisontella staplar märkta 'PriMock57 kliniska simulerade konsultationer' vid 12,8 % och 'Artificial Analysis allmänt tal' vid 4,00 %, varje stapel taggad med det benchmark den tillhör och åtskilda av en streckad vertikal avdelare.
Guides & Insights

Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live: 12,8 % och 4,00 % är inte samma siffra

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Ställ 12,8 % för Scribe v3 Live Medical bredvid 4,00 % för Gemini 3.5 Transcribe Live, och frågan om strömmande transkribering verkar avgjord till Googles fördel med en faktor tre. Det är den inte, och anledningen är det mest användbara på den här sidan: de två siffrorna mättes på olika ljud, av olika organisationer, för olika syften. De 12,8 % är ElevenLabs ordfelsfrekvens på PriMock57 – 57 inspelade simulerade primärvårdskonsultationer, fulla av läkemedelsnamn, doseringar och halvfärdiga meningar. De 4,00 % är Artificial Analysis ordfelsfrekvens vid strömmande transkribering med Gemini 3.5 Transcribe Live i deras allmänna talbenchmark, med 0,40 sekunder till en slutlig transkription. Den ena är en klinisk konsultation; den andra är en benchmarksvit. Att jämföra dem är samma misstag som att jämföra en bils bränsleekonomi på en bana med dess bränsleekonomi i stadstrafik och dra slutsatsen att motorn har förändrats.

Om man tar bort den falska duellen återstår ett verkligt val, och det handlar om driftsättning snarare än noggrannhet. Gemini 3.5 Transcribe Live är en modell som du anropar: gemini-3.5-transcribe-live, en WebSocket-slutpunkt med ett publicerat minutpris, en gratisnivå och en sessionsgräns på tio minuter. Scribe v3 Live Medical är en modell som du inte kan anropa alls – den finns bara som ett ASR-alternativ inuti ElevenAgents, i tidig åtkomst, utan modell-ID och utan eget pris. Det ena är infrastruktur. Det andra är en funktion i en agentplattform. Vilket du vill ha beror på om du bygger en transkriberare eller köper en telefonagent.

Vad varje sida faktiskt publicerar

Specifikationsjämförelsen, dimension för dimension, så som varje leverantör anger den:

• Åtkomst – Gemini 3.5 Transcribe Live är en Live API WebSocket-slutpunkt (gemini-3.5-transcribe-live) med en gratisnivå; Scribe v3 Live Medical kan endast väljas i inställningarna för automatisk taligenkänning för en ElevenAgents-agent, och inte via Speech to Text-API:t.

• Pris — Gemini 3.5 Transcribe Live kostar $3,50 per miljon ljudindatatoken och $21,00 per miljon textutdatatoken, vilket Google uppskattar till $0,005 respektive $0,004 per minut, cirka $0,009 per minut sammanvägt; Scribe v3 Live Medical har inget separat pris och ingår i ElevenAgents prissättning.

• Noggrannhet – Gemini: {{1}}4,00 %{{/1}} streaming-WER vid {{2}}0,40 s{{/2}} till slutresultat, enligt Artificial Analysis; Scribe: {{3}}12,8 % WER{{/3}} på PriMock57, utförd av leverantören, jämfört med {{4}}15,5 %–17,2 %{{/4}} för fyra konkurrerande realtidsmodeller.

• Domänanpassning – Gemini: anpassad vokabulärprioritering (biasing) för batchsyskonet, med diarisering och ordtidsstämplar som beskrivs på kortet för Gemini 3.5 Transcribe; Scribe: en klinisk finjustering plus upp till 10 000 anpassade termer utan extra kostnad.

• Språk – Gemini: 85+ språk med växling mitt i strömmen; Scribe: 90+ språk, medicinska förbättringar uppmätta på engelska, franska och tyska.

• Sessionsform — Gemini: en WebSocket-session som är begränsad till tio minuter; Scribe: varar lika länge som agentkonversationen.

• Regelefterlevnad — Gemini: ingen medicinsk eller HIPAA-positionering som vi kunde hitta i modelldokumentationen; Scribe: HIPAA-berättigad med ett BAA och Zero Retention Mode, med en tydlig varning om att inte skicka PHI till realtidsmodellen med tidig åtkomst förrän dess egen behörighet har bekräftats.

Två av de raderna avgör de flesta verkliga beslut, och ingen av dem handlar om noggrannhet. Gränsen på tio minuter är arkitektonisk: en session måste skarvas för allt som är längre än en enkät från ett callcenter, och skarven är ditt problem. Avsaknaden av ett pris för ElevenLabs modell är den andra: du kan inte sätta det på en prislista, eftersom det ingår i en prenumeration som även fakturerar LLM:en, telefonin och rösten.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Gör om noggrannhetsraden till något du kan använda

Det finns ett legitimt sätt att jämföra dessa två, och det kräver att man kör dem, vilket är precis vad marknadsföringsdiagrammen finns till för att bespara dig. Vad som kan sägas utifrån den publicerade evidensen är snävare:

Specifikt för kliniska samtal har ElevenLabs en uppmätt siffra och Google har det inte. Det är inte ett påstående att Gemini 3.5 Transcribe Live är dålig på läkemedelsnamn – det är ett påstående att ingen har publicerat en PriMock57-motsvarande siffra för den. Googles mekanism för anpassat ordförråd är det verktyg de erbjuder för just detta problem, och ordförrådsbiasning på batchmodellen är dokumenterad; på Live-slutpunkten är dokumentationen tunnare än för dess batchsyskon, och diariserings- och ordtidsstämpelfunktionerna som beskrivs på det delade Gemini 3.5 Transcribe-kortet är inte uttryckligen bekräftade per slutpunkt.

För allmänt samtalsljud har Google en oberoende publicerad siffra och ElevenLabs en leverantörsdriven. De 4,00 % kommer från en tracker med en fast testrigg och dussintals modeller; de 12,8 % kommer från en enda uppsättning på 57 konsultationer som ElevenLabs valde och körde. Båda är användbara. Ingen av dem tål att dras från den andra.

Den praktiska varianten: om din arbetsbelastning består av kliniska samtal, låna ett PriMock57-liknande urval av dina egna inspelningar – två talare, en riktig läkemedelsförteckning i rummet, minst en uppringare som läser upp ett medlems-ID – och kör båda. Om det handlar om allmän strömmande transkribering med en del fackjargon är Googles publicerade siffra den mer granskningsbara utgångspunkten, och dess vokabulärviktning kommer att bära största delen av domänbelastningen.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

Den kliniska skillnaden ligger i pauserna, inte i orden.

Funktionen som ElevenLabs har byggt men som Googles dokumentation inte beskriver är turprediktion. Turmodellen i Scribe v3 Live Medical använder samtalskontext i stället för enbart tystnad för att avgöra att en uppringare har pratat klart, vilket är skillnaden mellan en agent som svarar efter "mitt medlems-ID är 4-4-2" och en som väntar på den sista siffran. ElevenLabs egna exempel är just de strängar som bryter tystnadsbaserad slutpunktsdetektering: medlems-ID:n, födelsedatum, telefonnummer och doseringar som bokstaveras.

Gemini 3.5 Transcribe Live flyttar samma problem ett lager upp i stacken. Dokumentationen beskriver den som en dubbelriktad strömmande transkriberingsmodell; var turen slutar avgörs av det agentramverk som ligger ovanför, och Googles satsning på röstagenter går via Live API:s egen turhantering i stället för en transkriberingsspecifik turmodell. Det är en fullt godtagbar arkitektur, och det är en annan sådan: du äger endpointing-logiken och du kommer att finjustera den. I ett kliniskt samtal där en patient pausar mitt i ett symtom för att tänka är den finjusteringen inte kosmetisk.

Kostnadsjämförelsen, ärligt gjord

Googles mätare är tillräckligt transparent för att man ska kunna bygga en siffra på den. Ta en klinik som har 40 timmar live-samtal per dag, 22 dagar i månaden: 52 800 minuter. Med en uppskattad sammanvägd kostnad på 0,009 dollar per minut blir det cirka 475 dollar i månaden för transkriberingsdelen, och det är en budgetpost du kan prognostisera, sätta ett tak för och argumentera om vid förnyelse.

ElevenLabs-sidan producerar ingen jämförbar siffra, och den som anger en gissar. Den närmaste publicerade hållpunkten är API-prislistan – Scribe v3 Live för 0,22 USD per timme, keyterm prompting för 0,08 USD per timme – men Scribe v3 Live Medical säljs inte på det sättet. Den ingår i ElevenAgents, prissatt per samtalsminut, och samtalet omfattar LLM-tokens, talsyntesen och telefonin. Den paketeringen är antingen en rabatt eller en inlåsning beroende på vad du annars skulle ha byggt ihop, och det kan inte avgöras från en prissida.

En sak som faktiskt överförs: om du till slut kör båda — Google för transkriberingen, en LLM som du väljer för resonemanget — så är det i det andra benet som routingbesluten ligger. OrcaRouter tillhandahåller 215 modeller bakom ett enda OpenAI-kompatibelt API med 0 % påslag, leverantörernas listpriser förs vidare oförändrade, så modellen som läser Geminis transkript kan bytas ut eller växlas över utan att man rör ASR-koden. Vi tillhandahåller ingen av transkriberingsmodellerna på den här sidan, och inget av ovanstående är vårt pris.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Vilken ska man välja?

Välj Gemini 3.5 Transcribe Live om du bygger produkten själv i stället för att köpa en. Det är den enda av de två som är en anropbar modell med publicerat pris, en gratisnivå för utvärdering och en endpoint som du kan lägga bakom din egen agentloop. Gränsen på tio minuter per session är det du måste designa kring, och avsaknaden av ett kliniskt benchmark är gapet du måste täppa igen med din egen ljuddata och en anpassad vokabulärlista.

Välj Scribe v3 Live Medical om du redan har bestämt att agenten är ElevenLabs problem – och om din compliance-position tillåter en early access-modell, vilket dokumentationen för närvarande säger att den inte gör när det gäller PHI, förrän behörighet har bekräftats. Den kliniska finjusteringen och turn-modellen är verkliga fördelar i ett patientsamtal i realtid, och PriMock57-gapet till de konkurrerande realtidsmodellerna är det starkaste publicerade beviset för att klinisk anpassning överhuvudtaget hjälper. Det är helt enkelt inte bevis för Gemini, och Gemini är inte bevis för det.

Siffran att hålla koll på är inte heller WER. Det är huruvida Scribe v3 Live Medical någonsin får ett eget modell-ID. Den dag det händer blir den här jämförelsen en normal sådan – två anropbara slutpunkter, två mätare, ett benchmark som du kan köra – och de 12,8 % blir något en köpare faktiskt kan kontrollera.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen