Karta tytułowa z napisem „Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live” i podtytułem „12,8% i 4,00% to nie ta sama liczba”. Poniżej dwa poziome słupki oznaczone „PriMock57 — kliniczne konsultacje próbne” przy 12,8% oraz „Artificial Analysis — mowa ogólna” przy 4,00%, każdy z etykietą benchmarku, do którego należy, oddzielone pionową przerywaną linią.
Guides & Insights

Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live: 12,8% i 4,00% to nie ta sama liczba

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Postaw 12,8% Scribe v3 Live Medical obok 4,00% Gemini 3.5 Transcribe Live, a kwestia transkrypcji strumieniowej wydaje się rozstrzygnięta na korzyść Google z trzykrotną przewagą. Tak jednak nie jest, a powód jest najużyteczniejszą rzeczą na tej stronie: te dwie liczby zmierzono na innym dźwięku, przez różne organizacje, w różnych celach. 12,8% to współczynnik błędu słów ElevenLabs na PriMock57 — 57 nagranych symulowanych konsultacji podstawowej opieki zdrowotnej, pełnych nazw leków, dawek i niedokończonych zdań. 4,00% to strumieniowy współczynnik błędu słów Artificial Analysis dla Gemini 3.5 Transcribe Live w jego ogólnym zestawie testowym mowy, przy 0,40 sekundy do końcowego transkryptu. Jedno to konsultacja kliniczna; drugie to zestaw testów porównawczych. Porównywanie ich to ten sam błąd co porównywanie spalania samochodu na torze ze spalaniem w ruchu miejskim i wyciąganie wniosku, że zmienił się silnik.

Odłóż na bok fałszywe bezpośrednie porównanie, a pozostanie prawdziwy wybór — i dotyczy on wdrożenia, a nie dokładności. Gemini 3.5 Transcribe Live to model, który wywołujesz: gemini-3.5-transcribe-live, punkt końcowy WebSocket z opublikowaną ceną za minutę, bezpłatnym planem i ograniczeniem sesji do dziesięciu minut. Scribe v3 Live Medical to model, którego w ogóle nie można wywołać — istnieje wyłącznie jako opcja ASR wewnątrz ElevenAgents, we wczesnym dostępie, bez identyfikatora modelu i bez własnej stawki. Jeden to infrastruktura. Drugi to funkcja platformy agentowej. To, którego chcesz, zależy od tego, czy budujesz transkrybator, czy kupujesz agenta telefonicznego.

Co każda ze stron faktycznie publikuje

Zestawienie specyfikacji, wymiar po wymiarze, tak jak przedstawia je każdy dostawca:

• Dostęp — Gemini 3.5 Transcribe Live to punkt końcowy WebSocket Live API (gemini-3.5-transcribe-live) dostępny w ramach darmowego planu; Scribe v3 Live Medical można wybrać tylko w ustawieniach Automatic Speech Recognition agenta ElevenAgents, a nie przez Speech to Text API.

• Cena — Gemini 3.5 Transcribe Live kosztuje 3,50 USD za milion tokenów wejściowych audio i 21,00 USD za milion tokenów wyjściowych tekstu, co Google szacuje odpowiednio na 0,005 USD i 0,004 USD za minutę, czyli około 0,009 USD za minutę łącznie; Scribe v3 Live Medical nie ma odrębnej ceny i jest objęty cennikiem ElevenAgents.

• Dokładność — Gemini: 4,00% WER w trybie strumieniowym przy czasie do wyniku końcowego 0,40 s, według Artificial Analysis; Scribe: 12,8% WER na PriMock57, w badaniu przeprowadzonym przez dostawcę, wobec 15,5%–17,2% dla czterech konkurencyjnych modeli czasu rzeczywistego.

• Adaptacja dziedzinowa — Gemini: biasowanie niestandardowego słownictwa w wersji wsadowej, z diaryzacją i znacznikami czasu słów opisanymi na karcie Gemini 3.5 Transcribe; Scribe: dostrajanie kliniczne oraz do 10 000 niestandardowych terminów bez dodatkowych kosztów.

• Języki — Gemini: ponad 85 języków z przełączaniem w trakcie strumieniowania; Scribe: ponad 90 języków, a poprawę w zastosowaniach medycznych zmierzono w języku angielskim, francuskim i niemieckim.

• Kształt sesji — Gemini: sesja WebSocket ograniczona do dziesięciu minut; Scribe: trwa przez cały czas rozmowy agenta.

• Zgodność — Gemini: w dokumentacji modelu nie znaleźliśmy żadnych informacji o pozycjonowaniu medycznym ani dotyczącym HIPAA; Scribe: kwalifikuje się do HIPAA dzięki BAA i Zero Retention Mode, z wyraźnym ostrzeżeniem, aby nie wysyłać PHI do modelu czasu rzeczywistego we wczesnym dostępie, dopóki nie zostanie potwierdzona jego własna kwalifikowalność.

Dwa z tych wierszy przesądzają o większości rzeczywistych decyzji — i w żadnym z nich nie chodzi o dokładność. Limit dziesięciu minut wynika z architektury: sesję trzeba zszywać w przypadku czegokolwiek dłuższego niż ankieta w call center, a szew jest twoim problemem. Drugą sprawą jest brak ceny dla modelu ElevenLabs: nie da się wpisać go do cennika stawek, bo jest częścią subskrypcji, która obejmuje również opłaty za LLM, telefonię i głos.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Zamiana wiersza dokładności w coś, czego możesz użyć

Istnieje uzasadniony sposób porównania tych dwóch rzeczy, a wymaga on ich uruchomienia — i właśnie przed tym mają cię uchronić wykresy marketingowe. To, co można powiedzieć na podstawie opublikowanych dowodów, jest węższe:

Konkretnie w przypadku rozmów klinicznych ElevenLabs ma zmierzony wynik, a Google nie. To nie jest twierdzenie, że Gemini 3.5 Transcribe Live jest słaby w nazwach leków — to twierdzenie, że nikt nie opublikował dla niego wyniku równoważnego PriMock57. Mechanizm niestandardowego słownictwa Google to narzędzie oferowane właśnie do tego problemu, a biasowanie słownictwa w modelu wsadowym jest udokumentowane; w przypadku endpointu Live dokumentacja jest skąpsza niż w przypadku jego odpowiednika wsadowego, a funkcje diaryzacji i znaczników czasowych słów opisane na wspólnej karcie Gemini 3.5 Transcribe nie są jednoznacznie potwierdzone dla poszczególnych endpointów.

W przypadku ogólnego audio konwersacyjnego Google ma niezależnie opublikowaną liczbę, a ElevenLabs ma liczbę pochodzącą od dostawcy. Wartość 4,00% pochodzi z trackera ze stałym harnessem i dziesiątkami modeli; wartość 12,8% pochodzi z pojedynczego zestawu 57 konsultacji, który ElevenLabs wybrał i przeprowadził. Obie liczby są przydatne. Żadna z nich nie przetrwa odjęcia drugiej.

Wersja praktyczna: jeśli Twoim obciążeniem są rozmowy kliniczne, pożycz próbkę własnych nagrań w stylu PriMock57 — dwóch mówców, prawdziwy wykaz leków na miejscu, co najmniej jeden rozmówca odczytujący identyfikator członka — i uruchom oba. Jeśli chodzi o transkrypcję strumieniową ogólnego przeznaczenia z odrobiną żargonu, opublikowana przez Google liczba jest bardziej audytowalnym punktem wyjścia, a jej ukierunkowanie słownictwa przejmie większość obciążenia domenowego.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

Kliniczna różnica tkwi w pauzach, nie w słowach.

Funkcją, którą zbudował ElevenLabs, a której nie opisują dokumenty Google, jest przewidywanie tur. Model tur Scribe v3 Live Medical wykorzystuje kontekst rozmowy, a nie wyłącznie ciszę, do ustalenia, że dzwoniący skończył mówić, co stanowi różnicę między agentem, który odpowiada po „mój identyfikator członka to 4-4-2”, a takim, który czeka na ostatnią cyfrę. Przykłady samego ElevenLabs to dokładnie te ciągi, które psują wykrywanie końca wypowiedzi oparte na ciszy: identyfikatory członków, daty urodzenia, numery telefonów, dawki zapisane słownie.

Gemini 3.5 Transcribe Live przenosi ten sam problem o jeden poziom wyżej w stosie. Jego dokumentacja opisuje go jako dwukierunkowy model transkrypcji strumieniowej; o tym, gdzie kończy się tura, decyduje dowolny framework agentowy znajdujący się nad nim, a strategia Google dotycząca agentów głosowych przechodzi przez własną obsługę tur w Live API, a nie przez model tur specyficzny dla transkrypcji. To całkiem dobra architektura — i inna: logika endpointingu należy do ciebie i będziesz ją dostrajać. W rozmowie klinicznej, gdy pacjent robi pauzę w połowie opisu objawu, aby pomyśleć, takie dostrajanie nie jest kosmetyką.

Uczciwie przeprowadzone porównanie kosztów

Miernik Google’a jest wystarczająco przejrzysty, by oprzeć na nim konkretną liczbę. Weźmy klinikę obsługującą 40 godzin połączeń na żywo dziennie, 22 dni w miesiącu: 52 800 minut. Przy szacowanym, uśrednionym koszcie 0,009 USD za minutę daje to około 475 USD miesięcznie za część dotyczącą transkrypcji, a jest to pozycja kosztowa, którą można prognozować, ograniczać i o której można dyskutować przy odnowieniu umowy.

Strona ElevenLabs nie podaje porównywalnej liczby, a każdy, kto ją cytuje, zgaduje. Najbliższym opublikowanym punktem odniesienia jest cennik API — Scribe v3 Live za $0.22 za godzinę, keyterm prompting za $0.08 za godzinę — ale Scribe v3 Live Medical nie jest sprzedawany w ten sposób. Jest częścią ElevenAgents, wyceniany za minutę rozmowy, a rozmowa obejmuje tokeny LLM, syntezę mowy i telefonię. To pakietowanie jest albo zniżką, albo uzależnieniem — w zależności od tego, co w przeciwnym razie byś złożył — i nie da się tego rozstrzygnąć na podstawie strony cennika.

Jedna rzecz, która faktycznie się przenosi: jeśli ostatecznie uruchomisz oba — Google do transkrypcji, wybrany przez siebie LLM do rozumowania — to właśnie w drugim etapie zapadają decyzje o routingu. OrcaRouter udostępnia 215 modeli za pośrednictwem jednego interfejsu API zgodnego z OpenAI przy 0% marży, ceny katalogowe dostawców przekazywane bez zmian, więc model odczytujący transkrypt Gemini można podmienić lub przełączyć awaryjnie bez dotykania kodu ASR. Nie udostępniamy na tej stronie żadnego z modeli transkrypcji, a nic z powyższego nie jest naszą ceną.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Który wybrać?

Wybierz Gemini 3.5 Transcribe Live, jeśli budujesz produkt, a nie kupujesz gotowego. To jedyny z tych dwóch, który jest modelem, który można wywołać, z opublikowaną ceną, darmowym poziomem do testów i punktem końcowym, który możesz umieścić za własną pętlą agenta. Limit sesji wynoszący dziesięć minut to ograniczenie, wokół którego należy projektować, a brak klinicznego benchmarku to luka, którą należy domknąć własnym audio i niestandardową listą słownictwa.

Wybierz Scribe v3 Live Medical, jeśli już zdecydowałeś, że agent to problem ElevenLabs — i jeśli Twoje stanowisko w zakresie zgodności pozwala na model o wczesnym dostępie, czego dokumentacja obecnie nie dopuszcza w przypadku PHI, dopóki nie zostanie potwierdzona kwalifikowalność. Kliniczne dostrojenie i model obsługi tur są rzeczywistymi zaletami w rozmowie z pacjentem na żywo, a różnica między PriMock57 a konkurencyjnymi modelami czasu rzeczywistego jest najsilniejszym opublikowanym dowodem, że adaptacja kliniczna w ogóle pomaga. To po prostu nie jest dowód dotyczący Gemini, a Gemini nie jest dowodem dotyczącym niego.

Liczba, na którą warto patrzeć, to nie jeden ani drugi WER. Chodzi o to, czy Scribe v3 Live Medical kiedykolwiek dostanie własny identyfikator modelu. W dniu, w którym to nastąpi, to porównanie staje się zwyczajne — dwa wywoływalne punkty końcowe, dwa liczniki, jeden benchmark, który można uruchomić — a 12,8% staje się czymś, co kupujący może faktycznie sprawdzić.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie