Karta tytułowa z napisem „Scribe v3 Live Medical vs Whisper Large v3 Turbo” i podtytułem „jednego nie da się wynająć, drugi możesz mieć na własność”. Poniżej pojedyncza skala: po lewej ikona zamkniętej kłódki z etykietą „tylko ElevenAgents, bez identyfikatora modelu”, po prawej otwarte pudełko z etykietą „809 mln parametrów, licencja MIT, działa na około 6 GB VRAM”.
Guides & Insights

Scribe v3 Live Medical kontra Whisper Large v3 Turbo: model, którego nie możesz wynająć, kontra ten, który możesz mieć na własność

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Whisper Large v3 Turbo to model z 809 milionami parametrów na licencji MIT, który można pobrać, skwantyzować do około 1,6 GB i uruchomić na jednym skromnym GPU z około ośmiokrotnie większą prędkością niż Whisper Large v3. Scribe v3 Live Medical to kliniczny fine-tune od ElevenLabs, którego nie można pobrać, nie można wywołać przez API i nie można w ogóle uzyskać, chyba że uruchamiasz agenta w ElevenAgents. Umieszczanie ich w jednym zdaniu jest dziwne, dopóki nie zauważysz, że zajmują to samo miejsce w rzeczywistej decyzji: oba są tym, po co sięgasz, gdy transkrybator ogólnego przeznaczenia ciągle przekręca „empagliflozin”, a tylko jeden z nich jest dostępny dla większości zespołów.

{{1}}To jest właściwe porównanie.{{/1}} Nie dokładność — {{2}}te dwie liczby się nie schodzą{{/2}} — lecz dostępność i to, ile pracy inżynierskiej kosztuje cię otwarty punkt odniesienia, by zamknąć lukę, na którą dostawca nie sprzeda ci zamkniętego rozwiązania.

Jedenastowyrazowa wersja tego, dlaczego to nie jest walka o benchmark

Opublikowany przez ElevenLabs wynik dla Scribe v3 Live Medical to 12,8% współczynnika błędów słów na PriMock57, 57 symulowanych konsultacjach podstawowej opieki zdrowotnej, w porównaniu z 15,5%–17,2% dla czterech konkurencyjnych modeli medycznych i ogólnych działających w czasie rzeczywistym. Opublikowane wyniki Whisper Large v3 Turbo to 2,1% na LibriSpeech test-clean i 4,2% na test-other — mowa czytana z angielskich audiobooków, korpus, który od lat jest standardowym otwartym benchmarkiem i jest mniej więcej tak odległy od telefonicznej rozmowy o receptę, jak to tylko możliwe w przypadku dźwięku.

W warunkach LibriSpeech otwarty model o 809M parametrów znacznie przewyższa klinicznie dostrojony model. W rzeczywistej konsultacji ze słabym zestawem słuchawkowym oba te wyniki to szum. Żaden z tych wyników nie pozwala przewidzieć drugiego, a każdy, kto stawia je obok siebie i ogłasza zwycięzcę, porównuje pomiar modelu wsadowego w sterylnych warunkach z pomiarem modelu strumieniowego przeprowadzonym przez dostawcę. Uczciwe ujęcie jest takie, że medyczny model dostrojony przypisuje sobie przewagę nad innymi modelami czasu rzeczywistego na klinicznym materiale audio, a Whisper przypisuje sobie przewagę nad innymi otwartymi modelami na czystej mowie czytanej, i żadne z tych twierdzeń nie odnosi się do drugiego.

Czym Whisper Large v3 Turbo faktycznie jest, a czym nie jest

Destylacja OpenAI modelu Whisper Large v3, wydana na licencji MIT w październiku 2024 r.: 32 warstwy enkodera i 4 warstwy dekodera zamiast 32 — stąd bierze się szybkość. Działa w wersjach faster-whisper, whisper.cpp, ONNX i GGUF, po kwantyzacji jest wystarczająco mała, by zmieścić się na laptopie, obsługuje 99 języków i nie wiąże się z żadnymi opłatami licencyjnymi, niezależnie od tego, czy uruchamiasz ją na jednym GPU, czy na całej szafie serwerów.

Czym to nie jest — i to jest lista, która ma znaczenie dla agenta klinicznego:

• Nie strumieniuje. Architektura Whispera opiera się na stałym 30-sekundowym oknie, więc „czas rzeczywisty” oznacza dzielenie dźwięku na fragmenty i ponowne uruchamianie, płacąc za nakładanie się i akceptując, że transkrypcja opóźnia się względem mowy o tyle, ile buforujesz. Nie ma natywnego strumienia częściowych wyników ani wykrywania tur.

• Nie wykonuje diaryzacji. Jeden strumień słów, bez pojęcia, kto co powiedział. W konsultacji dwóch osób, w której zarówno pacjent, jak i klinicysta wymieniają nazwy leków, trzeba dołożyć osobny model etykietowania mówców albo zaakceptować transkrypcję bez oznaczeń mówców.

• Nie formatuje tekstu. Interpunkcja i wielkość liter pozostają takie, jak zostały wypowiedziane w nagraniu, wraz z wszystkimi niezręcznościami. Brak korekty samopoprawek, brak wielkich liter na początku zdań, brak struktury notatki klinicznej.

• Nie jest trenowany do tłumaczenia i nie ma mechanizmu nastawiania na domenę. Nie ma listy kluczowych terminów, która podałaby mu wykaz leków, ani podpowiedzi, która powiedziałaby mu, że to rozmowa kardiologiczna. Albo dostrajasz model, albo robisz obróbkę końcową, albo akceptujesz błędy.

Scribe v3 Live Medical natomiast jest zbudowany niemal w całości z tych czterech brakujących elementów: działa strumieniowo, ma przewidywanie tur mowy, które pozwala przeczekać identyfikator członka, obsługuje do 10 000 własnych terminów klinicznych bez opłat i jest dostrojoną wersją modelu wytrenowanego na rozmowach, a nie na audiobookach. ElevenLabs otwarcie mówi, gdzie jest granica — pojedyncze nazwy leków bez otaczającego kontekstu są najtrudniejszym przypadkiem dla każdego modelu, a zalecenie jest takie, by używać terminów kluczowych, aby ukierunkować model na to, czego się oczekuje.

The openai/whisper repository page on GitHub, showing 113k stars and 13.7k forks, the README heading 'Robust Speech Recognition via Large-Scale Weak Supervision' and an MIT license badge in the sidebar.

Koszt inżynieryjny samodzielnego zamknięcia luki

To tutaj porównanie staje się arkuszem kalkulacyjnym, a nie tabelą rankingową. Zespół, który chce, aby Whisper Large v3 Turbo zachowywał się jak kliniczny transkrybent w czasie rzeczywistym, musi zbudować cztery rzeczy:

• Wrapper strumieniowy — audio dzielone na fragmenty, nakładające się okna, scalanie hipotez częściowych oraz własna reguła wykrywania końca wypowiedzi, ponieważ Whisper nie daje żadnej. Licz się z tym, że naprawdę sporo czasu spędzisz nad obsługą łączeń; to właśnie tam większość samodzielnie budowanych agentów głosowych notuje najgorsze opóźnienia.

• Mechanizm słownictwa — Whisper nie ma żadnego. Albo dostrajasz go na własnych nagraniach klinicznych, co wymaga oznaczonych danych, których prawdopodobnie nie masz, albo korygujesz wynik względem listy nazw leków, co jest problemem dopasowywania rozmytego i samo wprowadza pewną klasę błędów.

• Przebieg diaryzacji — drugi model, drugi budżet opóźnienia i krok scalania, który musi dopasować tury mówców do znaczników czasowych słów Whisper.

{{1}}Infrastruktura{{/1}} — GPU, automatyczne skalowanie, kolejka dla ścieżki wsadowej i ktoś na dyżurze, gdy maszyna transkrybująca 40 godzin dziennie padnie o 2 w nocy.

Nic z tego nie jest przeszkodą nie do pokonania. Wszystko to jest praca, którą pochłonąłby zarządzany model kliniczny, a uczciwe pytanie brzmi, czy czas Twojego zespołu lepiej spożytkować tam, czy na samym produkcie klinicznym. Dla grupy badawczej lub zespołu platformowego, który już utrzymuje infrastrukturę wnioskowania, odpowiedź często brzmi „tak” — dlatego właśnie Whisper stał się domyślnym wyborem. Dla pięcioosobowego startupu z obszaru zdrowia cyfrowego, którego wyróżnikiem jest workflow pielęgniarski, odpowiedź zwykle brzmi „nie”.

Licencja to prawdziwa zaleta, i to nie byle jaka.

Licencja MIT na Whisper oznacza brak dostawcy, brak licznika, brak opłaty za minutę rosnącej wraz z wolumenem połączeń i brak wymogu, by audio pacjenta opuszczało Twoją sieć. Dla podmiotu objętego przepisami ten ostatni punkt nie jest miłym dodatkiem. Wdrożenie Whisper w modelu self-hosted we własnym VPC to historia zgodności, którą Twój zespół ds. bezpieczeństwa już wie, jak zatwierdzić: PHI nigdy nie przekracza granicy dostawcy, okres przechowywania logów ustalasz sam, a negocjowanie umowy Business Associate Agreement nie jest konieczne.

W przeciwieństwie do tego dokumentacja ElevenLabs mówi obecnie coś, co oficer ds. zgodności przeczyta dwa razy: nie wysyłaj chronionych informacji zdrowotnych do Scribe v3 Live Medical, dopóki nie zostanie potwierdzona kwalifikowalność modelu w zakresie HIPAA, a rezydencja danych w UE nie jest dostępna w okresie wczesnego dostępu. Ogólne stwierdzenie na stronie transkrypcji medycznej — kwalifikowalność w zakresie HIPAA dla klientów Enterprise z BAA i trybem Zero Retention — opisuje platformę i ogólnie dostępny produkt medyczny Scribe v2 Medical. W przypadku modelu czasu rzeczywistego we wczesnym dostępie to ostrzeżenie jest zdaniem obowiązującym.

Tak więc otwarta wersja bazowa wygrywa dziś zdecydowanie porównanie zgodności, z powodu, który nie ma nic wspólnego z dokładnością, a wszystko z niedokończoną dokumentacją.

Koszt krańcowy przy trzech różnych wolumenach

Whisper ma koszt sprzętowy i nie ma licznika. Uruchom go na GPU, który już posiadasz, a koszt krańcowy transkrybowanej minuty zbliża się do kosztu energii elektrycznej; wynajmij GPU, a będzie to stawka za instancję podzielona przez przepustowość, co w nowoczesnych stosach serwujących daje kilka centów za godzinę audio. Przy tysiącu godzin miesięcznie jedna wynajęta GPU pokrywa obciążenie z zapasem.

Scribe v3 Live Medical nie generuje kosztu krańcowego obliczeń, ponieważ nie jest sprzedawany na minuty — wchodzi w skład subskrypcji ElevenAgents, która rozlicza się za minutę rozmowy i obejmuje LLM, telefonię oraz głos. Ceny referencyjne API ElevenLabs dla modeli, które faktycznie można rozliczać, wynoszą $0.22 za godzinę dla Scribe v3 Live i $0.20 za godzinę dla Scribe v2 Medical, a podpowiadanie słów kluczowych w czasie rzeczywistym kosztuje $0.08 za godzinę.

Przy dziesięciu godzinach miesięcznie ścieżka zarządzana jest oczywiście tańsza: nie trzeba kupować GPU, nie trzeba utrzymywać potoku przetwarzania, a subskrypcja obejmuje agenta. Przy dziesięciu tysiącach godzin miesięcznie samodzielnie hostowany Whisper jest tańszy niż jakikolwiek opublikowany licznik rozliczany za minutę, a żaden dostawca nigdy nie zdoła przebić kosztu krańcowego własnego sprzętu uruchamiającego wagi na licencji MIT. Punkt przecięcia, jak zawsze, wypada tam, gdzie Twoje wynagrodzenie inżynierskie podzielone przez zaoszczędzone godziny spada poniżej stawki za minutę — a w małym zespole klinicznym wypada później, niż sugeruje arkusz kalkulacyjny, ponieważ potok, który budujesz, to potok, który utrzymujesz na zawsze.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Whisper Large v3 Turbo — the scoreboard', with the rows Licence (platform only vs MIT), Access (ElevenAgents only vs download and self-host), Streaming (native, turn prediction vs no, 30-second windows), Diarization (built in vs no), Vocabulary (10,000 terms included vs none, fine-tune or correct) and Cost (bundled, no ASR rate vs your own GPU), and a footer reading 'Scribe figures vendor-run and unavailable outside ElevenAgents; Whisper figures per OpenAI.'

Gdzie dokładnie pasuje router

Whisper przekazuje Ci tekst; coś wciąż musi go odczytać i na jego podstawie zadziałać. W klinicznym obiegu pracy jest to drugi model — sporządzający notatkę, wyodrębniający listę leków, decydujący, czy rozmowa wymaga pielęgniarki — i to właśnie ta część skaluje się wraz z długością rozmowy, a nie z długością nagrania. OrcaRouter udostępnia 215 modeli za jednym API zgodnym z OpenAI przy 0% marży, z cenami cennikowymi dostawców przekazywanymi bez zmian, z automatycznym przełączaniem awaryjnym, dzięki czemu ten model rozumujący może być mały i szybki do odpowiedzi w kolejnych turach rozmowy, a większy do notatki po jej zakończeniu — na tym samym kluczu.

Mówmy jasno o granicach: nie hostujemy Whisper Large v3 Turbo i nie hostujemy Scribe v3 Live Medical ani żadnego modelu ElevenLabs. Samodzielnie hostowany Whisper to Twoja GPU; model medyczny ElevenLabs to ich platforma. To, co routujemy, to warstwa ponad obydwoma.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Który z nich, dla której drużyny?

Wybierz Whisper Large v3 Turbo, jeśli spełniony jest którykolwiek z poniższych warunków: potrzebujesz, aby transkrypcja pozostała w Twoim własnym obwodzie bezpieczeństwa, transkrybujesz nagrany dźwięk, a nie rozmowy na żywo, Twoje wolumeny są wystarczająco wysokie, że rozliczanie za minutę jest dominującym kosztem, lub masz zdolności inżynierskie, by samodzielnie zbudować warstwy streamingu, diaryzacji i słownictwa. W przypadku nagranego dźwięku klinicznego — notatek dyktowanych przeglądanych po wizycie — Whisper wraz z dodatkowym przebiegiem korekty nazw leków to naprawdę mocna i naprawdę tania odpowiedź, a jego licencja MIT eliminuje całą kategorię rozmów zakupowych.

Wybierz Scribe v3 Live Medical, jeśli audio jest na żywo, słownictwo jest kliniczne, a agent i tak ma należeć do ElevenLabs. Predykcja tur i budżet 10 000 terminów to elementy, które w przeciwnym razie trzeba by zbudować; wynik 12,8% na PriMock57 pochodzi od samego dostawcy, ale kierunek jest zgodny z tym, co raportuje każdy dostawca klinicznego ASR, a platforma przejmuje infrastrukturę. Następnie wstrzymaj się z PHI, dopóki ostrzeżenie o wczesnym dostępie nie zniknie ze strony dokumentacji.

A jeśli jesteś całkowicie poza ElevenAgents — co dotyczy większości osób czytających to — prawdziwy wybór jest między Whisper a dostępnym do wywołania modelem medycznym, takim jak Scribe v2 Medical, w cenie $0.20 za godzinę i z o 15% mniejszą liczbą błędów niż Scribe v2 na klinicznych nagraniach testowych. Scribe v3 Live Medical to lepszy model na papierze. Po prostu nie jest w ofercie, a model, którego nie możesz uruchomić, nie jest konkurentem dla tego, który możesz.