VibeVoice-ASR-Streaming-1.5B kontra Whisper Large v3 Turbo: natywny streaming przeciwko 99-języcznemu koniowi roboczemu

Jest spora szansa, że model zamiany mowy na tekst, z którego korzystasz dziś, to Whisper Large v3 Turbo — a nowy model właśnie stawia pytanie, czy tak powinno zostać. Whisper Large v3 Turbo od OpenAI — destylowany checkpoint o 809M parametrach, wydany w październiku 2024 r. — to koń roboczy wśród modeli o otwartych wagach: 99 języków, około cztery do ośmiu razy szybszy niż oryginalny large-v3, wystarczająco lekki na laptopa, na licencji MIT i wspierany przez największy ekosystem transkrypcji na świecie. VibeVoice-ASR-Streaming-1.5B, opublikowany przez Microsoft Research 2 września 2026 r., to pretendent stworzony do czegoś, czego Whisper natywnie nie robi: strumieniowania. Transkrybuje audio na bieżąco, fragmentami, w miarę jak dźwięk napływa, zamiast pochłaniać całe, stałe okna; deklaruje przypisywanie wypowiedzi do mówców, a na swoim koncie ma dziesięć języków i żadnego opublikowanego benchmarku.

To ostatnie zastrzeżenie jest powodem, dla którego ta strona jest zorganizowana wokół pytania o migrację, a nie wokół testu porównawczego. Wyniki Whisper Large v3 Turbo są zmierzone i publiczne – LibriSpeech, zagregowany wynik Open ASR, Common Voice – podczas gdy karta modelu VibeVoice-ASR-Streaming-1.5B nie publikuje w tekście żadnej wartości WER ani opóźnienia, a w chwili pisania tych słów nie istnieje żaden niezależny benchmark. Wszystko, co poniżej dotyczy strony Microsoftu, to to, co da się ustalić z jego repozytorium: plików konfiguracyjnych, karty modelu oraz dokumentacji streamingu przygotowanej przez Microsoft. Wszystko po stronie Whisper to utrwalony publiczny zapis. Te dwa modele nie były testowane bezpośrednio przeciwko sobie; porównanie dotyczy tego, co sprawdzone, i tego, co obiecane.

Model, który prawdopodobnie już masz uruchomiony.

Whisper Large v3 Turbo zdobył swoją pozycję w nieefektowny sposób: jest szybki, mały, wielojęzyczny i nudny w aspektach, które lubią zespoły produkcyjne. Zdestylowany z modelu Whisper large-v3 o 1,55 mld parametrów do modelu z 809 mln parametrów, zachowuje obsługę 99 języków i w przybliżeniu 95% dokładności large-v3 — około 2,1% WER na czystym LibriSpeech, około 7,7–7,8% w zbiorczym teście Open ASR, z największym spadkiem jakości w językach o niskich zasobach i w językach tonalnych — a przy tym działa kilka razy szybciej i mieści się w około 1,6 GB VRAM w FP16. Jest na licencji MIT, działa przez faster-whisper, whisper.cpp oraz trzy lata integracji, a jego strona na Hugging Face pokazuje ponad siedem milionów pobrań w ciągu jednego miesiąca. Jeśli samodzielnie hostujesz transkrypcję, najprawdopodobniej to właśnie ten model ją wykonuje.

To, czym Whisper Large v3 Turbo nie jest — i nigdy nie twierdził, że jest — to model strumieniowy. Pobiera dźwięk w stałych 30-sekundowych oknach i dla każdego okna zwraca transkrypt; nie ma natywnego wykrywania aktywności głosu, nie ma wykrywania końca wypowiedzi (endpointingu), nie ma diarizacji mówców ani mechanizmu hotwordów. Transkrypcja na żywo w Whisper to zawsze retrofit, który samodzielnie budujesz — a właśnie w tym retroficie leżą opóźnienia i koszty inżynieryjne.

Co właściwie się zmienia, jeśli przełączysz

• Model opóźnień — VibeVoice-ASR-Streaming-1.5B generuje tekst raz na rozpoznany fragment o długości około 2,9 sekundy, z wyprzedzeniem ok. 0,5 s, co wynika z konstrukcji; natomiast Whisper Large v3 Turbo to model wsadowy z oknem 30 sekund, który potrzebuje warstwy dzielenia na fragmenty i sklejania, aby w przybliżeniu naśladować wyjście na żywo.

• Kształt sesji — nieograniczone sesje na żywo, z kontekstem przenoszonym między fragmentami w pamięci podręcznej prefiksów, w porównaniu z oddzielnymi 30-sekundowymi oknami bez stanu konwersacji między oknami.

• Języki — dziesięć (chiński, angielski, francuski, niemiecki, włoski, japoński, koreański, portugalski, rosyjski, hiszpański) vs 99.

• Dokładność w publikacjach — brak publikacji vs ~2,1% LibriSpeech clean, ~7,7–7,8% Open ASR composite; wszystko zmierzone i publiczne.

• Dodatkowe funkcje wyjścia — deklaracje: strumieniowe przypisywanie wypowiedzi do mówców (kto co powiedział) i hotwordy; znaczniki czasowe słów są dostępne, ale natywnie brak diarizacji i hotwordów.

• Sprzęt — ~5,6 GB wag bf16 na GPU NVIDIA, instalacja ze źródeł w porównaniu z ~1,6 GB FP16; działa na laptopach i procesorach dzięki whisper.cpp i faster-whisper.

• Licencja — MIT, dla obu.

Problem retrofitu strumieniowego.

Uczciwe spojrzenie na to zestawienie jest takie, że Whisper Large v3 Turbo ma problem ze strumieniowaniem, za który już zapłaciłeś lub wciąż płacisz. Pipeline działający na żywo na Whisperze oznacza detektor aktywności głosowej do wykrywania mowy, chunker do dzielenia audio na okna wielkości Whispera, nakładające się okna, aby słowa nie ginęły na granicach, oraz moduł sklejający do uzgadniania częściowych transkrypcji. Społecznościowe implementacje tego stosu osiągają około jednej do pięciu sekund opóźnienia end-to-end — wystarczające do notatek ze spotkań, ale poniżej progu dla agentów telefonicznych i napisów na żywo.

VibeVoice-ASR-Streaming-1.5B z samej konstrukcji eliminuje konieczność retrofitu. Jego konfiguracja preprocesora ustawia rozmiar bloku na 22 ramki i wyprzedzenie (lookahead) na 4 ramki dla strumienia tokenów mowy o częstotliwości około 7,5 Hz — czyli około 2,9 sekundy dźwięku na emitowany segment oraz pół sekundy przyszłego kontekstu — a dokumentacja Microsoftu opisuje, że kontekst z wcześniejszych bloków jest zachowywany dzięki pamięci podręcznej KV, więc sesja na żywo nie przelicza wszystkiego od zera. Ale słowo „streaming” należy czytać ostrożnie po obu stronach tego porównania: żaden z tych modeli nie jest silnikiem generowania częściowych transkrypcji słowo po słowie, w rodzaju tych oferowanych przez komercyjne API o najniższym opóźnieniu. Transkrypcja VibeVoice z założenia rośnie skokowo co mniej więcej trzy sekundy, co stanowi odmienny i zazwyczaj akceptowalny rytm dla spotkań, ale nie jest to rytm poniżej sekundy. Jeśli Twoim wymaganiem jest pojawianie się słów na ekranie w czasie krótszym niż sekunda, tę geometrię bloków powinieneś zmierzyć względem tego budżetu czasu, zanim na niej zaczniesz budować.

Dokładność: co tracisz, przechodząc na natywne strumieniowanie

Oto różnica, która powinna zaważyć na tej decyzji. Whisper Large v3 Turbo ma publicznie dostępne wyniki pomiarów dokładności, które możesz zweryfikować — a gdy nagranie należy do jednego z jego 99 języków, wyniki te są solidne. VibeVoice-ASR-Streaming-1.5B nie ma takich wyników: ewaluacja w karcie modelu ma postać obrazu, Microsoft nie opublikował w formie tekstowej żadnego WER dla trybu strumieniowego, a jedynym liczbowym punktem odniesienia w tej rodzinie jest średni WER na poziomie 7,77%, raportowany przez dostawcę na karcie wsadowego modelu VibeVoice-ASR i uzyskany na ośmiu angielskich zestawach testowych — a więc dotyczący innego, niestrumieniowego modelu. Uczciwie trzeba powiedzieć, że przeniesienie transkrypcji na VibeVoice-ASR-Streaming-1.5B już dziś oznacza zaakceptowanie nieznanego poziomu dokładności na własnym materiale audio — i właśnie dlatego każda ewaluacja tego modelu musi zostać przeprowadzona przez Ciebie, na Twoich najtrudniejszych prawdziwych nagraniach, zanim zasłuży sobie na ruch produkcyjny.

Języki i atrybucja mówcy: luka funkcjonalna działa w obie strony

Porównanie funkcji nie jest jednostronne i właśnie to sprawia, że wybór jest naprawdę interesujący. Jeśli Twoje audio jest wielojęzyczne, decyzja kończy się natychmiast: 99 języków Whisper Large v3 Turbo obejmuje to, czego nie obejmuje dziesięć języków VibeVoice-ASR-Streaming-1.5B, a limit dziesięciu języków dyskwalifikuje każdy potok, który ma do czynienia z szeroką mieszanką mowy. Ale jeśli Twój zakres pracy mieści się w tych dziesięciu językach, a tak naprawdę potrzebujesz wiedzieć, kto co powiedział na żywym spotkaniu, strzałka wskazuje w drugą stronę: Whisper nie oferuje natywnej diarizacji ani słów kluczowych (hotwords), podczas gdy VibeVoice-ASR-Streaming-1.5B twierdzi, że ma obie te funkcje — strumieniowy wynik z przypisaniem mówcy oraz słowa kluczowe z danej dziedziny przekazywane jako prompt kontekstowy. To twierdzenie nie jest zweryfikowane, a strumieniowa diarizacja na granicach fragmentów jest na tyle trudna, że zasługuje na sceptycyzm, ale jest to konkretna funkcja, której żadna inżynieria Whisper nie daje Ci od razu po wyjęciu z pudełka.

Matematyka migracji

Koszt i wysiłek przemawiają na korzyść dotychczasowego rozwiązania. Whisper Large v3 Turbo już działa w twoim stacku na sprzęcie, który posiadasz — laptopie, procesorze, skromnej karcie graficznej — a przejście na VibeVoice-ASR-Streaming-1.5B oznacza uruchomienie instalacji badawczej ze źródeł na procesorze graficznym NVIDIA z wagami o rozmiarze ~5,6 GB, zweryfikowanie ścieżki ładowania, której klasa architektury nie została jeszcze ujęta w publicznej dokumentacji Transformers, oraz zbudowanie od podstaw benchmarku, od którego zależy twoja decyzja. To prawdziwy projekt, a zysk jest uzależniony od tego, czy niezweryfikowane funkcje mają dla ciebie znaczenie.

Tani sposób na uruchomienie tego projektu to nie traktowanie go jak podmiany. Zostaw Whisper Large v3 Turbo jako domyślny model i kieruj wycinek dźwięku na żywo do VibeVoice-ASR-Streaming-1.5B przez jedno API — to wzorzec, dla którego istnieje warstwa routingu: 200+ modeli za jednym endpointem w cenie katalogowej dostawcy, bez marży, automatyczny failover, gdy nowy model się potknie, oraz DSL routingu, który pozwala różnym obciążeniom wybierać różnych transkryberów z jednego wywołania. To jest model OrcaRoutera — i to jest różnica między stawianiem produkcyjnego potoku na dwudniowym checkpointcie a pozwalaniem temu checkpointowi zapracować sobie na miejsce obok sprawdzonego konia roboczego na twoich własnych transkryptach.

Często zadawane pytania

Czy Whisper Large v3 Turbo w ogóle może streamować na żywo?

Tylko jako retrofit. Whisper Large v3 Turbo to model wsadowy przetwarzający stałe 30-sekundowe okna, dlatego transkrypcja na żywo wymaga zbudowania na jego bazie detektora aktywności głosowej, dzielnika na fragmenty, strategii nakładania okien i scalacza. Istnieją działające implementacje osiągające opóźnienie rzędu 1–5 sekund, co wystarcza do notatek ze spotkań, ale nie spełnia wymogu poniżej sekundy niezbędnego dla agentów telefonicznych i napisów na żywo. VibeVoice-ASR-Streaming-1.5B jest modelem natywnie strumieniowym — emituje tekst w ~2,9-sekundowych fragmentach z ~0,5 sekundy wyprzedzenia — ale to strumieniowanie fragmentami, a nie cząstkowe wyniki po każdym słowie, więc sprawdź też ten rytm względem własnego budżetu opóźnienia.

Czy VibeVoice-ASR-Streaming-1.5B jest dokładniejszy niż Whisper Large v3 Turbo?

Nikt nie może jeszcze odpowiedzieć na to pytanie, w tym Microsoft. Dokładność modelu Whisper Large v3 Turbo została zmierzona i jest publiczna — około 2,1% WER na LibriSpeech clean i 7,7–7,8% na Open ASR composite. VibeVoice-ASR-Streaming-1.5B nie ma opublikowanego wskaźnika WER dla trybu strumieniowego ani niezależnego benchmarku w chwili pisania tego tekstu. Jedynym sposobem, aby odpowiedzieć na to pytanie, jest uruchomienie checkpointu na własnym materiale audio i porównanie transkrypcji z obecnie używanym rozwiązaniem — co jest dokładnie testem, który ta strona zaleca przed jakąkolwiek migracją.

Które języki obsługują te dwa?

Whisper Large v3 Turbo obsługuje 99 języków za pomocą jednego zestawu wag. VibeVoice-ASR-Streaming-1.5B wymienia dziesięć: chiński, angielski, francuski, niemiecki, włoski, japoński, koreański, portugalski, rosyjski i hiszpański. W przypadku dowolnego materiału audio spoza tego zestawu dziesięciu języków Whisper jest w tym zestawieniu jedyną opcją, a luka w obsłudze języków to najbardziej oczywisty powód, dla którego większość zespołów pozostanie tam, gdzie jest.

Whisper Large v3 Turbo to właściwy model dla większości zespołów w większości przypadków, a dwudniowy checkpoint bez benchmarków nie jest powodem, aby zmieniać platformę. Jest natomiast powodem, aby przeprowadzić eksperyment. Jeśli twoje audio znajduje się w jednym z dziesięciu języków VibeVoice-ASR-Streaming-1.5B, a przypisywanie mówców w czasie rzeczywistym zmieniłoby twój produkt, postaw VibeVoice-ASR-Streaming-1.5B za routerem, skieruj na niego część rzeczywistego ruchu i pozwól transkryptom — a nie brakowi benchmarku po którejkolwiek ze stron — podjąć decyzję.