Phonon vs Whisper Large v3 Turbo: Dwie połowy pętli głosowej offline

Porównywanie Phonon 31M z Whisper Large v3 Turboto błąd kategorii i obecnie najbardziej użyteczny błąd kategorii w inżynierii mowy. Phonon 31M, wydany przez Gradium 20 października 2026 roku, zamienia tekst w dźwięk. Whisper Large v3 Turbo, wydany przez OpenAI 1 października 2024 roku, zamienia dźwięk w tekst. Nie konkurują ze sobą. To dwa końce tej samej pętli, a oba są wystarczająco małe i wystarczająco szybkie, by działać na sprzęcie, który posiadasz.

Istnieje drugi powód, dla którego to zestawienie myli ludzi. Obie publikują liczbę o nazwie WER, a te dwie liczby oznaczają coś przeciwnego. W przypadku Whispera wskaźnik błędów słów mierzy, jak często transkrypcja jest błędna. W przypadku Phonona mierzy, jak często transkrybator błędnie słyszy mowę wygenerowaną przez model. Niższa liczba jest lepsza w obu przypadkach, ale to nie są te same pomiary, a umieszczanie ich w jednej kolumnie prowadzi do błędnych porównań.

Jeden słucha, drugi mówi

Whisper Large v3 Turbo to model rozpoznawania mowy. Zachowuje pełny enkoder Whisper large-v3 i zmniejsza dekoder z 32 warstw do czterech, dając 809 milionów parametrów zamiast 1,55 miliarda. Obsługuje 99 języków, automatycznie wykrywa język i nie jest trenowany do tłumaczenia. Dokumentacja OpenAI opisuje go jako około osiem razy szybszy od dużego modelu przy niewielkim spadku dokładności; firma nie opublikowała dokładnego mnożnika na karcie modelu, więc każda dokładna wartość prędkości pochodzi z testów zewnętrznych.

Phonon 31M to model syntezy mowy. Przyjmuje tekst i głos, a następnie generuje 24 kHz mono audio za pomocą transformera flow-matching na latentach Mimi. Ma 31 milionów parametrów z wyłączeniem tokenizera, jest dostarczany jako 64,5 MB q8 GGUF i objęty licencją Apache 2.0. Nie ma żadnych możliwości słuchania — nie potrafi transkrybować, prowadzić diaryzacji ani wykrywać języka.

Łączy je tylko jeden cel projektowy: oba są stworzone do działania bez centrum danych. Whisper Turbo to szybki i tani przedstawiciel rodziny, która stała się domyślnym otwartym punktem odniesienia w ASR. Phonon to próba uczynienia części odpowiedzialnej za syntezę równie tanią.

Te same trzy litery, dwa różne pomiary

Whisper Large v3 Turbo odnotowuje średni WER na poziomie 7,83 w English Open ASR Leaderboard, wobec 7,44 dla pełnego large-v3. Na LibriSpeech test-clean wartości wynoszą około 2,0%. Te liczby opisują, jak często model zapisuje niewłaściwe słowo, gdy słyszy czystą mowę.

Phonon 31M podaje 0,51% na Seed-TTS i 1,5% na trudniejszym zestawie w swojej karcie modelu, albo 1,70% na tym samym trudnym zestawie we wpisie na blogu z okazji premiery. Liczby te opisują, jak często whisper-large-v3 zapisuje niewłaściwe słowo, gdy słyszy dane wyjściowe Phonon. Zauważ, że oceniającym jest sam Whisper. Metodologia Gradium jest w nieunikniony sposób cykliczna: aby zmierzyć model TTS, potrzebujesz modelu ASR, a własny współczynnik błędów modelu ASR wyznacza dolny limit tego, jak dobry może wyglądać TTS.

Dlatego TTS WER wynoszący 0,5% i ASR WER wynoszący 7,8% nie są porównywalne i dlatego TTS WER poniżej około 1% należy odczytywać jako „transkrybent nie miał problemu”, a nie jako „mowa jest niemal doskonała”. Ludzcy słuchacze i automatyczne narzędzia oceniające nie zgadzają się ze sobą, zwłaszcza w kwestii prozodii, której żaden WER nie obejmuje.

• Zadanie — synteza mowy dla Phonon 31M; rozpoznawanie mowy dla Whisper Large v3 Turbo.

• Parametry — 31 mln z wyłączeniem tokenizera dla Phonon 31M; 809 mln dla Whisper Large v3 Turbo.

• Języki — tylko angielski w przypadku Phonon 31M; 99 w przypadku Whisper Large v3 Turbo.

Wyjście — {{1}}audio mono 24 kHz dla Phonon 31M{{/1}}; tekst ze znacznikami czasu dla Whisper Large v3 Turbo.

• Deklarowana dokładność — 0,51% WER w Seed-TTS dla Phonon 31M, zmierzone przez Whisper; średni WER dla języka angielskiego na poziomie 7,83 dla Whisper Large v3 Turbo w Open ASR Leaderboard.

• Licencja — Apache 2.0 dla Phonon 31M; MIT dla Whisper Large v3 Turbo.

Określanie rozmiaru pętli głosowej offline

Jeśli celem jest asystent głosowy, który działa bez sieci, zestawienie materiałów obejmuje trzy modele, a nie dwa. Rozpoznawanie mowy, generowanie języka i synteza mowy.

Whisper Large v3 Turbo ma 809 milionów parametrów, około 1,6 GB wag przy precyzji 16-bitowej. Wnioskowanie na GPU zwykle rezerwuje kilka gigabajtów pamięci roboczej na aktywacje i przetwarzanie wsadowe; skwantyzowane kompilacje GGUF dodatkowo zmniejszają zajętość pamięci kosztem niewielkiej utraty dokładności. W wersji Turbo nie jest to model klasy telefonicznej, choć mniejsze warianty Whisper i wersje destylowane już tak.

Phonon 31M ma 64,5 MB. To około jedna dwudziesta piąta pliku wag Whisper Turbo, a działa na jednym rdzeniu CPU, na Neural Engine iPhone'a lub na Raspberry Pi.

Model językowy pośrodku jest zmienną. Model instruct o rozmiarze od 1B do 4B, skwantyzowany do czterech bitów, mieści się w kilku gigabajtach i jest zwykle wybierany do asystenta offline. Cała pętla — Whisper Turbo, mały model instruct, Phonon — mieści się w zakresie, który pomieści laptop lub telefon z wyższej półki, przy czym najcięższym komponentem jest ASR.

Ta asymetria to praktyczny wniosek. Połowa pętli, o którą ludzie się martwią — synteza, część, która musi brzmieć po ludzku — jest teraz tą tanią połową. Rozpoznawanie jest tą drogą.

Budżet opóźnienia

Dane dostawcy Phonon podają pierwsze audio na poziomie 5–7 ms na rdzeniu MacBooka Air M5 i 9 ms na iPhone 16 Pro, a przepustowość między 11,6 a 41 razy szybciej niż w czasie rzeczywistym — w zależności od tego, który dokument Gradium się czyta. Szybkość Whisper Turbo silnie zależy od sprzętu i backendu: OpenAI opisuje go jako około osiem razy szybszy niż large-v3, a testy społeczności z kwantyzowanymi wersjami donoszą o dziesiątkach razy szybciej niż w czasie rzeczywistym na Apple silicon i znacznie wolniejszych wynikach na CPU.

W pętli konwersacyjnej dominuje etap rozpoznawania. Transkrypcja trzysekundowej wypowiedzi zajmuje kilkaset milisekund na GPU laptopa i zbliża się do czasu rzeczywistego na słabym CPU. Etap syntezy jest w porównaniu z nim praktycznie natychmiastowy. Zespoły, które najpierw optymalizują TTS, optymalizują niewłaściwy koniec.

Pokrycie językowe jest twardym ograniczeniem

Whisper obsługuje 99 języków. Phonon 31M obsługuje jeden, a karta Gradium ostrzega, że inne języki są wymawiane nieprawidłowo. Wielojęzycznego asystenta głosowego nie można zatem zbudować z tej pary: rozpoznawanie działa po japońsku, synteza nie.

Odpowiedzią Gradium jest rodzina Phonon 40M, obejmująca angielski, francuski, niemiecki, hiszpański i portugalski. To pięć języków, a nie 99, a checkpointy 40M są objęte licencją CC BY-NC 4.0 — nie można ich użyć w produkcie komercyjnym bez odrębnej umowy. Luka wielojęzyczna między otwartymi systemami ASR i TTS to jedna z największych w całym stosie i nic, co ukazało się w tym miesiącu, jej nie zamyka.

Gdzie spotykają się w prawdziwym produkcie

Naturalnym zastosowaniem jest narzędzie do transkrypcji i odtwarzania: nagraj spotkanie lub notatkę głosową, dokonaj transkrypcji za pomocą Whisper, a następnie odczytaj streszczenie na głos za pomocą Phonon. Oba działają lokalnie, oba mają liberalne licencje i żadne nie wysyła dźwięku do strony trzeciej. Narzędzie do dyktowania medycznego, rejestrator terenowy, aplikacja dostępnościowa dla użytkowników głuchych i niedosłyszących lub offline'owa zabawka do nauki języków — wszystkie pasują do tego samego schematu.

Druga aplikacja to agent głosowy z lokalnym pierwszym przebiegiem i fallbackiem w chmurze. Whisper transkrybuje na urządzeniu; jeśli pewność jest niska, dźwięk trafia do hostowanego ASR. Model językowy tworzy wersję roboczą odpowiedzi; jeśli potrzebuje większego modelu, żądanie jest kierowane na zewnątrz. Phonon wypowiada wynik; jeśli urządzenie jest ograniczane termicznie, przejmuje hostowany TTS. Każdy etap ma opcję lokalną i zdalną, a produkt decyduje, której użyć dla danego żądania.

Warstwa tekstu pomiędzy nimi

Whisper generuje transkrypcję, Phonon przyjmuje skrypt, a coś musi przekształcić jedno w drugie. Tym czymś jest model językowy — i to jedyna część pętli, która zyskuje na dużych rozmiarach.

OrcaRouter nie hostuje żadnego z tych dwóch modeli — Whisper Large v3 Turbo działa w ramach Twojego własnego stosu wnioskowania, a Phonon działa na urządzeniu — więc żaden z nich nie występuje w naszym katalogu. Platforma obejmuje warstwę pośrednią: jedno API do ponad 200 modeli językowych w cenie katalogowej dostawców z 0% marży, automatyczne przełączanie awaryjne między dostawcami oraz DSL routingu, który może kierować tani model do rutynowych zapytań, a mocniejszy do trudnych. W podejściu offline-first właśnie ta warstwa pozostaje online.

Co tak naprawdę porównywać

Jeśli wybierasz model mowy, porównaj Phonon z innymi systemami TTS, a Whisper Turbo z innymi systemami ASR. Jeśli budujesz produkt, porównaj pętle: całkowitą pamięć, całkowite opóźnienie, całkowitą liczbę licencji, całkowitą liczbę języków. Pod tym względem ta para jest spójna w przypadku pracy wyłącznie po angielsku, offline, na licencjach permisywnych, a niespójna w przypadku czegokolwiek wielojęzycznego lub komercyjnego na poziomie 40M.

Błędem, którego należy unikać, jest odczytywanie 0,51% WER Phonona obok 7,83% Whispera i wyciąganie wniosku, że synteza przewyższyła rozpoznawanie. Te liczby powstają w różnych procesach, które mierzą różne rzeczy, a jeden z nich jest mierzony przez drugi. Użyteczne pytanie nie brzmi, który model jest lepszy. Brzmi ono, czy pętla, którą można w tym miesiącu złożyć z otwartych elementów, jest wystarczająco dobra dla produktu, który masz na myśli — a dla języka angielskiego, offline, na laptopie, odpowiedź właśnie się zmieniła.