Ming-3.0-audio-tiny vs Voxtral 4B TTS: jeden to słuchacz z dołączonym głosem, drugi nie ma nic więcej do zaoferowania

Jeśli chcesz generować mowę i nic więcej, to starcie powinno zająć około trzydziestu sekund. Voxtral 4B T​TS to model zamiany tekstu na mowę: tekst na wejściu, dźwięk 24 kHz na wyjściu, dwadzieścia gotowych głosów, dziewięć języków, opublikowana tabela opóźnień i warunki licencji, które uniemożliwiają sprzedaż wyniku. Ming-3.0-audio-tiny to model audio-językowy, który przypadkiem zawiera generator mowy — 1,4 GB Talker przykręcony do 17,74 GB Thinker, z trzema nazwanymi głosami i ścieżką klonowania, umieszczony w repozytorium, którego sekcja oceny ani razu nie mierzy syntezy. Jeśli mowa jest produktem, porównanie kończy się, zanim się zacznie. Udokumentowane awarie AI i incydenty z agentami, stojące za takimi wydaniami jak to, są zbierane w OrcaRouter AI Incident Archive, gdzie każdy wpis ma własne źródła, wagę, stopień pewności i oznaczenie sporu.

Ciekawa wersja tego pytania to ta druga: budujesz coś, co musi rozumieć dźwięk i odpowiadać głosem, i zastanawiasz się, czy kupić jeden model, który robi jedno i drugie, czy podłączyć komponent nasłuchujący do dedykowanego głosu. To tutaj trzydzieści sekund zamienia się w całe popołudnie, ponieważ obie opcje zawodzą w różnych miejscach i tylko jedna z nich wiąże się z liczbą, na której można oprzeć planowanie.

Licencja ma większe znaczenie niż benchmark.

Zacznij od rzeczy, której nie naprawi żadna ewaluacja. Voxtral 4B TTS jest objęty licencją CC BY-NC 4.0 — niekomercyjną — odziedziczoną po zestawach danych głosów referencyjnych, na których zbudowano model: EARS, CML-TTS, IndicVoices-R oraz arabskim zestawie danych z naturalnym dźwiękiem. Mistral wyraźnie stwierdza to na karcie i kieruje użytkowników komercyjnych do swojego API. Zatem wagi są otwarte do badań i użytku osobistego, a ścieżka komercyjna to cennik, a nie pobranie.

Ming-3.0-audio-tiny ma licencję MIT w metadanych karty oraz w pliku LICENSE w repozytorium GitHub, do którego wskazuje. Warto wiedzieć: samo repozytorium Hugging Face nie zawiera pliku LICENSE, a dwa dołączone głosy referencyjne nie mają własnych odrębnych warunków. MIT to tutaj naprawdę permisywne twierdzenie, ale jest to twierdzenie w metadanych, a nie plik w artefakcie, i dział zakupów to zauważy.

• Użycie komercyjne — Ming: tak, MIT, wagi i kod. Voxtral: nie na podstawie wag; API dostawcy jest zatwierdzoną ścieżką.

• Dostępne głosy — Ming: trzy nazwane, z czego dwa dostarczono jako referencyjne pliki WAV z transkrypcjami. Voxtral: dwadzieścia presetów.

• Języki — Ming: chiński i angielski dla całego modelu, bez oddzielnej listy języków Talkera. Voxtral: angielski, francuski, hiszpański, niemiecki, włoski, portugalski, niderlandzki, arabski i hindi.

• Wyjście — Ming: cokolwiek wygeneruje Talker; karta nie określa ani częstotliwości próbkowania, ani kontenera. Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC lub Opus.

• Co uruchamiasz — Ming: Thinker, 17,74 GB, plus 1,4 GB Talker i 1,6 GB VAE na drugim urządzeniu. Voxtral: jeden checkpoint BF16 na jednym GPU z co najmniej 16 GB.

• Opublikowana jakość mowy — Ming: brak. Voxtral: też brak, ale zamiast tego tabela opóźnień i przepustowości, co jest lepsze niż nic.

Ostatni wiersz to uczciwe podsumowanie bazy dowodowej tego porównania. Żaden z dostawców nie opublikował oceny naturalności, wskaźnika podobieństwa mówcy ani współczynnika błędów słów w mowie syntezowanej. Mistral opublikował, jak szybko działa; inclusionAI opublikował, jak dobrze model słucha. Nikt nie opublikował, jak dobrze brzmi którykolwiek z nich.

Co tak naprawdę mówią liczby Mistrala

Tabela Voxtral to benchmark serwowania, a jej poprawne odczytanie ma znaczenie. Pomiar wykonano na pojedynczym układzie NVIDIA H200 z vLLM-Omni 0.18.0, przy wejściu składającym się z 500 znaków i dziesięciosekundowym klipie referencyjnym:

• Współbieżność 1 — opóźnienie 70 ms, współczynnik czasu rzeczywistego 0,103, około 119 znaków na sekundę na GPU.

• Współbieżność 16 — 331 ms, RTF 0,237, około 879 znaków na sekundę.

• Współbieżność 32 — 552 ms, RTF 0,302, około 1431 znaków na sekundę.

Z tego wynikają dwie rzeczy. Po pierwsze, RTF rośnie wraz ze współbieżnością — z 0,103 do 0,302 — więc zysk przepustowości dzięki przetwarzaniu wsadowemu jest realny, ale sublinearny; otrzymujesz około dwunastokrotnie więcej znaków przy około ośmiokrotnie wyższym współczynniku czasu rzeczywistego. Po drugie, 70 ms do pierwszego dźwięku przy współbieżności 1 to liczba, która decyduje o tym, czy agent głosowy sprawia wrażenie żywego, i to liczba, której Ming-3.0-audio-tiny nie ma. Nie gorsza. Żadna.

Mistral określa to wszystko jako nieodtworzone i uruchamiane przez dostawcę, i tak właśnie jest. Ale to przynajmniej twierdzenie z dołączoną metodą: nazwany sprzęt, nazwana wersja środowiska uruchomieniowego, nazwana długość danych wejściowych, nazwana długość referencyjna. Można by odtworzyć stanowisko testowe.

To, na co ścieżka mowy Ming nie potrafi odpowiedzieć

Wyjście głosowe małego modelu opisano na karcie w trzech zdaniach: wbudowane głosy lub głos referencyjny, trzy nazwane głosy, klonowanie z klipu referencyjnego wraz z jego dokładną transkrypcją. Przewodnik wdrożeniowy dodaje szczegół operacyjny — Talker działa jako drugi etap przy 0,18 sekundy na kartę, z limitem jednego tokenu wyjściowego i temperaturą 0,0, ponieważ nie generuje tekstu.

Nigdzie w repozytorium nie ma częstotliwości próbkowania syntezowanego wyjścia, miary naturalności, miary podobieństwa do klipu referencyjnego ani stwierdzenia, czy trzy głosy to ten sam głos w różnych rejestrach, czy rzeczywiście różni mówcy. Obrazy z ewaluacji obejmują rozpoznawanie, inteligencję audio i tekst. Generowanie mowy to jedyna funkcja, którą dostawca reklamuje w swoich wyróżnieniach, a której w ogóle nie ocenia.

To nie skandal, lecz ograniczenie przy planowaniu. Dzięki Voxtral możesz określić rozmiar wdrożenia, zanim je usłyszysz: jedna karta, 16 GB, 119 znaków na sekundę przy współbieżności 1 oraz cennik dla ścieżki komercyjnej. W przypadku Ming określasz sprzęt (dwie karty, druga przy wykorzystaniu 0,18), a następnie dowiadujesz się o głosie, generując coś.

Kiedy połączony model i tak jest właściwą odpowiedzią

Istnieje rzeczywisty argument za Talkerem i nie jest nim „tańszy TTS”. Chodzi o to, że ten sam model usłyszał dźwięk i teraz mówi o nim. Ming-3.0-audio-tiny przyjmuje dźwięk plus instrukcję tekstową i zwraca tekst albo tekst plus mowę. Pytanie o nagranie, z odpowiedzią na głos, w jednym przebiegu, bez transkrypcji serializowanej do drugiego modelu. Żadnego błędu typu „ASR powiedział ‚their’, a TTS odczytał to źle”, ponieważ nie ma drugiego modelu ani pośredniego tekstu, który mógłby ulec zepsuciu.

To ma znaczenie w przypadku odpowiedzi na pytania głosowe, asystenta, który nasłuchuje pomieszczenia i odpowiada, oraz wszędzie tam, gdzie odpowiedź jest zdaniem o czymś, co właśnie usłyszał. Nie ma to znaczenia dla narracji, audiobooków, dubbingu ani żadnych zadań, w których tekst pochodzi skądinąd — a to są dokładnie te zadania, dla których stworzono Voxtral, z dwudziestoma głosami i dziewięcioma językami wobec trzech i dwóch w Ming.

• Ciągłość w ramach tego samego modelu — Ming: tak, jeden przebieg w przód od dźwięku do mowy. Voxtral: tekst na wejściu, więc połowa odpowiadająca za słuchanie musi pochodzić skądinąd.

• Różnorodność głosów — Ming: trzy nazwane głosy plus klonowanie. Voxtral: dwadzieścia presetów plus adaptacja głosu referencyjnego.

• Strumieniowanie — Ming: nie jest oferowane; Talker to scena, a nie strumień. Voxtral: karta reklamuje strumieniowanie i wnioskowanie wsadowe, a demonstracja API samego dostawcy jest implementacją referencyjną.

• Wielojęzyczna mowa — Ming: chiński i angielski. Voxtral: dziewięć języków, z uwzględnieniem dialektów.

• Kształt kosztów — Ming: stały koszt sprzętu, dwie karty, brak licznika za znak. Voxtral: wagi bezpłatne do użytku niekomercyjnego, API rozliczane za znak we wszystkich pozostałych przypadkach.

Co router wnosi do produktu głosowego, a czego nie

OrcaRouter nie udostępnia żadnego z nich. Ming-3.0-audio-tiny to checkpoint, który uruchamiasz, a Voxtral 4B T​TS jest dostępny przez własne API Mistrala; żaden z nich nie znajduje się w naszym katalogu, a ten materiał nie jest ofertą hostowania któregokolwiek z nich. Miejsce routera w produkcie głosowym to tekst, który otacza głos: generowanie skryptu, tłumaczenie go na dziewięć języków obsługiwanych przez Voxtral, pisanie podsumowania tego, co powiedział dzwoniący, decydowanie, czy dany segment wymaga człowieka. To zwykłe wywołania tekstowe — ponad 200 modeli tekstowych za jednym kluczem w cenie z listy dostawcy z doliczoną marżą 0%, z automatycznym przełączaniem awaryjnym, dzięki czemu partia dziesięciu tysięcy klipów nie utknie, ponieważ jednemu z dostawców upstream przytrafiło się złe popołudnie.

To realna oszczędność w procesie dubbingu i błąd zaokrąglenia w demonstracji jednego modelu. Nie dotyczy też kwestii, której dotyczy ten artykuł, czyli tego, czy głos jest w ogóle dobry.

Jak wybrać, nie słysząc wcześniej żadnego z nich

Jeśli produkt dotyczy mowy, wybierz Voxtral i zaplanuj budżet na licencję: uruchom niekomercyjne wagi w celu oceny, a następnie przejdź na API w przypadku wszystkiego, co wdrażasz, według aktualnej stawki za znak. Otrzymujesz tabelę opóźnień, dwadzieścia głosów, dziewięć języków i środowisko uruchomieniowe przetestowane z vLLM-Omni. Zrzekasz się prawa do komercyjnego hostowania na własnych serwerach, co dla wielu zespołów jest właściwą decyzją.

Jeśli produktem jest rozumienie, które czasami mówi, wybierz Ming-3.0-audio-tiny, zaplanuj dwa GPU i traktuj Talker jako funkcję, której nie zmierzono — najpierw zbuduj rozwiązanie awaryjne. Wygeneruj dwadzieścia zdań we wszystkich trzech głosach, posłuchaj i zachowaj możliwość późniejszej podmiany na dedykowany model TTS. Architektura obsługuje tę podmianę bezproblemowo, ponieważ Thinker i tak zwraca tekst; Talker jest dodatkiem, a nie kręgosłupem.

I w obu przypadkach zapiszcie, co zmierzyliście. Żaden z dostawców tego nie zrobił, a pierwszy zespół, który opublikuje wskaźnik naturalności lub podobieństwa dla któregokolwiek z modeli, wyświadczy przysługę całej dziedzinie — w tym dostawcom.

Trzydziesta druga odpowiedź, poprawiona

Krótka wersja na początku tego tekstu mówiła, że porównanie kończy się w trzydzieści sekund. Kończy się w trzydzieści sekund, jeśli mowa jest twoim produktem i jesteś gotów zapłacić za licencję. Trwa dłużej, jeśli budujesz coś, co najpierw słucha, a potem mówi, ponieważ te dwie opcje nie są zamiennikami: jedna to głos bez uszu, druga to uszy z głosem, który nigdy nie został oceniony. Trzydzieści sekund prowadzi cię do pytania. Reszta tekstu to część, w której dowiadujesz się, którego z nich naprawdę potrzebujesz.