Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B: pięć myślników przeciwko strumieniowi z atrybucją mówcy

Otwórz obraz rozpoznawania w repozytorium Ming-3.0-audio-tiny na Hugging Face i przewiń na dół. Pięć wierszy — diaryzacja mówców i konkatenowany błąd minimalnej permutacji dla AISHELL-4, AliMeeting i AMI — mają myślnik w kolumnie tiny. Niezła liczba. Puste pole. Dostawca zmierzył większy model z tej samej rodziny we wszystkich pięciu przypadkach, a małego odmówił zmierzyć. Teraz otwórz kartę modelu VibeVoice-ASR-Streaming 1.5B i przeczytaj pierwszy punkt: transkrybuje na bieżąco, kto co powiedział, w miarę napływania mowy. To te same pięć wierszy, tyle że odwrócone. Jeden model publikuje prawie wszystko poza atrybucją mówców; drugi istnieje głównie po to, by ją publikować. Udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom ważności, ocenę pewności i flagę sporności.

Żaden z nich nie został niezależnie oceniony. Ma to tu mniejsze znaczenie niż zwykle, ponieważ o tym starciu decyduje decyzja projektowa, a nie liczba: co się dzieje, gdy audio nigdy nie przestaje napływać. Ming-3.0-audio-tiny to model plikowy z dużym oknem i opcjonalnym wyjściem mowy. VibeVoice-ASR-Streaming 1.5B to model strumieniowy, który emituje tekst mniej więcej co trzy sekundy i przypisuje każdemu segmentowi mówcę. Jeśli Twoim obciążeniem jest nagranie, konkurują ze sobą. Jeśli Twoim obciążeniem jest pomieszczenie, tylko jeden z nich próbuje.

Ile kosztuje „streaming” w konfiguracji

Repozytorium Microsoftu jest nietypowo przejrzyste w kwestii własnego budżetu opóźnień, dzięki czemu ten kompromis można zweryfikować, a nie traktować wyłącznie jako marketing. Tokenizatory akustyczny i semantyczny są przyczynowe i działają przy 3200× kompresji względem wejścia 24 kHz, więc strumień tokenów to około 7,5 tokenu na sekundę audio. Wrapper strumieniowy grupuje 22 ramki tokenów na fragment z 4 ramkami wyprzedzenia: 22 podzielone przez 7,5 daje około 2,9 sekundy na emisję, a 4 podzielone przez 7,5 to około pół sekundy przyszłego audio, które model może zobaczyć przed zatwierdzeniem.

• Rytm emisji — około 2,9 sekundy; lookahead to element, który zapewnia dokładność kosztem opóźnienia.

• Szkielet — dekoder z rodziny Qwen2, 28 warstw, 1536 wymiarów ukrytych, 12 głowic z 2 głowicami klucz-wartość, okno 64 000 tokenów.

• Rozmiar — trzy shardy safetensors o łącznym rozmiarze 5,63 GB. To nie jest 1,5 mld parametrów; 5,63 GB przy bf16 odpowiada bliżej 2,8 mld, a „1,5B” w nazwie najlepiej rozumieć jako odniesienie do rdzenia językowego, a nie całego stosu.

• Języki — dziesięć: chiński, angielski, francuski, niemiecki, włoski, japoński, koreański, portugalski, rosyjski, hiszpański.

• Dodatki — dostosowane słowa kluczowe przekazywane jako kontekst oraz etykieta mówcy przypisana do każdego wyemitowanego segmentu.

• Datowanie — repozytorium utworzono 2 września 2026 o 15:51 UTC, ostatnia modyfikacja nastąpiła następnego ranka. Ogłoszono je tylko jedną linijką aktualności w README VibeVoice na GitHubie, czyli praktycznie wcale.

To okno 64K to liczba, którą należy zestawić z 131,072 Minga. Brzmi to jak połowa pojemności, ale to nie ten sam rodzaj pojemności. Model strumieniowy nie musi utrzymywać godziny, ponieważ już zapisał ostatnie pięćdziesiąt dziewięć minut. Okno to pamięć robocza dla bieżącego fragmentu oraz wszelkiego kontekstu dialogu, który model przenosi dalej. 131K Minga to przeciwny zakład: utrzymywać wszystko na żywo i rozumować na tej podstawie.

Zakład Minga i co dzięki niemu zyskuje

Atutem tego małego modelu nie jest dokładność rozpoznawania — w tabelach samego inclusionAI jest on o 0,34 punktu za większym bratem w języku chińskim (3,79 wobec 3,45 błędu znakowego) i o 0,89 punktu za nim w przypadku dialektów (10,29 wobec 9,40). Atutem jest to, że jeden checkpoint realizuje rozpoznawanie, rozumienie, wnioskowanie i mowę w tym samym przebiegu w przód, w oknie wystarczająco długim, by „co powiedziała w pierwszych dziesięciu minutach” było pytaniem, które można zadać.

Jego wyniki w zakresie inteligencji audio są przyzwoite jak na ten rozmiar i są powodem, by wybrać go zamiast czystego transkrybera: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, MuchoMusic 58.07 w przypadku muzyki. Wszystkie zostały przeprowadzone przez dostawcę, z gwiazdkami w wierszach samooceny, a karta ujawnia, że modele porównawcze odtworzono przy użyciu własnych promptów i dekodowania inclusionAI. Czytaj je jako brief projektowy.

Czego tabele ci nie powiedzą, to kto mówił. To jest luka, którą wyznacza pięć myślników, i ma ona charakter strukturalny, a nie przypadkowy. Model odpowiadający na pytania dotyczące nagrania nie potrzebuje do tego segmentacji według mówców; model tworzący transkrypcję spotkania już tak. Minga można prawdopodobnie nakierować promptem na coś w rodzaju etykietowania mówców, a wyróżniony punkt na karcie dotyczący „nagrań z wieloma mówcami” sugeruje, że był trenowany blisko tego problemu. Ale „prawdopodobnie” wykonuje pracę pięciu nieopublikowanych wierszy.

Dwa potoki, przedstawione uczciwie

Wyobraź sobie to samo dziewięćdziesięciominutowe nagranie przechodzące przez każdy z nich.

W VibeVoice-ASR-Streaming 1.5B dźwięk dociera w fragmentach trwających około trzech sekund, a tekst wychodzi w tym samym rytmie — każdy segment zawiera informację o mówcy. Można wyświetlać go na żywo. Koszt polega na tym, że każda decyzja jest mniej lub bardziej lokalna: model widział pół sekundy wprzód i tyle kontekstu, ile zdoła utrzymać, więc mówca, który zrobi pauzę na cztery sekundy, może wrócić oznaczony inaczej, a imię wprowadzone w drugiej minucie można odzyskać tylko dzięki mechanizmowi hotwords, który dostarczasz. Spójność między fragmentami to rzecz, którą należy testować, i rzecz, której karta nie kwantyfikuje.

W przypadku Ming-3.0-audio-tiny plik trafia na miejsce, całość jest w kontekście, a odpowiedź pojawia się, kiedy pojawia się. Spójność między fragmentami nie jest ryzykiem, ponieważ nie ma fragmentów — aż do okna. Kosztem jest to, że nic nie jest dostępne, dopóki model nie zakończy pracy, a rezerwacja pamięci jest dostosowana do pełnego okna: referencyjny profil ASR zajmuje 0,92 karty przy partii 32 768 tokenów. Możesz obniżyć max_model_len; nie możesz sprawić, by strumieniował, ponieważ w repozytorium nie ma ścieżki strumieniowania.

• Charakterystyka opóźnienia — VibeVoice: ciągła, ~3 s opóźnienia. Ming: jedna odpowiedź na końcu.

• Atrybucja — VibeVoice: dla każdego segmentu, zgodnie z założeniem. Ming: niepublikowane.

• Kontekst — VibeVoice: okno robocze 64K oraz własny transkrypt. Ming: 131 072 pozycji, w przybliżeniu trzy godziny dźwięku według obliczeń na enkoderze, jeśli procesor dostarcza jeden ciągły strumień.

• Wyjście — VibeVoice: tekst. Ming: tekst lub tekst plus syntetyzowana mowa za pomocą opcjonalnego Talker na drugim GPU.

• Sprzęt — VibeVoice: checkpoint o rozmiarze 5,63 GB, więc wystarczy jedna standardowa karta. Ming: 17,74 GB Thinkera, jedna karta do tekstu, dwie do mowy.

Licencja i dokumentacja są takie same, a to jest nietypowe.

Oba są na licencji MIT. Oba to ciche wydania. Oba udostępniły wagi, zanim dokumentacja nadążyła, i oba opierają się na repozytorium GitHub, które nie nosi nazwy checkpointu: profile wdrożeniowe Minga znajdują się w inclusionAI/Ming-3.0-audio-flash, a instrukcje użycia VibeVoice znajdują się w microsoft/VibeVoice obok modelu 7B.

Różnice tkwią w tym, co mówi każde z repozytoriów. Microsoft dostarcza raport techniczny — arXiv 2609.02812 — oraz rycinę z wynikami w karcie modelu, która jest obrazem, a nie tabelą, więc liczb nie da się wyodrębnić i w tekście nie podano współczynnika błędu dla poszczególnych języków. inclusionAI dostarcza trzy obrazy benchmarków, również obrazy, plus kartę, która swoje słabości wskazuje tylko pośrednio, pozostawiając puste komórki. Żaden z dostawców nie podaje liczby, którą można wkleić do arkusza kalkulacyjnego bez ręcznego przepisywania.

Jedna asymetria jest warta zwrócenia uwagi każdemu, kto zajmuje się zaopatrzeniem: repozytorium Ming na Hugging Face nie zawiera pliku LICENSE, tylko link w metadanych karty do licencji w drugim repozytorium. Karta VibeVoice podaje MIT w metadanych, a repozytorium zawiera plik licencji. Oba stwierdzenia są prawdziwe; tylko jedno znajduje się w artefakcie.

Do czego router służy, a do czego nie — tutaj.

OrcaRouter nie obsługuje żadnego z tych modeli. Ming-3.0-audio-tiny to checkpoint, a VibeVoice-ASR-Streaming 1.5B to checkpoint; żaden z nich nie znajduje się w naszym katalogu i nic w tym tekście nie stanowi oferty ich hostowania. Miejsce routera w takim potoku jest po transkrypcji i przed decyzją: podsumowywanie rozmowy, wyodrębnianie zobowiązań, klasyfikowanie, czy dany segment wymaga człowieka, tłumaczenie części, które nie były w języku roboczym. Te wywołania to tekst, a jeden punkt końcowy dla ponad 200 modeli przy 0% marży — cena katalogowa dostawcy przekazywana bez narzutu, więc zmiana ceny przez dostawcę trafia na naszą stronę tego samego dnia — usuwa z realizacji umowę dla każdego dostawcy. Automatyczne przełączanie awaryjne to konkretna funkcja, która ma znaczenie, gdy dwugodzinne zadanie transkrypcji musi przekazać swoje wyniki do jakiegoś niezawodnego miejsca o 2 w nocy.

Router nie będzie godził dwóch niezgodnych etykiet mówców ani rozstrzygał, czy brakujące wiersze diaryzacji u Minga to rzeczywista słabość, czy coś, czego po prostu nie zmierzono. To zadanie dla twojego własnego audio.

Test, który pozwala ich rozróżnić w jedno popołudnie.

Nagraj dwadzieścia minut z udziałem trzech osób, z których jedna dwa razy przerywa pozostałym, a jedna korzysta z mikrofonu laptopa. Przepuść to przez VibeVoice-ASR-Streaming 1.5B z listą hotwordów wypełnioną trzema imionami, ponieważ to jest mechanizm, który model udostępnia dokładnie do tego. Przepuść ten sam plik przez Ming-3.0-audio-tiny, używając zwalidowanego promptu, który prosi o etykietę języka, tabulator, a następnie transkrypcję — a potem poproś go, w drugiej turze, o przypisanie każdego zdania.

Oceń cztery rzeczy: ile zmian mówcy pierwszy model rozpoznał poprawnie, czy jakakolwiek etykieta mówcy zmieniła się w trakcie nagrania, czy przypisanie mówców przez drugi model było stabilne w całym pliku oraz który wynik mógłbyś szybciej poprawić ręcznie. Ostatnia rzecz nie jest benchmarkiem i lepiej przewidzi Twoje doświadczenie produkcyjne niż dane liczbowe któregokolwiek z dostawców.

Miej przy tym na uwadze myślniki. Dostawca, który publikuje tabelę dialektów z dokładnością do dwóch miejsc po przecinku i pozostawia pięć komórek diaryzacji pustych, powiedział ci coś konkretnego o tym, gdzie kończy się jego pewność siebie. Microsoft ze swojej strony opublikował liczbę zamiast tabeli i pozostawił ci odczytanie obrazka. Ani jeden, ani drugi nie podał liczby, którą sprawdziłaby osoba postronna.

Gdzie tak naprawdę należy każde z nich

Napisy na żywo, monitoring centrów obsługi telefonicznej, asystenci spotkań, którzy potrzebują nazwy przy każdej linii: VibeVoice-ASR-Streaming 1.5B jest stworzony do takiego zastosowania, a przy 5,63 GB działa na sprzęcie, który prawdopodobnie już masz. Przegląd archiwum pod kątem zgodności, „znajdź każdą wzmiankę o ugodzie w tych czterdziestu nagraniach”, cokolwiek, gdzie pytanie pojawia się po nagraniu, a nie w jego trakcie: pojedyncze duże okno Ming-3.0-audio-tiny i jego wyniki rozumienia są lepszym dopasowaniem, a brakujące wiersze diaryzacji przestają mieć znaczenie, jeśli nikt nie pytał, kto mówił.

Błędem byłoby wybrać Ming do zadania strumieniowego, ponieważ 131 072 to dwa razy więcej niż 64 000, albo wybrać VibeVoice do zadania wymagającego rozumowania, ponieważ 1,5B brzmi taniej niż 9,3B. Obie liczby opisują coś innego niż zakłada to zdanie, co jest najpewniejszym ustaleniem, jakie przyniosło to porównanie.