Nemotron 3.5 Transcribe kontra Voxtral 3: dwupunktowa różnica, która nie rozstrzyga sprawy

Jeden model, trzy wartości współczynnika błędów słów. Artificial Analysis podaje NVIDIA Nemotron 3.5 Transcribe na poziomie 3,4% w swoim rankingu dla trybu niebędącego strumieniowaniem; FAQ na tej samej stronie opisuje go jako 2,8%. Tymczasem Mistral Voxtral 3 — rodzina oferowana jako Voxtral Small Transcribe 3 — plasuje się na poziomie 2,1%, zajmując trzecie miejsce w tym rankingu i mając około pół punktu przewagi nad najlepszym opublikowanym wynikiem NVIDIA. Jeśli przyjmiesz 3,4%, różnica wydaje się rozstrzygająca. Jeśli przyjmiesz 2,8%, mieści się to w paśmie szumu, jaki ten indeks wykazywał w różnych punktach końcowych usług. A jeśli spojrzysz na wynik cząstkowy dotyczący audio konwersacyjnego, ranking się odwraca.

Dwie liczby dla jednego modelu i żadna z nich nie jest kłamstwem

Liczby 3,4% i 2,8% pochodzą z tego samego rankingu i z tego samego dnia. Różnią się, ponieważ AA-WER v2 jest obliczany względem konkretnego wycinka ewaluacyjnego przez konkretny punkt końcowy obsługi modelu, a wskaźnik historycznie zmieniał się o blisko pełny punkt procentowy między dostawcami uruchamiającymi ten sam checkpoint. 2,8% NVIDIA to liczba, którą firma podaje w materiałach premierowych; 3,4% to wartość, jaką ranking pokazuje dla punktu końcowego, który faktycznie przetestowano. Żadna z tych liczb nie jest zmyślona i żadnej nie należy odejmować od 2,1% Mistrala tak, jakby obie zmierzono na identycznym sprzęcie, z identyczną precyzją i względem identycznego materiału audio.

To nie sprawia, że ta różnica jest bez znaczenia. Sprawia, że staje się zakresem: gdzieś między 0,6 a 1,3 punktu na korzyść Voxtral na indeksie wsadowym, przy czym rzeczywista wartość zależy od tego, którego punktu końcowego użyjesz. W przypadku wdrożenia do obsługi klienta, gdzie każdy punkt WER kosztuje minuty ludzkiej weryfikacji, jest to warte pieniędzy. W produkcie do notatek ze spotkań, w którym człowiek i tak tylko rzuca okiem na wynik, już nie.

Skąd tak naprawdę wynika różnica

Indeks AA to średnia z trzech komponentów: VoxPopuli, Earnings-22 i AgentTalk. Pierwsze dwa to mowa czytana i rozmowy o wynikach finansowych — czyste, z jednym mówcą, dobrze zarejestrowane, czyli audio, z którym oba modele radzą sobie dobrze. AgentTalk jest konwersacyjny i bardziej hałaśliwy. W tym fragmencie model NVIDIA osiąga podobno 1,8% wobec 2,3% u Voxtral Small, co stanowi prawdziwy zwrot i najciekawszą liczbę w tym porównaniu.

• VoxPopuli i Earnings-22 — Voxtral Small prowadzi; te korpusy sprzyjają modelowi dostrojonemu do czystej mowy o długiej formie.

• AgentTalk — Nemotron prowadzi, osiągając 1,8% wobec 2,3%, na konwersacyjnym audio przypominającym rzeczywistą rozmowę ze wsparciem lub spotkanie z nakładającymi się głosami.

• Ogólny wskaźnik — Voxtral Small na poziomie 2,1%, Nemotron między 2,8% a 3,4%. Komponenty dotyczące czystej mowy mają wystarczającą wagę, by uzyskać taką kolejność.

Ten wzorzec jest zgodny z obiema architekturami. Voxtral Small to model transkrypcji wyszkolony tak, by być doskonały w transkrybowaniu; checkpoint NVIDIA to model językowy z doczepionym z przodu enkoderem mowy, a modele językowe zwykle radzą sobie lepiej, gdy dźwięk jest niestaranny, a kontekst ma charakter konwersacyjny. To także wyjaśnia, dlaczego największe deklarowane sukcesy NVIDIA nie dotyczą wcale czystego WER: 15,80 średniego cpWER w przypadku nakładającej się mowy z atrybucją mówcy oraz WER nazwanych encji, który spada z 12,21% do 2,20%, gdy dostarczy się listę encji.

Tabele dostawców również się nie pokrywają

Mistral publikuje makrośredni WER dla FLEURS-45: 4,1% dla języka wymuszonego i 4,0% dla języka wnioskowanego dla Voxtral Small Transcribe 3, wobec 4,6% dla pokrewnego modelu 4B Mini i 16,0% dla Whisper large-v3. NVIDIA publikuje Open ASR Leaderboard: średnia 4,71% na dziewięciu zestawach angielskich i 4,62% na siedmiu zestawach wielojęzycznych. W obu przypadkach są to narzędzia testowe dostawców, oparte na różnych korpusach i różnej normalizacji, a niemal identyczne wartości to zbieg okoliczności, a nie bezpośrednie porównanie. Każdy, kto przedstawia 4,0 w zestawieniu z 4,62 jako przewagę 0,6 punktu, porównuje wynik FLEURS z wynikiem Open ASR.

Liczby dotyczące diaryzacji mają ten sam problem w odwrotnym kierunku. Mistral podaje 18,4% WER po konkatenacji z minimalną permutacją na AMI, Switchboard, CallHome i AISHELL-4. NVIDIA podaje średni cpWER 15,80 na własnym zestawie wielu mówców. Liczba NVIDII jest niższa, a jej zestaw jest inny; bez wspólnego korpusu jedynym możliwym do obrony stwierdzeniem jest, że obie firmy uważają, iż biją wyspecjalizowane kaskady, przeciw którym testowały, i żadna nie opublikowała wyników na danych drugiej.

Co potrafi Voxtral 3, czego nie potrafi Nemotron

Wydanie Mistrala to rodzina, a nie pojedynczy checkpoint, i ta rodzina obejmuje zakres, którego pojedynczy model offline NVIDIA nie obejmuje.

• Szeroki zakres językowy — Voxtral Small Transcribe 3 obsługuje ponad 50 języków, w tym wszystkie 24 języki urzędowe UE; NVIDIA obsługuje 40, a etykiety mówców — 13.

• Czas rzeczywisty — Voxtral Mini Transcribe Realtime 3 strumieniuje z opóźnieniem poniżej 500 ms w cenie 0,008 USD za minutę, z WER wynoszącym 7,4% przy opóźnieniu 240 ms i 5,7% przy 2 400 ms. NVIDIA nie oferuje trybu strumieniowego dla tego checkpointu za żadną cenę.

• Agenci głosowi — wraz z premierą Voxtral 3 wydano oparty na LiveKit Voice Agent SDK, który łączy transkrypcję, model rozumowania z wywołaniami narzędzi i generowanie mowy, a także obsługuje barge-in oraz telefonię SIP. To cała kategoria produktów, której checkpoint NVIDIA nie obejmuje.

• Prostota operacyjna — rozliczanie za minutę, brak GPU, brak stosu serwowania, punkty końcowe w UE, USA i globalne. Dla zespołu bez infrastruktury to różnica między dwudniową a dwumiesięczną integracją.

• Uwzględnianie kontekstu — 94,6% przywołania kluczowych fraz z kontekstem w porównaniu z 81,4% bez kontekstu, na zbiorze Earnings-22. Porównywalne w charakterze do mechanizmu listy encji NVIDIA, zmierzone na innym korpusie.

Co Nemotron robi, czego Voxtral 3 nie potrafi

Lista odwrotna jest krótsza, ale dla właściwego nabywcy ma większą wagę.

• Otwarte wagi — OpenMDW-1.1, dozwolone użycie komercyjne, udostępnione w formatach BF16, FP8, NVFP4 i GGUF. Strona Mistral oferuje dostęp do API oraz „samodzielne wdrażanie we własnej infrastrukturze” za pośrednictwem Mistral, a na moment publikacji nie udostępnia żadnych wag, licencji ani checkpointu. Jeśli zespół ds. zgodności musi przeprowadzić audyt artefaktu, tylko jeden z nich można poddać audytowi.

• Jednogodzinne pojedyncze przejście — 65,536 tokenów kontekstu i nagrania o długości do godziny. Mistral nie publikuje maksymalnej długości nagrania ani rozmiaru okna kontekstu dla Voxtral 3, co samo w sobie jest powodem, by przeprowadzić testy przed wdrożeniem długiego przepływu pracy.

Tłumaczenie — 31 języków w obu kierunkach, do i z angielskiego. Strona premierowa Voxtral 3 dokumentuje transkrypcję, diaryzację i ukierunkowywanie kontekstowe; nie dokumentuje zadania tłumaczenia mowy w sposób, w jaki robi to checkpoint NVIDIA.

• Dane wyjściowe sterowane poleceniem — pięć stylów transkrypcji wybieranych za pomocą instrukcji, zamiast jednego formatu i przetwarzania końcowego.

• Rozumienie dźwięku — odpowiadanie na pytania i realizowanie poleceń mówionych na nagraniu. Ten checkpoint obsługuje wyłącznie język angielski i nie został udokumentowany w żadnych materiałach premierowych Voxtral 3.

Porównanie kosztów nie jest nawet bliskie — i właśnie o to chodzi.

Voxtral Small Transcribe 3 kosztuje 0,0040 USD za minutę, czyli 0,24 USD za godzinę audio. Model 4B Mini kosztuje 0,0035 USD, czyli 0,21 USD za godzinę. Oferta hostowana NVIDIA to 2,00 USD za 1000 minut, czyli 0,12 USD za godzinę. Samodzielne hostowanie to zupełnie inna arytmetyka: przy deklarowanych przez NVIDIA 2238 sekundach audio na sekundę na jednym RTX PRO 6000 Blackwell tysiąc godzin audio — 3,6 mln sekund — zajmuje około 27 minut czasu GPU. Nawet przy połowie tej przepustowości, którą według NVIDIA zapewnia integracja open source, to niecała godzina.

• 1000 godzin miesięcznie — Voxtral Small 240 USD, Voxtral Mini 210 USD, Nemotron w hostingu 120 USD, Nemotron z własnym hostingiem około 2 USD za czas GPU przy stawce wynajmu 2 USD/godzinę, plus koszty operacyjne.

• 10 000 godzin miesięcznie — odpowiednio $2,400, $2,100, $1,200 i około $20 za czas GPU.

• Haczyk — wariant self-hosted zakłada, że masz już GPU, stos serwujący i kogoś, kto utrzyma go w ruchu. Pojedynczy RTX PRO 6000 to zakup kapitałowy w pięciocyfrowej kwocie; przy 1000 godzin pracy miesięcznie nie zamortyzujesz go przed premierą następnej generacji. Przy 10 000 godzin zwraca się w kilka miesięcy.

• Drugi haczyk — te wartości przepustowości zależą od NVFP4 oraz modelu draft DFlash2, a ta kombinacja wyłącza znaczniki czasu słów. Jeśli potrzebujesz wyrównania, korzystasz z wolniejszej konfiguracji niż ta z tabeli marketingowej.

Zatem kwestia ceny rozbija się na wolumen oraz na to, czy dźwięk może opuścić twoją sieć. Stawka Mistrala za minutę jest na tyle niska, że większość zespołów poniżej kilkuset godzin miesięcznie nie powinna w ogóle myśleć o GPU. Powyżej dziesięciu tysięcy godzin samodzielne hostowanie otwartego checkpointu staje się tańszą opcją o rząd wielkości, a obciążenie operacyjne to jedyne realne pytanie.

Pięćdziesięciogodzinny test

Każda liczba powyżej to czyjeś audio. Zanim skierujesz którykolwiek z tych modeli na ścieżkę produkcyjną, przetranskrybuj przy użyciu obu pięćdziesiąt godzin własnych nagrań i oceń je tak, jak ocenią je Twoi użytkownicy: pod kątem poprawności nazwanych encji, poprawności podziału na mówców, poprawności liczb i kwot walutowych oraz charakterystycznych akcentów Twoich klientów. AA index nie powie Ci, który model lepiej radzi sobie z centrum obsługi w Glasgow, a środowisko testowe żadnego z dostawców też nie.

W tym teście widać również, że router przydaje się do czegoś innego niż tylko koszty. OrcaRouter umieszcza wywołania tekstowe w dalszych etapach — podsumowywanie, ekstrakcję encji, redakcję, tłumaczenie gotowej transkrypcji — za jednym kluczem z 0% narzutu, z przekazywaną ceną listową dostawcy, automatycznym przełączaniem awaryjnym między dostawcami, a także DSL routingu, który pozwala kierować różne etapy do różnych modeli w jednym przepływie pracy. Ani Nemotron 3.5 Transcribe, ani Voxtral 3 nie znajdują się w katalogu OrcaRouter, więc router nie pomaga w ich wywoływaniu; pomaga przetwarzać to, co zwracają, bez tworzenia drugiej relacji z dostawcą dla warstwy tekstowej.

Werdykt zależy od tego, które zdanie opisuje twój problem. Jeśli brzmi ono: „potrzebujemy dokładnej transkrypcji w pięćdziesięciu językach, nie chcemy posiadać GPU i liczy się opóźnienie”, Voxtral Small Transcribe 3 jest lepszym produktem, a 2,1% to realny powód. Jeśli brzmi: „potrzebujemy transkrypcji godzinnych spotkań z atrybucją mówców, tłumaczenia oraz artefaktu, który zespół ds. zgodności może skontrolować”, Nemotron 3.5 Transcribe jest jedyną opcją na tej liście, która spełnia wszystkie trzy warunki, a punkt WER na czystej czytanej mowie jest tego ceną. Jeśli brzmi: „potrzebujemy obu”, szczera odpowiedź jest taka, że nie są one substytutami, a zespoły, które najlepiej wykorzystują tę generację, stosują jeden do dźwięku na żywo, a drugi do archiwum.