Nemotron 3.5 Transcribe vs Voxtral 3: Tvåpoängsgapet som inte avgör saken

En modell, tre ordningsfelsfrekvenser. Artificial Analysis listar NVIDIA Nemotron 3.5 Transcribe på 3,4 % i sin icke-strömmande tabell; samma sidas FAQ anger 2,8 %. Samtidigt ligger Mistral Voxtral 3 — familjen som levereras som Voxtral Small Transcribe 3 — på 2,1 %, trea på den tabellen och ungefär en halv procentenhet bättre än NVIDIAs bästa publicerade siffra. Tar man 3,4 % ser gapet avgörande ut. Tar man 2,8 % ligger det inom det brusband som indexet har visat mellan olika serveringsändpunkter. Och ser man på delpoängen som täcker konversationsljud, vänds rangordningen.

Två siffror för en modell, och ingen av dem är en lögn

Siffrorna 3,4 % och 2,8 % kommer från samma resultattavla samma dag. De skiljer sig åt eftersom AA-WER v2 beräknas mot ett specifikt utvärderingssegment via en specifik serveringsslutpunkt, och indexet har historiskt sett flyttat sig med nästan en hel procentenhet mellan leverantörer som kör samma checkpoint. NVIDIA:s 2,8 % är det tal som företaget anger i sitt lanseringsmaterial; 3,4 % är vad resultattavlan visar för den slutpunkt som den faktiskt testade. Inget av dem är fabricerat, och inget av dem bör dras från Mistrals 2,1 % som om de två mättes på identisk hårdvara, vid identisk precision, mot identisk ljuddata.

Det gör inte gapet meningslöst. Det gör det till ett intervall: någonstans mellan 0,6 och 1,3 punkter till Voxtrals fördel på batchindexet, där det sanna värdet beror på vilken endpoint man använder. För en kundtjänstimplementering där varje punkt WER kostar minuter av mänsklig granskning är det värt pengarna. För en produkt för mötesanteckningar där en människa ändå skummar igenom resultatet är det inte det.

Var skillnaden faktiskt kommer ifrån

AA-indexet är ett genomsnitt över tre komponenter: VoxPopuli, Earnings-22 och AgentTalk. De två första är uppläst tal och kvartalsrapportsamtal – rent, med en enda talare och välinspelat, den typ av ljud som båda modellerna hanterar väl. AgentTalk är samtalsbaserat och brusigare. På den delen uppges NVIDIAs modell få 1,8 % mot Voxtral Smalls 2,3 %, vilket är en riktig vändning och det mest intressanta talet i jämförelsen.

• VoxPopuli och Earnings-22 — Voxtral Small leder; dessa korpora belönar en modell som är tränad på rent, långformat tal.

• AgentTalk — Nemotron leder, 1,8 % mot 2,3 %, på samtalsljudet som liknar ett verkligt supportsamtal eller ett möte med överlappande tal.

• Övergripande index — Voxtral Small på 2,1 %, Nemotron mellan 2,8 % och 3,4 %. Komponenterna för ren tal har tillräcklig vikt för att ge den ordningen.

Det mönstret stämmer överens med de två arkitekturerna. Voxtral Small är en transkriberingsmodell som tränats att vara utmärkt på att transkribera; NVIDIAs checkpoint är en språkmodell med en talencoder fastskruvad framtill, och språkmodeller tenderar att prestera bättre när ljudet är rörigt och kontexten är samtalsmässig. Det förklarar också varför NVIDIAs största påstådda vinster inte alls handlar om ren WER: 15,80 i genomsnittlig cpWER vid överlappande tal med talarattribuering, och ett WER för namngivna entiteter som sjunker från 12,21 % till 2,20 % när man tillhandahåller en entitetslista.

Leverantörstabellerna överlappar inte heller.

Mistral publicerar FLEURS-45:s makro-genomsnittliga WER: 4,1 % för tvingat språk och 4,0 % för infererat för Voxtral Small Transcribe 3, mot 4,6 % för dess 4B Mini-syskon och 16,0 % för Whisper large-v3. NVIDIA publicerar Open ASR Leaderboard: 4,71 % i genomsnitt över nio engelska set och 4,62 % över sju flerspråkiga set. Båda är leverantörsdrivna testramverk på olika korpora med olika normalisering, och de nästan identiska värdena är en slump, inte en direkt jämförelse. Den som presenterar 4,0 mot 4,62 som en vinst på 0,6 punkter jämför ett FLEURS-resultat med ett Open ASR-resultat.

Diariseringssiffrorna har samma problem fast omvänt. Mistral rapporterar 18,4 % sammanfogad WER med minsta permutation på AMI, Switchboard, CallHome och AISHELL-4. NVIDIA rapporterar 15,80 i genomsnittlig cpWER på sin egen datauppsättning med flera talare. NVIDIA:s siffra är lägre och deras datauppsättning är en annan; utan en gemensam korpus är det enda försvarbara påståendet att båda företagen menar att de överträffar de specialiserade kaskadlösningar som de testade mot, och att ingen av dem har publicerat en körning på den andras data.

Vad Voxtral 3 gör som Nemotron inte kan

Mistrals lansering är en familj, inte en checkpoint, och familjen täcker områden som NVIDIAs enda offline-modell inte gör.

• Språkbredd — Voxtral Small Transcribe 3 täcker 50+ språk, inklusive alla 24 officiella EU-språk; NVIDIA täcker 40, med talaretiketter på 13.

Realtid – Voxtral Mini Transcribe Realtime 3 strömmar med under 500 ms latens för $0.008 per minut, med 7,4 % WER vid 240 ms fördröjning och 5,7 % vid 2 400 ms. NVIDIA har inget streamingläge för denna checkpoint oavsett pris.

• Röstagenter – Voxtral 3-lanseringen levererade ett LiveKit-baserat Voice Agent SDK som kedjar samman transkribering, en resonemangsmodell med verktygsanrop och talgenerering, med barge-in och SIP-telefoni. Det är en hel produktkategori som NVIDIAs checkpoint inte täcker.

• Driftmässig enkelhet – prissättning per minut, ingen GPU, ingen serving-stack, EU-, USA- och globala slutpunkter. För ett team utan infrastruktur är det skillnaden mellan en tvådagarsintegration och en tvåmånadersintegration.

• Kontextbiasering – 94,6 % återkallelse av nyckelfraser med kontext jämfört med 81,4 % utan, på Earnings-22. Jämförbar till sin anda med NVIDIAs mekanism för entitetslistor, mätt på ett annat korpus.

Vad Nemotron kan göra som Voxtral 3 inte kan

Den omvända listan är kortare men tyngre för rätt köpare.

• Öppna vikter – OpenMDW-1.1, kommersiell användning tillåten, publicerade i BF16, FP8, NVFP4 och GGUF. Mistrals sida erbjuder API-åtkomst och ”självdriftsättning i din egen infrastruktur” via Mistral, och vid publiceringstillfället publicerar inga vikter, ingen licens och ingen checkpoint. Om ditt regelefterlevnadsteam behöver granska artefakten finns bara en av dessa att granska.

• En timme i ett enda genomlopp – 65 536 tokens kontext och inspelningar på upp till en timme. Mistral publicerar inte någon maximal inspelningslängd eller något kontextfönster för Voxtral 3, vilket i sig är ett skäl att testa innan man satsar på ett långformsarbetsflöde.

Översättning – 31 språk i båda riktningarna till och från engelska. Voxtral 3:s lanseringssida dokumenterar transkribering, diarisering och kontextbiasering; den dokumenterar inte en talöversättningsuppgift på samma sätt som NVIDIAs checkpoint gör.

• Promptbar utdata – fem transkriptionsstilar som väljs via instruktion, i stället för ett format plus efterbearbetning.

• Ljudförståelse – frågor och svar samt följande av talade instruktioner över inspelningen. Endast engelska på denna checkpoint, och inte dokumenterat någonstans i lanseringsmaterialet för Voxtral 3.

Kostnadsjämförelsen är inte ens nära, och det är själva poängen.

Voxtral Small Transcribe 3 kostar 0,0040 USD per minut, eller 0,24 USD per ljudtimme. 4B Mini kostar 0,0035 USD, eller 0,21 USD per timme. NVIDIA:s pris för värdtjänst är 2,00 USD per 1 000 minuter, eller 0,12 USD per timme. Egen drift är en helt annan kalkyl: med NVIDIA:s uppgivna 2 238 sekunder ljud per sekund på ett RTX PRO 6000 Blackwell tar tusen timmar ljud – 3,6 miljoner sekunder – cirka 27 minuter GPU-tid. Även vid halva den genomströmningen, vilket är vad NVIDIA säger att integreringen med öppen källkod levererar, är det under en timme.

• 1 000 timmar per månad – Voxtral Small $240, Voxtral Mini $210, Nemotron hostad $120, Nemotron självhostad cirka $2 i GPU-tid till en uthyrningstaxa på $2/timme, plus drift.

• 10 000 timmar per månad — 2 400, 2 100, 1 200 dollar och cirka 20 dollar för GPU-tid respektive.

• Haken: det självhostade alternativet förutsätter att du redan har GPU:n, serveringsstacken och någon som kan hålla den igång. Ett enda RTX PRO 6000 är ett kapitalköp i femsiffrigt belopp; vid 1 000 timmar i månaden hinner du inte amortisera investeringen innan nästa generation lanseras. Vid 10 000 timmar återbetalar den sig på några månader.

• Den andra haken – de där genomströmningssiffrorna beror på NVFP4 plus DFlash2-utkastmodellen, och den kombinationen gör att ordtidsstämplar inte fungerar. Om du behöver justering kör du en långsammare konfiguration än den i marknadsföringstabellen.

Prisargumentet delar sig alltså efter volym och efter huruvida ljudet får lämna ditt nätverk. Mistrals minutpris är billigt nog att de flesta team som ligger under några hundra timmar i månaden inte alls bör tänka på GPU:er. Över tiotusen timmar blir egen hosting av en öppen checkpoint det billigare alternativet med en hel storleksordning, och den operativa bördan är den enda verkliga frågan.

Det femtio timmar långa testet

Varje siffra ovan är någon annans ljud. Innan du väljer någon av modellerna för en produktionsväg bör du transkribera femtio timmar av dina egna inspelningar med båda och poängsätta dem så som dina användare kommer att göra: namngivna entiteter korrekt, talarbyten korrekt, siffror och valutabelopp korrekt samt de specifika accenter som dina kunder har. AA-indexet kommer inte att säga dig vilken modell som hanterar ett callcenter i Glasgow bättre, och inte heller någon av leverantörernas testramverk.

Det testet är också där en router är användbar för något annat än kostnad. OrcaRouter lägger de nedströms textanropen – sammanfattning, entitetsextrahering, redigering, översättning av den färdiga transkriptionen – bakom en enda nyckel med 0 % påslag, leverantörens listpris vidarebefordrat, automatisk redundans mellan leverantörer, och en routing-DSL som kan skicka olika steg till olika modeller i ett och samma arbetsflöde. Varken Nemotron 3.5 Transcribe eller Voxtral 3 finns i OrcaRouters katalog, så routern hjälper dig inte att anropa dem; den hjälper dig att bearbeta det de returnerar utan att etablera en andra leverantörsrelation för textlagret.

Domen beror på vilken mening som beskriver ditt problem. Om det är "vi behöver korrekt transkribering på femtio språk, vi vill inte äga en GPU och latensen är viktig", är Voxtral Small Transcribe 3 den bättre produkten, och 2,1 % är ett verkligt skäl. Om det är "vi behöver talarattribuerade transkript från timslånga möten, översättning och en artefakt som vårt compliance-team kan granska", är Nemotron 3.5 Transcribe det enda alternativet på den här listan som uppfyller alla tre, och en WER-punkt på rent uppläst tal är priset för det. Om det är "vi behöver båda", är det ärliga svaret att de inte är substitut, och de team som får mest ut av den här generationen kör den ena för ljud i realtid och den andra för arkivet.