Nemotron 3.5 Transcribe vs Voxtral 3: de kloof van twee punten die niets beslist

Eén model, drie woordfoutpercentages. Artificial Analysis vermeldt NVIDIA Nemotron 3.5 Transcribe met 3,4% op zijn niet-streaming ranglijst; de FAQ op dezelfde pagina noemt het op 2,8%. Tegelijkertijd Mistral Voxtral 3 — de familie die wordt uitgebracht als Voxtral Small Transcribe 3 — staat op 2,1%, derde op die ranglijst en ongeveer een half punt beter dan het beste gepubliceerde cijfer van NVIDIA. Als je uitgaat van 3,4%, lijkt de kloof doorslaggevend. Als je uitgaat van 2,8%, valt het binnen de ruisband die deze index bij de verschillende serving-eindpunten heeft laten zien. En als je kijkt naar de subscore die conversationele audio omvat, keert de rangorde om.

Twee cijfers voor één model, en geen van beide is een leugen.

De 3,4% en de 2,8% komen van dezelfde ranglijst op dezelfde dag. Ze verschillen omdat AA-WER v2 wordt berekend tegen een specifieke evaluatieslice via een specifiek serving-endpoint, en de index is historisch bijna een vol punt verschoven tussen providers die dezelfde checkpoint draaien. De 2,8% van NVIDIA is het getal dat het bedrijf in zijn introductiemateriaal noemt; de 3,4% is wat het scorebord toont voor het endpoint dat het daadwerkelijk heeft getest. Geen van beide is verzonnen, en geen van beide mag van de 2,1% van Mistral worden afgetrokken alsof de twee op identieke hardware, met identieke precisie, tegen identieke audio zijn gemeten.

Dat maakt het verschil niet zinloos. Het maakt er een bereik van: ergens tussen 0,6 en 1,3 punten in het voordeel van Voxtral op de batchindex, waarbij de werkelijke waarde afhangt van welk endpoint je gebruikt. Voor een implementatie in de klantenservice, waar elk punt WER minuten menselijke beoordeling kost, is dat geld waard. Voor een product voor vergadernotities, waar een mens de output sowieso snel doorleest, is dat niet het geval.

Waar het verschil eigenlijk vandaan komt

De AA-index is een gemiddelde over drie componenten: VoxPopuli, Earnings-22 en AgentTalk. De eerste twee zijn voorgelezen spraak en earnings calls — schoon, met één spreker, goed opgenomen, het soort audio dat beide modellen goed aankunnen. AgentTalk is conversationeel en ruisiger. Op dat segment scoort NVIDIA's model volgens rapporten 1,8% tegenover 2,3% voor Voxtral Small, wat een echte ommekeer is en het interessantste getal in de vergelijking.

• VoxPopuli en Earnings-22 — Voxtral Small leidt; deze corpora belonen een model dat is getraind op schone langdurige spraak.

• AgentTalk — Nemotron leidt, 1,8% tegen 2,3%, op de gespreksaudio die een echt supportgesprek of een vergadering met overspraak nabootst.

• Algemene index — Voxtral Small op 2,1%, Nemotron tussen 2,8% en 3,4%. De componenten voor heldere spraak wegen zwaar genoeg om die rangorde te produceren.

Dat patroon past bij de twee architecturen. Voxtral Small is een transcriptiemodel dat is getraind om uitstekend te transcriberen; de checkpoint van NVIDIA is een taalmodel met een spraakencoder aan de voorkant vastgeschroefd, en taalmodellen doen het doorgaans beter wanneer de audio rommelig is en de context conversationeel is. Het verklaart ook waarom de grootste geclaimde successen van NVIDIA helemaal niet op schone WER liggen: 15,80 gemiddelde cpWER op overlappende spraak met sprekerattributie, en een WER voor benoemde entiteiten die van 12,21% naar 2,20% daalt wanneer je een entiteitenlijst opgeeft.

De leverancierstabellen overlappen ook niet.

Mistral publiceert een macro-gemiddelde WER op FLEURS-45: 4,1% forced-language en 4,0% inferred voor Voxtral Small Transcribe 3, tegenover 4,6% voor zijn 4B Mini-broertje en 16,0% voor Whisper large-v3. NVIDIA publiceert de Open ASR Leaderboard: 4,71% gemiddeld over negen Engelse sets en 4,62% over zeven meertalige sets. Beide zijn door leveranciers uitgevoerde testopstellingen op verschillende corpora met verschillende normalisatie, en de bijna identieke waarden zijn toeval, geen directe vergelijking. Wie 4,0 tegenover 4,62 presenteert als een overwinning van 0,6 punt, vergelijkt een FLEURS-score met een Open ASR-score.

De diarisatiecijfers hebben hetzelfde probleem, maar dan omgekeerd. Mistral meldt 18,4% geconcateneerde minimum-permutatie-WER op AMI, Switchboard, CallHome en AISHELL-4. NVIDIA meldt een gemiddelde cpWER van 15,80 op zijn eigen set met meerdere sprekers. Het getal van NVIDIA is lager en zijn set is anders; zonder een gedeeld corpus is de enige verdedigbare uitspraak dat beide bedrijven menen dat ze de gespecialiseerde cascades waartegen ze testten, hebben overtroffen, en dat geen van beide een run op de gegevens van de ander heeft gepubliceerd.

Wat Voxtral 3 doet wat Nemotron niet kan

De release van Mistral is een familie, geen checkpoint, en de familie dekt terrein dat het enkele offline model van NVIDIA niet dekt.

• Taalbereik — Voxtral Small Transcribe 3 ondersteunt meer dan 50 talen, waaronder alle 24 officiële EU-talen; NVIDIA ondersteunt er 40, met sprekerlabels voor 13 daarvan.

• Realtime — Voxtral Mini Transcribe Realtime 3 streamt met een latentie van minder dan 500 ms voor $0,008 per minuut, met 7,4% WER bij een vertraging van 240 ms en 5,7% bij 2.400 ms. NVIDIA heeft voor dit checkpoint geen streamingmodus, ongeacht de prijs.

• Spraakagenten — bij de lancering van Voxtral 3 verscheen een op LiveKit gebaseerde Voice Agent SDK die transcriptie, een redeneermodel met tool calls en spraakgeneratie aan elkaar koppelt, met barge-in en SIP-telefonie. Dat is een volledige productcategorie die de checkpoint van NVIDIA niet aanspreekt.

• Operationele eenvoud — prijs per minuut, geen GPU, geen serving-stack, EU-, US- en wereldwijde endpoints. Voor een team zonder infrastructuur is dat het verschil tussen een integratie van twee dagen en een van twee maanden.

• Context-biasing — 94,6% keyphrase-recall met context tegenover 81,4% zonder, op Earnings-22. Vergelijkbaar in de geest met NVIDIA's mechanisme met entiteitenlijst, gemeten op een ander corpus.

Wat Nemotron doet wat Voxtral 3 niet kan

De omgekeerde lijst is korter, maar zwaarder voor de juiste koper.

• Open gewichten — OpenMDW-1.1, commercieel gebruik toegestaan, gepubliceerd in BF16, FP8, NVFP4 en GGUF. De pagina van Mistral biedt API-toegang en "self-deployment op uw eigen infrastructuur" via Mistral, en publiceert bij publicatie geen gewichten, geen licentie en geen checkpoint. Als uw compliance-team het artefact moet auditen, bestaat er maar één van deze om te auditen.

• Eén uur in één doorgang — 65.536 tokens context en opnames tot een uur. Mistral publiceert geen maximale opnamelengte of contextvenster voor Voxtral 3, wat op zich al een reden is om te testen voordat je je op een langdurige workflow vastlegt.

• Vertaling — 31 talen in beide richtingen naar en van het Engels. De lanceringspagina van Voxtral 3 documenteert transcriptie, diarisatie en contextbiasing; het documenteert geen spraakvertalingstaak zoals de checkpoint van NVIDIA dat doet.

• Promptbare output — vijf transcriptstijlen die via een instructie worden geselecteerd, in plaats van één formaat plus nabewerking.

• Audioverwerking — vragen beantwoorden en gesproken instructies volgen over de opname. Uitsluitend Engels op dit checkpoint, en nergens gedocumenteerd in de lanceermaterialen van Voxtral 3.

De kostenvergelijking is allesbehalve een nek-aan-nekrace, en dat is precies het punt.

Voxtral Small Transcribe 3 kost $0,0040 per minuut, of $0,24 per audiouur. De 4B Mini kost $0,0035, of $0,21 per uur. De gehoste aanbieding van NVIDIA kost $2,00 per 1.000 minuten, of $0,12 per uur. Zelf hosten is een heel andere rekensom: bij de door NVIDIA geclaimde 2.238 seconden audio per seconde op één RTX PRO 6000 Blackwell kost duizend uur audio — 3,6 miljoen seconden — ongeveer 27 minuten GPU-tijd. Zelfs bij de helft van die doorvoer, wat volgens NVIDIA de opensource-integratie levert, duurt dat minder dan een uur.

• 1.000 uur per maand — Voxtral Small $240, Voxtral Mini $210, Nemotron gehost $120, Nemotron zelf gehost ongeveer $2 aan GPU-tijd bij een huurtarief van $2 per uur, plus operationele kosten.

• 10.000 uur per maand — respectievelijk $2.400, $2.100, $1.200 en ongeveer $20 aan GPU-tijd.

• De addertje onder het gras: de self-hosted aanpak gaat ervan uit dat je al over de GPU, de servingstack en iemand die het draaiend houdt beschikt. Een enkele RTX PRO 6000 is een kapitaalaankoop van vijf cijfers; bij 1.000 uur per maand schrijf je die niet af voordat de volgende generatie op de markt komt. Bij 10.000 uur verdient hij zich binnen enkele maanden terug.

• Het andere addertje onder het gras — die doorvoercijfers hangen af van NVFP4 plus het DFlash2-draftmodel, en die combinatie schakelt woordtijdstempels uit. Als je alignment nodig hebt, gebruik je een langzamere configuratie dan de configuratie in de marketingtabel.

Dus het prijsargument valt uiteen naar volume en naar de vraag of de audio je netwerk mag verlassen. Mistrals tarief per minuut is laag genoeg dat de meeste teams onder een paar honderd uur per maand überhaupt niet aan GPU's moeten denken. Boven de tienduizend uur wordt zelfhosting van een open checkpoint met een orde van grootte de goedkopere optie, en de operationele belasting is de enige echte vraag.

De vijftig uur durende test

Elk getal hierboven is het audio van iemand anders. Voordat u een van beide modellen in een productieomgeving inzet, transcribeert u vijftig uur van uw eigen opnames met beide en beoordeelt u ze zoals uw gebruikers dat zullen doen: benoemde entiteiten correct, sprekerbeurten correct, getallen en valutabedragen correct, en de specifieke accenten die uw klanten hebben. De AA index vertelt u niet welk model een callcenter in Glasgow beter verwerkt, en de harness van geen van beide leveranciers doet dat ook niet.

Die test is ook waar een router nuttig is voor iets anders dan kosten. OrcaRouter zet de downstream-tekstaanroepen — samenvatten, entiteitsextractie, redactie, vertaling van het voltooide transcript — achter één sleutel met 0% opslag, de leverancierslijstprijs wordt doorgegeven, automatische failover tussen leveranciers, en een routing-DSL die verschillende fasen naar verschillende modellen kan sturen binnen één workflow. Noch Nemotron 3.5 Transcribe noch Voxtral 3 staat in de catalogus van OrcaRouter, dus de router helpt je niet om ze aan te roepen; hij helpt je verwerken wat ze teruggeven zonder een tweede leveranciersrelatie op te zetten voor de tekstlaag.

Het oordeel hangt af van welke zin je probleem beschrijft. Als die luidt: "we hebben nauwkeurige transcriptie in vijftig talen nodig, we willen geen GPU bezitten, en latentie is belangrijk", dan is Voxtral Small Transcribe 3 het betere product en is die 2,1% een echte reden. Als die luidt: "we hebben transcripten met sprekerattributie van vergaderingen van een uur nodig, vertaling, en een artefact dat ons complianceteam kan inspecteren", dan is Nemotron 3.5 Transcribe de enige optie op deze lijst die aan alle drie voldoet, en is een punt WER op schone voorgelezen spraak de prijs daarvoor. Als die luidt: "we hebben beide nodig", dan is het eerlijke antwoord dat ze elkaar niet vervangen, en de teams die het meeste uit deze generatie halen, gebruiken de ene voor live audio en de andere voor het archief.