Hy-SimulMT vs NLLB-200: Een streamingtolk is geen vertaler voor 200 talen

De twee benchmarknamen verschillen één letter, en die letter is het hele verhaal. Hy-SimulMT, Tencent Hunyuans realtime tolk Chinees↔Engels die op 26 oktober 2026 is uitgebracht, publiceert een score van 90,3 op iets dat FLEURS heet. NLLB-200, Meta AI's tekstvertaler voor 200 talen uit juli 2022, wordt geëvalueerd op iets dat FLORES-200 heet. Ze zijn verwant — FLEURS is gebouwd op hardop voorgelezen FLORES-zinnen — maar het zijn niet dezelfde test, ze worden niet op dezelfde manier gescoord, en niemand heeft deze twee modellen ooit tegen elkaar getest. Wie naar deze confrontatie zoekt, krijgt berichtgeving over de lancering van het ene model en documentatie over het andere, met niets daartussen. Dat gebrek is het eerlijke uitgangspunt: dit zijn geen concurrenten, en de nuttige vraag is voor welke taak elk van hen eigenlijk bedoeld is.

Eén letter, twee benchmarks

FLORES-200 is een tekstbenchmark. Meta bouwde hem als onderdeel van het project No Language Left Behind: professioneel vertaalde zinnen in 200 talen, gebruikt om te meten hoe goed een vertaalsysteem geschreven tekst van de ene taal naar de andere overbrengt. De belangrijkste metriek is spBLEU, een BLEU-variant die wordt berekend over een vaste, taalgebalanceerde tokenizer, zodat scores vergelijkbaar zijn tussen talen die verschillende schriften gebruiken. In het NLLB-artikel worden ook chrF++ en een menselijke evaluatie genaamd XSTS gerapporteerd.

FLEURS is de gesproken tegenhanger. Het neemt FLORES-zinsets, laat moedertaalsprekers ze hardop voorlezen en evalueert spraakvertaling — audio in, tekst uit. Het dekt 102 talen in plaats van 200. Wanneer Tencent 90,3 rapporteert op FLEURS voor Hy-SimulMT, omvat dat cijfer de volledige pipeline: de audio horen, de woorden herkennen en ze vertalen. Wanneer Meta spBLEU op FLORES-200 voor NLLB-200 rapporteert, is de tekst al correct en getokeniseerd, en het enige dat wordt gemeten is de vertaalstap.

Zet die twee getallen naast elkaar en je hebt niet twee modellen vergeleken. Je hebt een end-to-end spraaksysteem vergeleken met een tekstvertaler op verschillende data, met verschillende metrieken, in verschillende talen. Dit is de fout waartoe de eenletterige gelijkenis uitnodigt, en het is de moeite waard om die te benoemen vóór elke andere vergelijking in dit stuk.

Wat NLLB-200 eigenlijk is, vier jaar later

NLLB-200 is in juli 2022 uitgebracht en sindsdien niet herzien. De checkpoints die je vandaag downloadt, zijn de checkpoints uit 2022. Dat is geen kritiek — het is een uitspraak over wat voor soort artefact dit is: een onderzoeksrelease die een benchmark en een dataset definieerde en toen ophield.

De familie omvat vijf maten, en de spreiding is het punt:

• NLLB-200-distilled-600M — het kleinste bruikbare checkpoint, klein genoeg voor een GPU van laptopklasse.

• NLLB-200-distilled-1.3B en NLLB-200-1.3B — het middensegmentpaar, één gedistilleerd voor snelheid en één direct getraind.

• NLLB-200-3.3B — het dense werkpaard, het formaat dat de meeste mensen daadwerkelijk inzetten.

• NLLB-200-54.5B — het vlaggenschip sparse model: 128 experts met top-2-gating, een mixture-of-experts-laag in elk vierde transformerblok, en rekenkracht per token die ruwweg vergelijkbaar is met het 3,3B dense model. Het is het grootste open vertaalmodel van zijn generatie en nog steeds de reden waarom de familie wordt geciteerd.

De trainingsset bestond uit ongeveer 18 miljard parallelle zinsparen, en de belangrijkste claim in het paper was een BLEU-verbetering van 44% ten opzichte van de vorige state of the art, gemeten over meer dan 40.000 vertaalrichtingen. De architectuur is een encoder-decoder-transformer die is gebouwd voor het vertalen van één zin. Er is geen streamingmodus, geen audio-invoer en geen concept van gedeeltelijke uitvoer — hij neemt een zin en geeft een zin terug.

De licentie is CC-BY-NC 4.0, en de modelkaart is duidelijk over de bedoeling: niet vrijgegeven voor productie-inzet, niet bedoeld voor domeinspecifieke vertaling, vertaling van documentlengte, lange invoer of gecertificeerde vertaling. De code rond de gewichten is MIT, maar de gewichten zelf niet, en dat is de verwarring die deze release al vier jaar achtervolgt.

Wat Hy-SimulMT met ingang van deze week eigenlijk is

Hy-SimulMT is in bijna elke dimensie het tegenovergestelde soort artefact. Het is een spraakmodel: audio komt binnen met 16 kHz in vensters van 30 seconden, en het model levert vertaalde tekst terwijl de spreker nog aan het praten is. De architectuur is een sparse mixture of experts met 30,4 miljard parameters, met ongeveer 3 miljard actieve parameters per token, gewikkeld rond een audio-encoder met 24 lagen. Het gedocumenteerde talenpaar is Chinees en Engels, in beide richtingen.

De centrale bewering is latentie, niet dekking. Tencent rapporteert een StreamLAAL van ongeveer drie seconden op langdurige RealSI-audio en beschrijft die als de laagste onder de systemen die het vergeleek. Dat is een ander soort bewering dan alles in het NLLB-artikel, dat helemaal geen latentiemeting heeft omdat er niets te meten valt: een batch-tekstvertaler loopt niet achter op een spreker.

De release is Apache-2.0 en zonder toegangsbeperkingen, met zes checkpoints die twee uitvoervormen bestrijken — alleen vertaling en brontekst-plus-vertaling — elk in volledige precisie, FP8 en GGUF. De build met volledige precisie is ongeveer 61 GB, en de GGUF Q4_K_M-build is 19,7 GB. Spraakuitvoer en stemklonen vereisen een aparte TTS-dienst; het model zelf produceert tekst.

En net als NLLB-200 heeft het geen gehoste API en geen gepubliceerde prijs. Tencent's consumentenaanbod is de Hy Translate-app, met een gratis tier. Al het andere betekent de weights zelf draaien.

Waarom de scores geen kolom kunnen delen

De verleiding is om de vier scores van Hy-SimulMT af te zetten tegen welk NLLB-200-cijfer dan ook dat het dichtst voorhanden is. Weersta die verleiding, en niet alleen vanwege het onderscheid tussen FLEURS en FLORES. Aan de twee modellen worden verschillende vragen gesteld.

• Invoermodaliteit — Hy-SimulMT ontvangt audio, dus de score bevat herkenningsfouten. NLLB-200 ontvangt tekst waaruit herkenningsfouten al zijn verwijderd. Een spraakmodel en een tekstmodel op dezelfde zinnen beginnen niet met dezelfde uitgangspositie.

• Metrisch — Hy-SimulMT rapporteert BLEU-familiescores op spraakvertaalsets; NLLB-200 rapporteert spBLEU, chrF++ en XSTS op FLORES-200. De tokenizer van spBLEU bestaat specifiek om vergelijking tussen talen eerlijk te maken, wat betekent dat hij niet uitwisselbaar is met een gewoon BLEU-getal, zelfs niet wanneer beide BLEU worden genoemd.

• Werkeenheid — NLLB-200 wordt zin voor zin geëvalueerd op uitgelijnde tekst. Hy-SimulMT wordt geëvalueerd op streamingaudio, waar de interessante fout niet een verkeerd vertaald woord is, maar een zin die te laat aankomt om nog nuttig te zijn.

• Aantal richtingen — De ruim 40.000 richtingen van NLLB-200 worden gemiddeld tot het hoofdcijfer; de vier benchmarks van Hy-SimulMT bestrijken alleen Chinees↔Engels. Een gemiddelde over de lange staart en een score op één talenpaar met veel middelen beschrijven verschillende soorten prestaties.

Ook binnen zijn eigen tabel ligt Hy-SimulMT niet uniform voor. Het scoort 75,5 op CoVoST2 tegenover 82,1 van Qwen3.8-LiveTranslate, en het blijft achter bij Gemini3.5-LiveTranslate op FLEURS (90,3 versus 92,4) en ACL6060 (81,2 versus 82,6). Zijn duidelijkste overwinning is RealSI-Sentence met 84,7. Al die cijfers zijn door de leverancier uitgevoerd, op de door Tencent gekozen harness, en niet onafhankelijk gereproduceerd. De modelkaart vermeldt ook niet welke van de twee uitvoervarianten ze heeft geproduceerd.

Latentie wordt gemeten in een eenheid die NLLB niet heeft.

Dit is het onderdeel dat deployments bepaalt, en het heeft niets te maken met benchmarkscores.

Een simultaantolk moet een afweging maken die een batchvertaler nooit hoeft te maken: langer wachten en beter vertalen, of eerder spreken en het risico lopen het mis te hebben. StreamLAAL meet die afweging — ruwweg hoeveel de uitvoer gemiddeld achterloopt op de invoer. De drie seconden van Hy-SimulMT is een bewering over die afweging. Dat is expliciet niet hetzelfde als de tijd tot de eerste spraakuitvoer, en Tencent zegt dat ook op de modelkaart. Zodra je een externe TTS-dienst toevoegt, omvat de ervaring van de luisteraar ook de latentie van die dienst, wat bij het cijfer van drie seconden niet het geval is.

NLLB-200 heeft geen equivalent getal, omdat het geen streamingpad heeft. Je kunt er een aan vastknopen: hak de audio in stukken, voer spraakherkenning uit, voer zinsfragmenten aan NLLB en lever vertalingen uit zodra ze klaar zijn. Die architectuur werkt, en teams hebben hem gebouwd. Maar het opdelen in stukken vernietigt de context waarop een vertaler op zinsniveau vertrouwt, en de resulterende kwaliteit is niet de kwaliteit die op FLORES-200 wordt gemeten met volledige, goed gevormde zinnen. Het gat tussen "NLLB-200 scoort X op FLORES" en "NLLB-200 in een opgedeelde live pipeline klinkt als Y" is waar het meeste engineeringwerk daadwerkelijk naartoe gaat.

Dit is de echte asymmetrie. Hy-SimulMT is ontworpen voor het streaminggeval en betaalt daarvoor met taaldekking en een omvang in de 30B-klasse. NLLB-200 is ontworpen voor breedte en betaalt daarvoor met een interface die alleen batchverwerking ondersteunt. Geen van beide loopt achter. Ze zijn geoptimaliseerd voor verschillende beperkingen.

Dekking versus diepte

De blijvende voorsprong van NLLB-200 is de lange staart. Tweehonderd talen, waaronder talen met weinig bronnen die de meeste modellen uit 2026 helemaal niet aankunnen, in een familie die schaalt van een checkpoint van 600M tot een mixture-of-experts van 54,5B. Als uw probleem een document is in een taal met een paar miljoen sprekers en geen commerciële API dekt, is NLLB-200 nog steeds een van de weinige open opties, en het dense checkpoint van 3,3B draait op één bescheiden GPU.

Hy-SimulMT kan die taak helemaal niet uitvoeren. Het documenteert Chinees en Engels. De metadata op Hugging Face bevat een tag voor 36 talen, maar er is geen lijst van de andere 34 gepubliceerd, en elk voorbeeld in de repository gebruikt en-zh of zh-en. Een meertalige uitrol plannen op basis van die tag zou een vergissing zijn.

De hardware-rekenkunde pakt anders uit. NLLB-200's 3,3B dense model is een paar gigabyte in FP16 en past comfortabel op een kaart van 16–24 GB. Het 54,5B-topmodel is ongeveer 108 GB in FP16 — een propositie voor meerdere GPU's. Hy-SimulMT is ongeveer 61 GB in BF16 en heeft een accelerator van 80 GB nodig om te draaien zoals geleverd, of 19,7 GB bij Q4_K_M via een GGUF-route waarvan de llama.cpp-ondersteuning nog niet upstream is. Dus NLLB-200 is goedkoper aan de kleine kant en vergelijkbaar aan de top; de kosten van Hy-SimulMT zijn geconcentreerd in het midden, en het levert streaming op.

De licenties wijzen in tegengestelde richtingen.

Dit is niet de kern van de vergelijking — de modaliteit is dat wel —, maar het is de snelste manier om een van beide af te wijzen voor een commercieel product.

De gewichten van NLLB-200 zijn CC-BY-NC 4.0. Niet-commercieel. De omliggende code is MIT, en daar komt de verwarring vandaan, maar de gewichten zijn wat je zou serveren, en de kaart van Meta zegt duidelijk dat de modellen niet zijn vrijgegeven voor productie-implementatie. Een commerciële implementatie vereist ofwel een ander model ofwel een licentieregeling.

Hy-SimulMT is Apache-2.0, zonder toegangsbeperkingen, en commercieel gebruik, wijziging en herdistributie zijn toegestaan. Tencent levert een trainingskit samen met de inferentieserver, dus voortgezet trainen is een beoogd gebruik. Als de keuze tussen de twee alleen op licenties gebaseerd is, is het geen moeilijke keuze.

Waar ze in dezelfde stack thuishoren

De reden dat deze vergelijking steeds wordt gezocht, is dat teams in hetzelfde product met beide problemen te maken krijgen. Een bedrijf met Chinese en Engelse activiteiten heeft een live tolk nodig voor vergaderingen en een tekstpijplijn voor de documentenstroom in 200 talen die binnenkomt via e-mail, contracten en supporttickets. Dat zijn twee verschillende taken, en de eerlijke architectuur gebruikt twee verschillende modellen.

NLLB-200, of een moderne opvolger, verzorgt het offline tekstpad: batchvertaling, taalidentificatie, corpus-triage, de lange staart. Hy-SimulMT verzorgt het live Chinees↔Engels spraakpad, waar latentie dominant is en dekking niet uitmaakt omdat er slechts twee talen in de ruimte zijn. De grens tussen beide is een routeringsbeslissing, en het is de moeite waard die expliciet te vermelden in plaats van een applicatie die te laten afleiden uit het bestandstype.

Geen van beide modellen staat in de catalogus van OrcaRouter, dus wij vormen geen route naar een van beide. Wat een router wel biedt, is de naad eromheen: één API vóór meer dan 200 gehoste modellen tegen 0% opslag, de lijstprijs van de provider wordt ongewijzigd doorgegeven zonder dat er iets bovenop komt, en een routing-DSL die bepaalt welk pad een verzoek neemt. Dat laatste is alledaags en nuttig — tekstverzoeken vallen door naar een gehost algemeen model, spraakverzoeken gaan naar je zelfgehoste interpreter, en de applicatie hoeft niet te weten welke welke is. Automatische failover dekt het geval waarin het gehoste traject niet beschikbaar is en het verzoek toch iets moet teruggeven.

Omdat het gehoste traject tegen de lijstprijs van de provider wordt geprijsd, zonder opslag, is een prijsverlaging van de leverancier aan de tekstzijde bij ons dezelfde dag live. Dat lijkt klein, totdat je documentverkeer op volume routeert en het alternatief is om elke keer opnieuw een contract te onderhandelen wanneer een provider zijn tariefkaart wijzigt.

Wat te vragen voordat je een van beide kiest

De vraag is niet welk model beter is. Het zijn twee vragen, en die hebben verschillende antwoorden.

Als de invoer audio is die nog binnenkomt, en de talen Chinees en Engels zijn, is het antwoord Hy-SimulMT — en wordt de deploymentvraag welke van zijn zes checkpoints, wat een beslissing is over de vorm en precisie van de uitvoer in plaats van kwaliteit. Als de invoer tekst is in een taal die je nog niet hebt geïdentificeerd, binnen een reeks die ook talen met weinig bronnen omvat, blijft NLLB-200 vier jaar later een legitieme open baseline, mits de niet-commerciële licentie past en je een batch-interface accepteert.

Wat niemand heeft gepubliceerd, is de brug: spraakherkenning die NLLB-200 voedt met Chinees↔Engelse audio, geëvalueerd op dezelfde streamingbenchmark als Hy-SimulMT, met latency en kwaliteit samen gerapporteerd. Dat experiment zou je vertellen of een tekstvertaler uit 2022, gewikkeld in een streamingharnas uit 2026, kan concurreren met een speciaal gebouwde tolk. Het zou ook de eerste eerlijke vergelijking van deze twee modellen zijn, en die bestaat nog niet.

Eén laatste ding dat ronduit gezegd moet worden, omdat de gelijkenis tussen de benchmarks met maar één letter verschil zal blijven zorgen voor slechte vergelijkingen: een model dat wint op FLEURS heeft iets aangetoond over spraakvertaling binnen een specifieke testopstelling. Een model dat goed scoort op FLORES-200 heeft iets aangetoond over tekstvertaling in 200 talen. Geen van beide resultaten is overdraagbaar naar de taak van de ander, en de leverancier die beide publiceert op dezelfde audio, met dezelfde metriek en dezelfde wijze van latentieverrekening, zal de eerste zijn die deze vergelijking betekenis geeft.