Een gegenereerde titelkaart met de tekst 'Twee 99'ers, twee compleet verschillende rekeningen', met een ondertitel die Ming-3.0-audio-flash tegenover Eleven Realtime v1 Max plaatst. Drie genummerde rijen luiden: 'Ming-3.0-audio-flash: 126B open gewichten, 4 tot 8 H800's, geen tariefkaart', 'Eleven Realtime v1 Max: $0,08 per minuut plus LLM-gebruik, 90+ talen' en 'Nauwkeurigheid 99,8% vs. 98,8%, tijd tot eerste audio 1,12 s vs. 0,57 s'. De voettekst luidt: 'Nauwkeurigheid en latentie volgens Artificial Analysis; de prijs van Eleven volgens de API-prijspagina.'
Guides & Insights

Ming-3.0-audio-flash vs Eleven Realtime v1 Max: twee 99's, slechts één ervan kost $0,08 per minuut

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Ming-3.0-audio-flash en Eleven Realtime v1 Max beweren beide een spraakredeneerscore van ongeveer 99%, en de overeenkomst houdt op zodra je kijkt naar hoe elk getal tot stand is gekomen. ElevenLabs zet "99% op spraakredenering, 570ms voor tijd tot eerste audio" op zijn eigen prijskaart voor Realtime v1 Max; Artificial Analysis meet hetzelfde model op 98,8% en 0,567 seconden. De kaart van inclusionAI claimt 99,40 op BigBenchAudio voor Ming-3.0-audio-flash; Artificial Analysis meet 99,8% op Big Bench Audio en 1,12 seconden. De ene leverancier deed zijn eigen model tekort met een afrondingsstap en de andere deed het zijne tekort met vier tienden. Beide zijn dichtbij genoeg om geloofwaardig te zijn en geen van beide is het getal waarop je een beslissing zou moeten baseren.

Het beslissende getal verschilt per optie. Voor Eleven Realtime v1 Max is het $0,08 per minuut plus LLM-gebruik, wat neerkomt op ongeveer $4,80 per uur aan invoeraudio tegen het door Artificial Analysis gemeten tarief. Voor Ming-3.0-audio-flash zijn het vier 80 GB H800's, omdat er helemaal geen prijslijst is — het is een mixture-of-experts-checkpoint van 126 miljard parameters onder MIT dat je downloadt en serveert. Al het andere in deze vergelijking volgt uit die splitsing: de ene is een abonnement op een voice-agent, de andere is een machine die je bezit.

Wat elk ervan eigenlijk is

Eleven Realtime v1 Max is geen model in de zin van een checkpoint. De documentatie beschrijft elk Realtime-model als een complete spraakagent — spraakherkenning, spraakactiviteitsdetectie en beurtwisseling, een LLM en tekst-naar-spraak — verpakt zodat je het kiest in plaats van het samen te stellen. Max is gepositioneerd voor nauwkeurige, doordachte antwoorden bij taken met meerdere stappen en is het enige van de twee Realtime-modellen dat tool calling vermeldt. Het spreekt 90+ talen, is bereikbaar via een OpenAI-compatibele Realtime API, en wisselen tussen Max en zijn kleinere broertje is een wijziging in modelselectie in plaats van een herbouw.

Ming-3.0-audio-flash is de tegenovergestelde opzet. Een audio-encoder en projector voeden een mixture-of-experts-taalbackbone; de invoer bestaat uit audio plus een tekstinstructie; de uitvoer is tekst, of tekst met gesynthetiseerde spraak via een optionele Talker. Er is geen ingebouwde beurtdetectie, geen sessiebeheer, geen tool-callinglaag beschreven in de kaart. Wat de kaart wél claimt, is breedte aan de invoerkant: Chinees en Engels, inclusief accenten en dialecten, niet-spraakgeluid, akoestische scènes, muziek en lange opnames.

• Parameters — Ming-3.0-audio-flash: 126B totaal, 6,5B actief per stap. Eleven Realtime v1 Max: niet bekendgemaakt.

• Shape — Ming: een checkpoint dat je serveert. Eleven: een gehoste agent die je selecteert.

• Context — Ming: 131.072 tokens gedeclareerd in de config. Eleven: niet gepubliceerd; de sessie is de eenheid, niet het tokenvenster.

• Talen — Ming: Chinees en Engels. Eleven: 90+ volgens de Eleven v4-taallijst.

• Spraakuitvoer — Ming: optioneel, via de Talker, met ingebouwde en referentiestemmen. Eleven: de kern van het product; de stem wordt uit een bibliotheek gekozen.

• Tool calling — Ming: niet beschreven. Eleven: vermeld voor Max, niet voor Mini.

• Licentie — Ming: MIT op de gewichten. Eleven: een commerciële API-overeenkomst.

A cropped screenshot of the ElevenLabs API pricing page showing the Realtime API block, described as a new class of Speech to Speech models for building natural-sounding voice agents. For Eleven Realtime v1 Max the rows read connected audio at $0.080 per additional minute, input tokens at $1.80 per million and output tokens at $9.00 per million, with included minutes rising from about 12 on the entry tier to 9,714 on the largest; the Eleven Realtime v1 Mini rows above show $0.20 input and $6.00 output tokens.

De twee getallen, en waarom ze in tegengestelde richtingen van elkaar verschillen

De “99%” op de ElevenLabs-kaart is vrijwel zeker een afgeronde 98,8 uit een Artificial Analysis-run, gepubliceerd op de prijspagina van de leverancier zelf, met het latentiecijfer erbij vermeld. Dat is ongewoon openhartig: de meeste leveranciers citeren een benchmark die het lab dat het model heeft gebouwd, heeft gekozen. Het betekent ook dat de twee bronnen niet onafhankelijk zijn — de leverancier citeert de derde partij en draait geen parallelle harness — dus wanneer ze het eens zijn, zijn ze het vanwege de opzet eens.

De figuur voor Ming is een ander geval. De modelkaart van oktober bevatte een evaluatieafbeelding die 99,40 op "BigBenchAudio" liet zien, naast een veel zwakkere weergave voor lange audio. De 99,8 van vandaag komt rechtstreeks van Artificial Analysis, en de kaart is vanochtend aangepast om dat cijfer te vermelden. Het verschil tussen 99,40 en 99,8 is geen correctie; het zijn twee afnames van een benchmark met dezelfde naam en verschillende testomgevingen, prompts en subsets van items. Geen van beide is fout. Beide zijn het soort cijfer dat met tienden verschuift wanneer de details veranderen, en daarom is een voorsprong van één punt bovenaan een tabel waarin 42 modellen in de negentig samenklitten geen verdedigbare voorsprong.

Wat de rangorde op het leaderboard wel vaststelt, is lidmaatschap van de topgroep. Op spraakredenering worden Ming-3.0-audio-flash met 99,8 en Eleven Realtime v1 Max met 98,8 gescheiden door één punt en door niets anders wat het leaderboard meet. Op tijd tot eerste audio worden ze gescheiden door een factor twee: 1,12 seconden tegenover 0,567. Voor een model dat binnen een gesprekspauze moet antwoorden, is dat het getal dat bepaalt of het systeem levendig aanvoelt, en het is de enige plek waar de goedkoop ogende optie niet duidelijk de slechtere is.

Waar de vergelijking stukloopt, en ze loopt stuk op conversatie.

Spraakredenering bestaat uit meerkeuzevragen die als audio worden aangeboden. Een spraakagent is een ander probleem: weten wanneer je moet beginnen te praten, wanneer je stil moet blijven tijdens een pauze, hoe je met een onderbreking omgaat, of je een backchannel moet geven. Artificial Analysis meet dat apart op Full Duplex Bench, en dit is het minst symmetrische deel van de hele matchup.

Eleven Realtime v1 Max heeft een gepubliceerde Full Duplex Bench-score van 0,941, met omgaan met onderbrekingen op 0,99, beurtwisseling op 1,0, omgaan met pauzes op 0,978 en backchannels op 0,796. Het heeft ook een tau-voice-score van 0,578 over taaksimulaties voor luchtvaart, retail en telecom — een veel minder flatteus getal, en een nuttige correctie voor iedereen die de 99% als een algemeen oordeel leest. Ming-3.0-audio-flash heeft geen Full Duplex Bench-score, geen tau-voice-score en geen gepubliceerde meting van hoe het zich gedraagt wanneer iemand erdoorheen praat. Het is niet dat de checkpoint die tests zou falen. Het is dat niemand ze heeft uitgevoerd, en de modelkaart beschrijft niet de mechanismen die ze betekenisvol zouden maken: turn detection en barge-in zijn dingen die je eromheen bouwt, niet dingen die het standaard meelevert.

Die asymmetrie heeft een praktische vorm. Wie Eleven Realtime v1 Max kiest, krijgt een opgeloste gesprekslus met een gepubliceerde (zij het middelmatige) taakvoltooiingsscore. Wie Ming-3.0-audio-flash kiest, krijgt een ongewoon sterk oor en een tekstinterface, en laat de lus — VAD, endpointing, onderbrekingsafhandeling, de LLM-beurt achter de stem — aan jou over. De twee producten zijn geen substituten op hetzelfde niveau, en een rechtstreekse vergelijking op nauwkeurigheid impliceert stilletjes dat ze dat wel zijn.

De rekenkunde van een uur, eerlijk gedaan

Een uur continue invoeraudio op Eleven Realtime v1 Max wordt gefactureerd tegen $0,08 per minuut, wat $4,80 is, plus wat de meegeleverde LLM ook verbruikt. De door Artificial Analysis gemeten kosten per uur invoeraudio voor het model zijn precies $4,80, wat de kaart bevestigt. Bij 1.000 uur per maand is dat $4.800 vóór LLM-tokens en vóór eventuele gelijktijdigheidslimieten, die de documentatie vermeldt voor TTS en STT, maar niet voor Realtime voice agents.

De Ming-kant heeft geen dergelijk cijfer, dus elke vergelijking vereist een aanname, en die aanname moet zichtbaar zijn. Het referentie-128K-servingprofiel van inclusionAI gebruikt tensorparallellisme over vier 80GB-H800's; lange audio-invoer kan daar een OOM veroorzaken en de terugval op acht GPU's afdwingen. Bij een hypothetische $2 per GPU-uur — een plaatsaanduiding, geen prijsopgave — kosten vier kaarten $8 per uur en acht $16, beide vóór benutting, vóór de idletijd die elke always-on dienst met zich meebrengt, en vóór een engineer om het te draaien. Bij volledige bezetting is de configuratie met vier GPU's concurrerend met $4,80 per uur. Bij tien procent bezetting is het geen serieuze vergelijking meer.

Dat is het hele kostenargument, en het draait om benutting, niet om de prijsstelling van welke leverancier dan ook. Een team met constante, hoogvolume audiotraffic en bestaande GPU-capaciteit kan de rekensom laten kloppen. Een team dat op dinsdagmiddag een idee test, kan dat niet, en moet niet doen alsof het bedrag per uur dat het berekent bij verkeersniveaus van 3 uur 's nachts iets betekent.

• Naar verbruik — Eleven Realtime v1 Max: $0,08/min, ongeveer $4,80/uur, plus LLM-gebruik.

• Zelfgehost — Ming-3.0-audio-flash: geen tariefkaart; 4 × 80 GB H800 als referentie, 8-GPU-fallback.

• Marginale kosten van nog een uur — Eleven: $4,80. Ming: effectief nul totdat de kaarten verzadigd zijn, daarna een stapfunctie.

• Kosten van het eerste uur — Eleven: $4,80. Ming: de hardware, de servingstack en de integratie.

A generated two-column scoreboard titled 'Ming-3.0-audio-flash vs Eleven Realtime v1 Max - the scoreboard'. The Ming column reads speech reasoning 99.8%, time to first audio 1.12 s, conversational score not published, languages Chinese and English, price basis no rate card, deployment 4 x 80GB H800. The Eleven column reads speech reasoning 98.8%, time to first audio 0.57 s, conversational score 0.941, languages 90+, price basis $0.08 per minute, deployment hosted API. The footer reads 'Accuracy and latency per Artificial Analysis; Eleven's per-minute price per its API pricing page.'

Talen zijn precies waar de specsheets misleiden.

ElevenLabs zegt 90+ talen en meent dat ook voor de hele TTS- en STT-stack. Ming-3.0-audio-flash noemt Chinees en Engels, en nuanceert dat vervolgens op een manier die belangrijker is dan het aantal: "inclusief uiteenlopende accenten en dialecten". De eigen oktobertabel van de leverancier onderbouwt dat met foutpercentages voor dialecten die dramatisch beter zijn dan die van de omni-modellen waarmee het wordt vergeleken — Hokkien op 12,84 tegenover 28,08 voor Qwen3.8-Omni Flash en 81,62 voor Gemini 3.8 Flash, Shanghainees op 11,15 tegenover 21,10 en 88,64. Als je audio Mandarijn met een regionaal accent is, is dat een capaciteit die geen enkele vergelijking van taalaantallen weet te vangen, en de 90+-lijst van Eleven vertelt je niet hoe het op Hokkien presteert.

Het omgekeerde is net zo waar: als je audio Spaans, Portugees, Japans of Arabisch is, heeft Ming-3.0-audio-flash helemaal geen aanspraak. Dit is geen kwestie van een kleine marge qua dekking. Het is een vrijwel totale tweedeling, en het is de snelste manier om te bepalen in welke kolom je zit.

Beide op één toets, voor de helft die tekst is

OrcaRouter levert Ming-3.0-audio-flash niet, en Eleven Realtime v1 Max ook niet — dat zijn een zelfgehost checkpoint en een realtimeproduct van een leverancier zelf, en voor geen van beide kunnen we je een endpoint geven. Wat we wel leveren is de rest van de pipeline die elk van beide impliceert. Een spraaksysteem gebouwd op een zelfgehost audiomodel bestaat grotendeels uit tekstaanroepen: de prompt die het audiomodel vertelt waar het op moet letten, de parser die het tab-gescheiden taallabel omzet in gestructureerde output, de samenvatting die op basis van het transcript wordt geschreven, de router die een moeilijke oproep naar een sterker model stuurt. Die lopen via meer dan 200 modellen achter één sleutel, met 0% markup, met automatische failover wanneer een provider verslechtert — en dat is wat het veilig maakt om een onbewezen audiomodel achter een deel van je verkeer te zetten terwijl de rest blijft werken.

Welke moet je kiezen?

Neem Eleven Realtime v1 Max als je deze maand een spraakagent wilt: 90+ talen, een opgeloste gesprekslus, tool calling, een gepubliceerde prijs per minuut en een OpenAI-compatibele sessie. Accepteer dat de tau-voice-taakvoltooiingsscore 0,578 is, dat het backchannel-gedrag het zwakste deel van het Full Duplex Bench-profiel is, en dat je een stack huurt die je niet kunt inspecteren.

Kies Ming-3.0-audio-flash als je audio Chinees of Engels is, je moeilijke gevallen accenten of dialecten zijn, je team vier GPU's van 80 GB en een servingstack kan draaien, en je bereid bent de conversatielaag zelf te bouwen. Accepteer dat de eigen gepubliceerde cijfers van het model laten zien dat het achteruitgaat op lange opnames en sprekerdiarisatie, dat de tijd tot de eerste audio twee keer zo lang is als die van Eleven, en dat zijn 99,8 een rang op een leaderboard is en geen belofte over je werklast.

A screenshot of the inclusionAI Ming-3.0-audio-flash model card on Hugging Face, showing the audio-to-audio tag, the MIT licence, a reported model size of 128B params, 2,572 downloads in the last month, and a model summary table listing the developer as inclusionAI, the model type as a native audio-language mixture-of-experts, and 126B total parameters with 6.5B activated per inference step.

En als het antwoord "een combinatie van beide" is — een gehoste agent voor de talen die hij dekt, een zelfgehost model voor het verkeer met veel accenten — dan is dat geen compromis, maar de vorm die de meeste productiespreeksystemen in de praktijk aannemen. De fout is kiezen op basis van de 99-percentielen, want aan dat uiteinde van de tabel vertelt het getal je niets meer wat je eigen opnames je niet sneller zouden vertellen.