Eleven Realtime v1 Max vs GPT-Live-1: de benchmarkkloof werkt tegen ElevenLabs

Het persbericht voor Eleven Realtime v1 Max opent met 98,8% op Big Bench Audio en een reactietijd van 0,57 seconde. Beide cijfers kloppen, beide zijn de beste in hun klasse, en beide zijn irrelevant zodra de vergelijking met GPT-Live-1 wordt gemaakt — want de benchmark die de doorslag geeft voor stemagenten in productie is niet spraakredenering, en op dat punt wint het model van OpenAI met een marge die zo groot is dat de voorsprong van 0,7 seconde waar ElevenLabs mee pronkt, er volledig bij in het niet valt. De gedocumenteerde AI-incidenten en fouten van agenten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waarin elke vermelding haar eigen bronnen, ernstgraad, betrouwbaarheidsclassificatie en betwistmarkering bevat.

Voer op beide dezelfde Artificial Analysis-harness uit en de scheiding is duidelijk. Eleven Realtime v1 Max leidt op spraakredenering, 98,8% tegen 89%, en op snelheid, 0,57 seconden tegen 1,24. G​PT-Live-1 leidt op voltooiing van agentische taken, 59,3% tegen niet gemeten, op gespreksdynamiek, 97,3% tegen 94,1%, op arena-voorkeur, 1.047 Elo tegen 997, op taaksucces, 90,9% tegen 87,1%, en op samengestelde index, 80,1 tegen helemaal niets.

Dat laatste cijfer is niet retorisch bedoeld. Eleven Realtime v1 Max heeft geen Speech to Speech Index-score, omdat de index alle vier componenten vereist en de agentische τ-Voice-run ervoor nog niet is gepubliceerd. G​PT-Live-1 heeft een index. Het is de hoogste op de ranglijst.

Het volledige scorebord, naast elkaar

Alle rijen zijn metingen van Artificial Analysis op zijn eigen harness, tenzij anders vermeld. De cijfers van Eleven Realtime zijn afkomstig uit de aankondiging van 20 oktober 2026; de API-beschikbaarheid van G​PT-Live-1 dateert van 10 september 2026, terwijl het model zelf op 8 juli in ChatGPT werd uitgebracht.

• Spraak-naar-spraakindex — Eleven Realtime v1 Max niet gescoord vs G​PT-Live-1 (Sol, low) 80.1

• Spraakredenering (Big Bench Audio) — Max 98,8% vs GPT-Live-1 89%

• Agentische prestaties (τ-Voice) — Max niet gemeten vs G​PT-Live-1 59,3%

• Gespreksdynamiek — Max 94,1% vs. G​PT-Live-1 97,3%

• Taaksuccespercentage — Max 87,1% vs G​PT-Live-1 90,9%

• Arena-voorkeur (Elo) — Max 997 vs G​PT-Live-1 1,047

• Tijd tot eerste audio — Max 0,57s vs G​PT-Live-1 1,24s

• Kosten per uur aan invoeraudio — Max $4,80 vs G​PT-Live-1 $4,47

• Transport — Max WebSocket alleen bij de lancering vs G​PT-Live-1 alleen WebRTC

Eén rij ligt dichter bij elkaar dan de kop doet vermoeden: kosten. $4,80 tegen $4,47 per uur audio plaatst deze twee modellen in dezelfde prijsklasse, wat het tegenovergestelde is van het verhaal dat je krijgt wanneer je Eleven Realtime vergelijkt met de $0,84 van G​emini 3.8 Live. In de O​penAI-vergelijking is de E​levenLabs-meerprijs 7%.

Waarom de reasoning-score de verkeerde kant op wijst

Big Bench Audio bestaat uit 1.000 audiovragen die zijn aangepast van Big Bench Hard, verdeeld over vier categorieën: formele drogredenen, navigatie, objecten tellen en een set booleaanse woordproblemen. Het model hoort een vraag en antwoordt hardop, en het antwoord wordt goed of fout gerekend. Het meet hoe goed een model redeneert over audio-inhoud, wat niet hetzelfde is als hoe goed het een gesprek voert of een taak uitvoert.

Max' 98,8% zet het op de derde plaats op die ranglijst, achter StepAudio 3 Realtime (100%) en Qwen Audio 3.0 Realtime Plus (99,2%), en voor Qwen3.5 Omni Plus Realtime (98,7%) en Grok Voice 3.0 (98,5%). De 89% van GPT-Live-1 is twaalfde. Als het de taak van je agent is om naar een lange gesproken beschrijving te luisteren en er een vraag over te beantwoorden, is dat gat van negen punten betekenisvol en is ElevenLabs de betere keuze.

Maar E​levenLabs verkoopt Max daar niet voor. Op de eigen pagina wordt Max gepositioneerd voor 'complexe taken' met 'meerstapsgebruik van tools' — klantenondersteuning, leadkwalificatie, ondersteunde planning. Dat is het domein van τ-Voice, en τ-Voice is waar Max geen cijfer heeft en G​PT-Live-1 59,3% haalt.

Het O​penAI-cijfer verdient ook zijn eigen voorbehoud, en de eigen documentatie van O​penAI levert dat: het gepubliceerde bewijs over de uitrol is mager. De benchmark voor spraakondersteuning in de banksector die O​penAI bij de API-lancering rapporteerde, bracht het slagingspercentage van G​PT-Live-1 op 32%, tegen 12,4% voor G​PT-Realtime-2.1. Een slagingspercentage van 32% is een grote verbetering en betekent nog steeds dat het systeem bij twee derde van een gereguleerde workflow faalt. Het τ-Voice-cijfer van Artificial Analysis is het nuttigere, omdat het op een gemeenschappelijk testharnas wordt uitgevoerd, maar het is een score in de middenmoot, geen kroning.

Waar het voordeel van G​PT-Live-1 structureel is, niet marginaal

Het verschil van 3,2 punten in gespreksdynamiek en het verschil van 50 punten in arena-Elo komen voort uit een architectuurkeuze die ElevenLabs niet heeft gemaakt. GPT-Live-1 is full-duplex in de strikte zin: het luistert en spreekt op dezelfde tijdlijn, en wanneer een beller iets vraagt dat echt werk vereist, draagt het de taak via een asynchrone grens over aan een afzonderlijk backendmodel dat blijft nadenken terwijl het gesproken gesprek doorgaat. De spraaklaag is een front-end. Het redeneren gebeurt elders en vloeit terug naar binnen wanneer het klaar is.

Dat ontwerp is de reden dat G​PT-Live-1 toolaanroepen kan uitvoeren zonder dat de lijn stilvalt, en ook de reden dat de redeneerscore lager is: het model dat de Big Bench-vraag beantwoordt, is niet het model dat in een echte sessie het diepe denkwerk doet. Eleven Realtime Max zet in op het tegenovergestelde. Eén netwerk verzorgt herkenning, beurtwisseling, redeneren en spraak, wat de 0,57 seconden oplevert — er is geen overdracht waarop gewacht hoeft te worden — en wat beperkt hoeveel er geredeneerd kan worden voordat de beller de pauze opmerkt.

Welke gok de juiste is, hangt ervan af of je latentiebudget of je taakvoltooiingsbudget krapper is. Voor een planningsagent die een agenda moet controleren, een tijdslot moet bevestigen en een record moet schrijven, wint het overdrachtsmodel op voltooiing. Voor een tutor die een gesproken vraag in één adem beantwoordt, wint het samengevoegde model op gevoel.

De facturerings- en transportgegevens die de integratie bepalen

GPT-Live-1 factureert een vast tarief van $0,05 per minuut spraak, per seconde afgerekend, waarbij de initialisatie van een sessie 15 seconden vooraf in rekening wordt gebracht en dat later op de duur in mindering wordt gebracht. Het backend-redeneermodel wordt apart gefactureerd tegen zijn eigen normale tarieven, dus een goedkope spraaklaag kan alsnog een dure oproep opleveren. OrcaRouter kan de spraaklaag niet routeren — de Live Sessions-endpoint op v1/live/sessions is uitsluitend van OpenAI — maar de backendhelft is gewoon een andere modelaanroep, en op OrcaRouter is dat 209 modellen van 16 providers op één sleutel tegen de lijstprijs van de provider zonder opslag, met failover als je gekozen backend tijdens de oproep een fout geeft.

Eleven Realtime factureert op de omgekeerde manier: standaard ElevenAgents per minuut plus input-, cached-input- en outputtokens tegen het tarief van het Realtime-model, waarbij Max per token meer kost dan Mini. Het tarief per minuut van geen van beide modellen staat op de prijspagina van ElevenLabs; het dashboard toont een schatting, en de $4,80 van Artificial Analysis is een genormaliseerd cijfer in plaats van een lijstprijs.

De transportlaag is de meer uitgesproken asymmetrie. De API van Eleven Realtime is OpenAI-Realtime-compatibel via WebSocket — het voorbeeld in de documentatie zelf importeert OpenAIRealtimeWebSocket uit @openai/agents-realtime en richt het op wss://api.elevenlabs.io/v1/convai/realtime. GPT-Live-1 is alleen WebRTC, en het testen van het oudere Realtime-pad met een GPT-Live-model-ID levert een foutmelding op dat sessies WebRTC vereisen. De compatibiliteit werkt dus maar één kant op: een OpenAI Realtime-client kan met een endpointwijziging naar ElevenLabs overstappen, maar een OpenAI Realtime-client kan niet naar GPT-Live-1 overstappen zonder de transportlaag te herschrijven. Teams die naar GPT-Live-1 migreren, schrijven een RTCPeerConnection-handshake, een oai-events-datachannel en een serverzijdige offer-uitwisseling; teams die naar Eleven Realtime migreren, passen twee strings aan.

De kanttekeningen bij de uitrol aan de E​levenLabs-kant

De documentatie van ElevenLabs voegt beperkingen toe die in geen enkele berichtgeving over de lancering worden genoemd:

• Beschikbaarheid — Realtime-modellen worden "geleidelijk uitgerold"; een workspace zonder de Voice-modusinstelling krijgt van de API de melding Realtime models are not available for this workspace terug

• Gegevensresidentie — Max is beschikbaar in de VS en de EU, maar niet in India of Singapore, waar alleen Mini wordt aangeboden

Compliance — Zero Retention Mode en HIPAA-ondersteuning: Max in de VS en de EU; Mini ondersteunt geen van beide

• Beheerde instellingen — de LLM, redeneerinspanning, het denkbudget, parallelle toolaanroepen, het TTS-model, de expressieve modus en de ASR-provider worden allemaal door ElevenLabs beheerd zolang er een Realtime-model is ingesteld, en workflowknooppunten kunnen deze niet overschrijven

• Aangepaste LLM's — Realtime-modus is niet beschikbaar zolang een agent een aangepaste LLM of Amazon Bedrock gebruikt

De eigen beperkingen van G​PT-Live-1 zijn in één opzicht strenger en in een ander opzicht ruimer: het heeft geen Chat Completions, geen Responses, geen Realtime-compatibiliteitslaag, geen fine-tuning en geen beeld- of video-invoer, maar de limieten per tier worden uitgedrukt in gelijktijdige sessies — 25 op Tier 1, oplopend tot 500 op Tier 5 — in plaats van in verzoeken per minuut.

Wie moet welke kiezen?

Kies G​PT-Live-1 wanneer de agent werk moet voltooien: boekingen, wijzigingen, terugbetalingen, alles wat eindigt in een databaseschrijfactie. Het heeft een hoger taaksuccespercentage, een hogere arena-voorkeur, een hogere samengestelde index en lagere kosten per uur, en het is de enige van de twee met een gepubliceerde agentische score. Begroot de WebRTC-herschrijving en de aparte factuur van het backendmodel.

Kies Eleven Realtime v1 Max wanneer het gesprek het product is en het redeneren oppervlakkig: een tutor, een personage, een supportlijn waar de klacht wordt overstemd. Je krijgt het snelste sterke redeneermodel in het aanbod, de eenvoudigste migratie vanaf een bestaande O​penAI Realtime-integratie, en een prijspremie van 7% ten opzichte van G​PT-Live-1 in plaats van de 5,7×-premie ten opzichte van G​emini. Je accepteert dat het agentische gedrag ervan niet gemeten is en dat de lancering nog gedeeltelijk is.

Het resultaat dat dit stuk zou doen kantelen, is een τ-Voice-score voor Max. ElevenLabs vraagt op basis van een reasoningbenchmark om te worden vertrouwd als een model dat taken voltooit; de taakbenchmark bestaat, is uitgevoerd op tien andere stemmodellen, en is niet uitgevoerd op dit model. Dat is een gat in het bewijs, niet in het model — maar het is het gat dat bepaalt welke van deze twee je aan een betalende klant moet voorleggen.