Eleven Realtime v1 Max vs GPT-Live-1: Benchmarkgapet går emot ElevenLabs

Pressmeddelandet för Eleven Realtime v1 Max inleds med 98,8 % på Big Bench Audio och en svarstid på 0,57 sekunder. Båda siffrorna är sanna, båda är bäst i sin klass, och båda är irrelevanta när jämförelsen är GPT-Live-1 – eftersom det benchmark som avgör röstagenter i produktion inte är talresonemang, och på det vinner OpenAI:s modell med en marginal som är tillräckligt stor för att överskugga det försprång på 0,7 sekunder som ElevenLabs säljer in. De dokumenterade AI-incidenterna och agentfelen bakom modeller i den här klassen finns samlade i the OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och markering för omtvistad status.

Kör samma Artificial Analysis-harness på båda, och fördelningen är tydlig. Eleven Realtime v1 Max leder inom talresonemang, 98,8 % mot 89 %, och inom hastighet, 0,57 sekunder mot 1,24. G​PT-Live-1 leder inom slutförande av agentiska uppgifter, 59,3 % mot ej uppmätt, inom konversationsdynamik, 97,3 % mot 94,1 %, inom arena-preferens, 1 047 Elo mot 997, inom uppgiftsframgång, 90,9 % mot 87,1 %, och inom sammansatt index, 80,1 mot ingenting alls.

Den där sista siffran är inte retorisk. Eleven Realtime v1 Max har ingen poäng på Speech to Speech Index, eftersom indexet kräver alla fyra komponenterna och den agentiska τ-Voice-körningen inte har publicerats för den. G​PT-Live-1 har ett index. Det är det högsta på resultattavlan.

Hela resultattavlan, sida vid sida

Alla rader är mätningar från Artificial Analysis i deras egen testbädd om inte annat anges. Elva Realtime-siffror kommer från tillkännagivandet den 20 oktober 2026; G​PT-Live-1:s API-tillgänglighet dateras till den 10 september 2026, medan själva modellen lanserades i ChatGPT den 8 juli.

• Tal-till-tal-index — Eleven Realtime v1 Max inte poängsatt mot G​PT-Live-1 (Sol, låg) 80,1

• Talresonemang (Big Bench Audio) — Max 98,8 % mot G​PT-Live-1 89 %

• Agentisk prestanda (τ-Voice) — Max ej uppmätt jämfört med G​PT-Live-1 59,3 %

• Samtalsdynamik — Max 94,1 % mot G​PT-Live-1 97,3 %

• Uppgiftsframgångsgrad — Max 87,1 % vs GPT-Live-1 90,9 %

• Arenapreferens (Elo) — Max 997 vs G​PT-Live-1 1 047

• Tid till första ljud – Max 0,57 s vs G​PT-Live-1 1,24 s

• Kostnad per timme för inmatat ljud — Max 4,80 $ vs G​PT-Live-1 4,47 $

• Transport — Max WebSocket endast vid lansering vs GPT-Live-1 WebRTC endast

En rad ligger närmare än rubriken antyder: kostnaden. $4,80 mot $4,47 per timme ljud placerar dessa två modeller i samma prisband, vilket är motsatsen till den bild man får genom att jämföra Eleven Realtime med G​emini 3.8 Live:s $0,84. I O​penAI-jämförelsen är E​levenLabs-premien 7 %.

Varför resonemangspoängen pekar åt fel håll

Big Bench Audio består av 1 000 ljudfrågor som är anpassade från Big Bench Hard inom fyra kategorier – formella felslut, navigering, objekträkning och en uppsättning booleska ordproblem. Modellen hör en fråga och svarar högt, och svaret bedöms som rätt eller fel. Det mäter hur väl en modell resonerar kring ljudinnehåll, vilket inte är samma sak som hur väl den för en konversation eller slutför en uppgift.

Max 98,8 % placerar den på tredje plats på den listan, bakom StepAudio 3 Realtime (100 %) och Q​wen Audio 3.0 Realtime Plus (99,2 %), och före Qwen3.5 Omni Plus Realtime (98,7 %) och G​rok Voice 3.0 (98,5 %). G​PT-Live-1:s 89 % är tolfte plats. Om din agents uppgift är att lyssna på en lång muntlig beskrivning och svara på en fråga om den, är skillnaden på nio procentenheter betydelsefull och E​levenLabs är det bättre köpet.

Men E​levenLabs säljer inte Max för det. Dess egen sida positionerar Max för ”komplexa uppgifter” med ”verktygsanvändning i flera steg” – kundsupport, leadkvalificering, assisterad schemaläggning. Det är τ-Voice-territorium, och τ-Voice är där Max inte har något nummer och G​PT-Live-1 har 59,3 %.

Även OpenAIs siffra behöver en egen brasklapp, och OpenAIs egen dokumentation levererar den: de publicerade driftsättningsbevisen är tunna. Bankbenchmarken för röstsupport som OpenAI rapporterade vid API-lanseringen visade en godkännandegrad på 32 % för GPT-Live-1, mot 12,4 % för GPT-Realtime-2.1. En godkännandegrad på 32 % är en stor förbättring och innebär ändå att systemet misslyckas i två tredjedelar av ett reglerat arbetsflöde. Siffran för τ-Voice från Artificial Analysis är den mer användbara, eftersom den körs i en gemensam testrigg, men det är en poäng i mitten av fältet, inte en kröning.

Där fördelen med G​PT-Live-1 är strukturell, inte marginell

Gapet på 3,2 punkter i samtalsdynamik och gapet på 50 punkter i arena-Elo kommer från ett arkitekturval som E​levenLabs inte gjorde. G​PT-Live-1 är full duplex i strikt bemärkelse: den lyssnar och talar på samma tidslinje, och när en uppringare frågar något som kräver riktigt arbete lämnar den över uppgiften över en asynkron gräns till en separat backendmodell som fortsätter tänka medan det talade samtalet fortsätter. Röstlagret är ett front-end. Resonemanget sker någon annanstans och viks tillbaka in när det är redo.

Det är den designen som gör att GPT-Live-1 kan köra verktygsanrop utan att linjen tystnar, och det är också därför dess resonemangsbetyg är lägre: modellen som svarar på Big Bench-frågan är inte den som tänker djupt i en verklig session. Eleven Realtime Max satsar på motsatsen. Ett enda nätverk sköter igenkänning, turtagning, resonemang och röst, vilket är det som ger 0,57 sekunder – det finns ingen överlämning att vänta på – och som begränsar hur mycket resonemang som kan ske innan den som ringer märker pausen.

Vilken satsning som är rätt beror på om din latensbudget eller din budget för att slutföra uppgifter är snävare. För en schemaläggningsagent som måste kontrollera en kalender, bekräfta en tid och skriva en post vinner överlämningsmodellen på slutförande. För en handledare som svarar på en muntlig fråga i ett andetag vinner den sammanslagna modellen på känsla.

Fakturerings- och transportuppgifterna som avgör integrationen

GPT-Live-1 har ett fast pris på $0.05 per minut för röst och debiteras per sekund, där sessionsinitieringen debiteras 15 sekunder i förskott och krediteras mot senare varaktighet. Backend-resonemangsmodellen debiteras separat till sina egna normala taxor, så ett billigt röstlager kan ändå ge ett dyrt samtal. OrcaRouter kan inte routa röstlagret – Live Sessions-slutpunkten på v1/live/sessions tillhör enbart OpenAI – men backend-halvan är bara ännu ett modellanrop, och på OrcaRouter är det 209 modeller från 16 leverantörer på en enda nyckel till leverantörernas listpris utan påslag, med failover om den backend du valt ger fel mitt i samtalet.

Eleven Realtime fakturerar tvärtom: standard {{1}}ElevenAgents{{/1}} per minut plus inputtoken, cachade inputtoken och outputtoken till Realtime-modellens taxa, där {{2}}Max{{/2}} kostar mer per token än {{3}}Mini{{/3}}. Ingen av modellernas minutpriser publiceras på E​levenLabs prissättningssida; instrumentpanelen visar en uppskattning, och $4.80 från Artificial Analysis är en normaliserad siffra snarare än ett listpris.

Transporten är den skarpare asymmetrin. Eleven Realtimes API är OpenAI-Realtime-kompatibelt över WebSocket – dokumentationens eget exempel importerar OpenAIRealtimeWebSocket från @openai/agents-realtime och pekar det mot wss://api.elevenlabs.io/v1/convai/realtime. GPT-Live-1 är endast WebRTC, och att prova den äldre Realtime-sökvägen med ett GPT-Live-modell-ID returnerar ett fel som säger att sessioner kräver WebRTC. Så kompatibiliteten är enkelriktad: en OpenAI Realtime-klient kan flytta till ElevenLabs med en slutpunktsändring, men en OpenAI Realtime-klient kan inte flytta till GPT-Live-1 utan en omskrivning av transporten. Team som migrerar till GPT-Live-1 skriver en RTCPeerConnection-handskakning, en oai-events-datakanal och ett serversidigt offer-utbyte; team som migrerar till Eleven Realtime redigerar två strängar.

Förbehållen kring utrullningen på ElevenLabs sida

ElevenLabs dokumentation lägger till begränsningar som ingen rapportering om lanseringen nämner:

• Tillgänglighet – Realtime-modeller ”rullas ut gradvis”; en arbetsyta utan inställningen Voice mode får Realtime models are not available for this workspace tillbaka från API:et

• Datalagring – Max finns i USA och EU men inte i Indien eller Singapore, där endast Mini erbjuds

• Efterlevnad – Zero Retention Mode och HIPAA-stöd finns för Max i USA och EU; Mini har inget av dessa

Hanterade inställningar – LLM, resonemangsansträngning, tänkbudget, parallella verktygsanrop, T​TS-modell, expressivt läge och ASR-leverantör styrs alla av E​levenLabs när en Realtime-modell är inställd, och arbetsflödesnoder kan inte åsidosätta dem

• Anpassade LLM:er – Realtidsläge är inte tillgängligt när en agent använder en anpassad LLM eller Amazon Bedrock

G​PT-Live-1:s egna begränsningar är striktare i ett avseende och lösare i ett annat: den har inga Chat Completions, inga Responses, inget Realtime-kompatibilitetslager, ingen finjustering och ingen bild- eller videoinmatning, men dess nivågränser anges i samtidiga sessioner – 25 på nivå 1 som stiger till 500 på nivå 5 – i stället för förfrågningar per minut.

Vem ska välja vilken?

Välj G​PT-Live-1 när agenten måste slutföra arbete: bokningar, ändringar, återbetalningar, allt som slutar i en databasskrivning. Den har högre uppgiftsframgångsgrad, högre arenapreferens, högre sammansatt index och lägre kostnad per timme, och den är den enda av de två med en publicerad agentisk poäng. Avsätt budget för WebRTC-omskrivningen och för backendmodellens separata faktura.

Välj Eleven Realtime v1 Max när samtalet är produkten och resonemanget är ytligt: en handledare, en karaktär, en supportlinje där man talar över klagomålet. Du får den snabbaste starka resonemangsmodellen som finns, den enklaste migreringen från en befintlig OpenAI Realtime-integration och ett prispremium på 7 % jämfört med GPT-Live-1 i stället för 5,7×-premien jämfört med Gemini. Du accepterar att dess agentiska beteende är omätt och att lanseringen fortfarande är partiell.

Det resultat som skulle vända den här artikeln är en τ-Voice-poäng för Max. E​levenLabs ber att bli betrodd som en uppgiftsutförande modell på grundval av ett resonemangsbenchmark; uppgiftsbenchmarken finns, den har körts på tio andra röstmodeller och den har inte körts på den här. Det är en lucka i bevisningen, inte i modellen – men det är luckan som avgör vilken av dessa två du bör sätta framför en betalande kund.