Hero-kort för Eleven Realtime v1 Max mot Sesame Preview, med undertexten ”Rösten som vinner örat förlorar uppgiften”, med chips som lyder ”API vs konsumentapp”, ”87,1 % uppgiftsframgång” och ”Inget offentligt röst-API”.
Guides & Insights

Eleven Realtime v1 Max vs Sesame Preview: Rösten som vinner örat förlorar uppgiften

Författare

Gideon Frost

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Fråga någon vilken röstassistent som låter mest mänsklig, så får du höra Sesame Preview. Fråga vilken modell ett företag kan sätta bakom ett telefonnummer, och svaret är Eleven Realtime v1 Max, en tal-till-tal-modell som tillkännagavs den 20 oktober 2026 och som löser 87,1 % av uppgifterna i en fast utvärdering, svarar på 0,57 sekunder och är tillgänglig via ElevenAgents eller ett OpenAI-kompatibelt Realtime API. Sesame Preview är en konsumentapp med fyra namngivna följeslagare och inget sätt att köpa rösten i den. De dokumenterade AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.

Det är inte en knockout, eftersom de två produkterna jagar olika saker och argumentet för Sesames röst är verkligt. Sesames forskare var tidiga och öppna med idén att samtalstajming – mm-hmm, överlappningen, viljan att ge vika mitt i meningen – är den kusliga dalen, inte klangfärgen. ElevenLabs dokumentation satsar på samma tes från motsatt håll: Mini beskrivs kunna avgöra om en talare har talat färdigt eller bara gör ett inpass. Två labb, en tes, motsatta affärsmodeller.

Det intressanta med jämförelsen är vad var och en faktiskt har mätt. E​levenLabs publicerar sex siffror och en utvärderingspartner. S​esame publicerar en upplevelse.

Vad var och en är, exakt

Eleven Realtime v1 Max är ett enda nätverk som utför igenkänning, turtagning, resonemang och röstgenerering tillsammans, avsett för komplexa uppgifter med verktygsanvändning i flera steg: kundsupport, leadkvalificering, assisterad schemaläggning. Dess billigare syskon, Eleven Realtime v1 Mini, är standard för nya ElevenAgents-agenter och syftar till naturlig konversation till lägre kostnad. Max kan nås på två sätt – från rullgardinsmenyn i ElevenAgents, där E​levenLabs hanterar LLM, T​TS-modell, ASR-leverantör och resonemangsinställningar åt dig, eller via ett Realtime API som talar O​penAI:s Realtime-händelseprotokoll över WebSocket på wss://api.elevenlabs.io/v1/convai/realtime.

S​esame Preview är en gratis konsumentinriktad röstassistent: fyra namngivna agenter – Maya, Miles, Simone, Charlie – tillgängliga på iOS och på webben, och beskrivs av nästan alla som provar den som marknadens mest naturliga röstassistent. Den behåller kontext mellan sessioner, söker på webben och ställer in påminnelser. Den bokar, köper eller arkiverar ingenting. Det finns ingen företagsnivå, inga publicerade priser och inget offentligt API för rösten du hör i appen.

Båda är full-duplex konversationssystem med turordning som är tillräckligt bra för att folk ska sluta lägga märke till den. Det är där likheten slutar och där frågan "vilket är bättre" inte längre har ett enda svar.

Siffrorna som en av dem har

Artificial Analysis utvärderade Eleven Realtime v1 Max oberoende med samma testrigg som det tillämpar på alla tal-till-tal-modeller. Det här är deras siffror, inte ElevenLabs:

• Talresonemang (Big Bench Audio) — Max 98,8 %

• Samtalsdynamik (Full-Duplex-Bench) – max 94,1 %

• Framgångsgrad för uppgifter — max 87,1 %

• Arenapreferens (Elo) — Max 997

• Tid till första ljudet – max 0,57 s

• Kostnad per timme för inmatat ljud — Max 4,80 $

• Agentisk prestanda (τ-Voice) — Max ej uppmätt

• Speech to Speech Index — Max inte poängsatt

A generated scoreboard titled 'Eleven Realtime v1 Max vs Sesame Preview - the scoreboard'. The Max column reads: Public voice API yes, Big Bench Audio 98.8%, task success 87.1%, Arena Elo 997, time to first audio 0.57s, price per hour $4.80. The Sesame Preview column reads: Public voice API no, consumer app, Big Bench Audio not scored, task success not scored, Arena Elo not scored, time to first audio not published, price per hour app only. Footer: 'Eleven figures per Artificial Analysis; Sesame Preview publishes no benchmark data.'

Sesame Preview förekommer inte på någon av dessa rader. Det har inget publikt API, så ingen oberoende testrigg kan köra det, och appens eget beteende har aldrig benchmarkats på uppgiftslösning eller latens av någon utanför Sesame. När folk säger att Sesame låter bättre rapporterar de ett lyssningsintryck, och det är ett legitimt sådant — det är helt enkelt inte samma mätning som en arena med en metodik och en preferensmodell bakom sig.

Det går åt båda hållen. 997 arena-Elo är en riktig siffra från riktiga lyssnare, och den placerar Max bakom Grok Voice 3.0:s 1 064, GPT-Live-1 (Sol, low):s 1 047 och Gemini 3.8 Live:s 1 078. ElevenLabs vinner raderna för resonemang och hastighet och vinner inte raden för preferens. Om din instinkt är att Sesames röst slår Max, är arenaresultatet förenligt med den instinkten – det råkade bara mätas mot andra API-modeller, inte mot Sesame.

Frågan om öppna vikter, vilket är där de flesta jämförelser går fel

Varje text som lovordar Sesames röst lovordar appen, och appens röst är en sluten produktionsmodell som Sesame aldrig har släppt som en endpoint. Det Sesame har öppnat källkoden för är CSM-1B, en konversationell talmodell på 1B i Moshi-familjen, under Apache-2.0. Det är ett syntesblock, inte en assistent: ett Llama-stamnät förutsäger den första Mimi-kodboken, en mindre Llama-dekoder förutsäger resten, och en Mimi-codec omvandlar det till en 24 kHz-vågform. Den är i första hand gjord för engelska, klonar en röst från ett kort referensklipp och kan inte generera text alls – du kombinerar den med en separat språkmodell.

Personer som har kört båda beskriver CSM-1B:s röst som klart svagare än Preview-appens, och Sesames eget modellkort stöder den tolkningen: en finjusterad variant av CSM driver den interaktiva demon, och den varianten är inte den checkpoint du kan ladda ner.

Screenshot of the Hugging Face model card for sesame/csm-1b in English, showing the text-to-speech tag, Apache-2.0 licence, 144,167 downloads last month and the model card and files tabs for the 1B conversational speech model.

Så här lyder den ärliga versionen av "S​esame vs E​levenLabs". S​esame har en vacker sluten röst som du inte kan anropa, och ett litet öppet syntesblock som du kan anropa, och de är inte samma modell. E​levenLabs har en anropbar modell vars röst är mätbart bra men inte den mest omtyckta, och ett pris. Asymmetrin som spelar roll för en byggare är inte vilken som låter bättre; det är vilken av dem som har en endpoint, och det är inte ens nära.

Var sammanslagningen dyker upp i produktion

E​levenLabs argument är att sammanslagningen av igenkänning, turtagning, resonemang och röst till ett enda finjusterat system tar bort de skarvar som en kaskad lämnar efter sig.

Screenshot of ElevenLabs' Speech to Speech landing page in English, headlined 'A new class of Speech to Speech models for building voice agents that sound natural', with the line 'Pick v1 Mini for natural conversations or v1 Max for complex tasks' and the claim that speech recognition, turn-taking, LLM and voice are tuned as one system.

I ElevenAgents är sammanslagningen bokstavlig och den har ett pris: när en Realtime-modell är inställd hanteras LLM, resonemangsinsats, tankebudget, parallella verktygsanrop, kaskadtidsgräns, TTS-modell, uttrycksläge och ASR-leverantör alla av ElevenLabs och ignoreras på agenten. En arbetsflödesnod kan inte åsidosätta dem, och agenten kan inte använda en anpassad LLM eller Amazon Bedrock alls. Välj modellen och du väljer hela stacken under den.

Efterlevnadsmatrisen är ojämn på ett sätt som kommer att förvåna dem som rullar ut detta över regioner:

• Dataplacering – Max körs i USA och EU men inte i Indien eller Singapore, där endast Mini erbjuds

• Zero Retention Mode och HIPAA – Max stöds i USA och EU; Mini stöds inte under någon av dem

• Tokenbegränsning — Max kräver 1 024 token eller ingen gräns, och arbetsflödesnoder kan inte åsidosätta den

• Agentöverföringar — en agent i Realtidsläge kan endast överföra till och från andra agenter i Realtidsläge, även om Mini-to-Max är tillåtet

• Transport — ingen WebRTC vid lansering; Realtime API är endast WebSocket

Dessa regler tillämpas vid publicering, inte vid sparning: ett utkast som bryter mot en regel sparas utan problem och misslyckas när du publicerar, med ett fel som namnger inställningen. Om du prototypar är det en mindre irritation. Om du levererar till en reglerad kö avgör det vilken variant du kan använda i vilken miljö, och den billigare är inte alltid den som uppfyller kraven.

Vilken hör hemma i din stack?

Välj Eleven Realtime v1 Max när rösten är ett medel för ett mål och samtalet måste ge ett resultat – supporttriage, schemaläggning, kvalificering. Du får en slutpunkt i dag, ett O​penAI-kompatibelt händelseprotokoll som gör migrering från en Realtime-integration till en ändring av två strängar, en uppmätt uppgiftsframgångsgrad på 87,1 %, den snabbaste starka resonemangsmodellen på leaderboarden och ett pris du kan beräkna till 4,80 $ per timme ljud. Acceptera att den fortfarande rullas ut gradvis, att dess agentiska beteende är omätt och att dess röst inte toppar preferensarenan.

Välj S​esame Preview när du studerar hur samtalskvalitet bör kännas, eller bygger en konsumentprodukt där samtalet är produkten. Den är gratis, den låter bäst av allt de flesta har provat, och det är ett utmärkt sätt att kalibrera din smak. Planera inte en integration kring den: det finns inget att integrera med, och CSM-1B är inte modellen i appen.

Välj CSM-1B endast om du vill ha ett öppet, självhostbart syntesblock och är beredd att bygga resten – en ASR, en språkmodell, ett turtagningslager – runt det. Det är Apache-2.0 och det är verkligen användbart i den rollen. Det är inte en konkurrent till Max och var aldrig tänkt att vara det.

Hybriden, och den hälft en router kan hjälpa till med

De flesta seriösa röstprodukter slutar med att blanda modeller i stället för att välja en. En naturligt klingande modell i de inledande och bekräftande turerna, där värme och latens märks; en uppgiftspålitlig modell i transaktionsturerna, där ett fel är en förlorad bokning. Varken Eleven Realtime eller S​esame gör det enkelt inom en enda anslutning – E​levenLabs Realtime API är en separat produkt från ElevenAgents och körs endast över WebSocket, och S​esame har inget API att blanda med.

Där ett routningslager verkligen förtjänar sin plats är ett lager ned, i det arbete som röstmodellen delegerar. På OrcaRouter är det 209 modeller från 16 uppströmsleverantörer bakom en enda nyckel, till leverantörslistpris utan påslag, med automatisk failover när en leverantör får fel. Modellfusion låter en panel svara tillsammans när en enskild modells bedömning inte räcker; routing-DSL:en komponerar flera till ett enda anrop. Eleven Realtime v1 Max självt finns inte i vår katalog – det finns ingen tredjepartsendpoint för den – så den ärliga gränsen är att vi kan routa hämtningen, sammanfattningen och analysen efter samtalet, inte rösten.

Det som skulle förändra den här artikeln är ett benchmark som mäter naturlighet på samma sätt som arenan mäter preferens, kört på både S​esame:s app och API-modellerna – eller en endpoint för S​esame:s produktionsröst. Vilken som helst av dem skulle göra ett val mellan åtkomst och upplevelse till en faktisk jämförelse. Fram till dess kan man anropa en av dessa modeller och bara beundra den andra, och det avgör mer än något lyssningstest.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen