Eleven Realtime v1 Max vs Sesame Preview: Suara yang Menang di Telinga Kalah dalam Tugas

Tanyakan kepada seseorang asisten suara mana yang terdengar paling manusiawi, dan Anda akan mendengar S​esame Preview. Tanyakan model mana yang dapat dipasang perusahaan di balik nomor telepon, dan jawabannya adalah Eleven Realtime v1 Max, model speech-to-speech yang diumumkan pada 20 Oktober 2026, yang menyelesaikan 87,1% tugas dalam evaluasi tetap, menjawab dalam 0,57 detik, dan tersedia melalui ElevenAgents atau O​penAI-compatible Realtime API. S​esame Preview adalah aplikasi konsumen dengan empat pendamping bernama dan tidak ada cara untuk membeli suara di dalamnya. Insiden AI dan kegagalan agen terdokumentasi di balik model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.

Itu bukan kemenangan telak, karena kedua produk mengejar hal yang berbeda dan argumen untuk suara Sesame memang nyata. Para peneliti Sesame termasuk yang mula-mula dan terbuka tentang gagasan bahwa timing percakapan — mm-hmm, tumpang tindih, kesediaan untuk mengalah di tengah kalimat — adalah uncanny valley, bukan timbre. Dokumentasi ElevenLabs memasang taruhan yang sama dari arah sebaliknya: Mini digambarkan mendeteksi apakah pembicara sudah selesai atau hanya menyela. Dua lab, satu tesis, model bisnis yang berlawanan.

Yang membuat perbandingan ini menarik adalah apa yang sebenarnya telah diukur oleh masing-masing pihak. {{1}}ElevenLabs menerbitkan enam angka dan satu mitra evaluasi.{{/1}} {{2}}Sesame menerbitkan sebuah pengalaman.{{/2}}

Apa masing-masingnya, secara tepat

Eleven Realtime v1 Max adalah satu jaringan yang melakukan pengenalan, giliran bicara, penalaran, dan pembuatan suara secara bersamaan, diposisikan untuk tugas kompleks dengan penggunaan alat multi-langkah: dukungan pelanggan, kualifikasi prospek, penjadwalan berbantuan. Saudaranya yang lebih murah, Eleven Realtime v1 Mini, adalah default untuk agen ElevenAgents baru dan menyasar percakapan natural dengan biaya lebih rendah. Max dapat diakses melalui dua cara — dari dropdown ElevenAgents, tempat ElevenLabs mengelola LLM, model TTS, penyedia ASR, dan pengaturan penalaran untuk Anda, atau melalui Realtime API yang menggunakan protokol peristiwa Realtime OpenAI melalui WebSocket di wss://api.elevenlabs.io/v1/convai/realtime.

Sesame Preview adalah asisten suara konsumen gratis: empat agen bernama — Maya, Miles, Simone, Charlie — tersedia di iOS dan web, yang oleh hampir semua orang yang mencobanya disebut sebagai asisten suara paling natural di pasar. Ia menyimpan konteks lintas sesi, mencari di web, dan menyetel pengingat. Ia tidak memesan, membeli, atau mengarsipkan apa pun. Tidak ada tier enterprise, tidak ada harga yang dipublikasikan, dan tidak ada API publik untuk suara yang Anda dengar di aplikasi.

Keduanya adalah sistem percakapan dupleks penuh dengan pergantian giliran yang cukup baik sehingga orang berhenti menyadarinya. Di situlah kemiripannya berakhir dan di situlah pertanyaan "mana yang lebih baik" tidak lagi memiliki satu jawaban tunggal.

Angka-angka yang dimiliki salah satunya

Artificial Analysis mengevaluasi Eleven Realtime v1 Max secara independen pada harness yang sama yang digunakan untuk setiap model speech-to-speech. Ini adalah angka dari Artificial Analysis, bukan dari E​levenLabs:

• Penalaran ucapan (Big Bench Audio) — Maks 98,8%

• Dinamika percakapan (Full-Duplex-Bench) — Maks 94,1%

• Tingkat keberhasilan tugas — Maks 87,1%

• Preferensi Arena (Elo) — Maks 997

• Waktu hingga audio pertama — Maks 0,57 dtk

• Biaya per jam audio masukan — Maks $4.80

• Kinerja agentik (τ-Voice) — Max tidak diukur

• Speech to Speech Index — Max tidak dinilai

S​esame Preview tidak muncul di satu pun baris ini. Produk ini tidak memiliki API publik, jadi tidak ada harness independen yang dapat menjalankannya, dan perilaku aplikasi itu sendiri belum pernah diuji benchmark untuk penyelesaian tugas atau latensi oleh siapa pun di luar S​esame. Ketika orang mengatakan S​esame terdengar lebih baik, mereka melaporkan kesan mendengarkan, dan itu adalah kesan yang sah — hanya saja itu bukan pengukuran yang sama dengan arena yang memiliki metodologi dan model preferensi di belakangnya.

Itu berlaku dua arah. Elo arena 997 adalah angka nyata dari pendengar nyata, dan itu menempatkan Max di belakang 1.064 milik G​rok Voice 3.0, 1.047 milik G​PT-Live-1 (Sol, low), dan 1.078 milik G​emini 3.8 Live. E​levenLabs menang pada baris penalaran dan kecepatan serta tidak menang pada baris preferensi. Jika instingmu mengatakan bahwa suara S​esame mengalahkan suara Max, hasil arena konsisten dengan insting itu — hanya saja hasil itu kebetulan diukur terhadap model API lain, bukan terhadap S​esame.

Pertanyaan open-weight, di sinilah sebagian besar perbandingan keliru

Setiap tulisan yang memuji suara Sesame sebenarnya memuji aplikasinya, dan suara aplikasi itu adalah model produksi tertutup yang belum pernah dirilis Sesame sebagai endpoint. Yang telah dirilis Sesame sebagai sumber terbuka adalah CSM-1B, model percakapan suara 1B dalam keluarga Moshi, di bawah Apache-2.0. Ini adalah blok sintesis, bukan asisten: backbone Llama memprediksi codebook Mimi pertama, decoder Llama yang lebih kecil memprediksi sisanya, dan codec Mimi mengubahnya menjadi gelombang audio 24 kHz. Model ini mengutamakan bahasa Inggris, mengkloning suara dari klip referensi singkat, dan sama sekali tidak dapat menghasilkan teks — Anda memadukannya dengan model bahasa terpisah.

Orang-orang yang telah menjalankan keduanya menggambarkan suara CSM-1B sebagai jelas lebih lemah daripada suara aplikasi Preview, dan kartu model Sesame sendiri mendukung tafsiran itu: varian CSM yang telah di-fine-tune menggerakkan demo interaktif, dan varian itu bukan checkpoint yang dapat Anda unduh.

Jadi versi jujur dari "Sesame vs ElevenLabs" adalah ini. Sesame punya suara tertutup yang indah tetapi tidak bisa Anda panggil, dan punya blok sintesis terbuka kecil yang bisa Anda panggil, dan keduanya bukan model yang sama. ElevenLabs punya model yang bisa dipanggil dengan suara yang terukur bagus tetapi bukan yang paling disukai, dan ada harganya. Asimetri yang penting bagi seorang pengembang bukanlah mana yang terdengar lebih baik; melainkan mana yang punya endpoint, dan soal itu tidaklah tipis.

Di mana merge muncul di produksi

E​levenLabs berargumen bahwa menggabungkan pengenalan, pengambilan giliran bicara, penalaran, dan suara ke dalam satu sistem yang telah disetel akan menghilangkan sambungan-sambungan yang tersisa pada pendekatan berantai.

Di ElevenAgents, penggabungannya bersifat literal dan ada konsekuensinya: selama model Realtime ditetapkan, LLM, upaya penalaran, anggaran berpikir, pemanggilan alat paralel, batas waktu cascade, model TTS, mode ekspresif, dan penyedia ASR semuanya dikelola oleh ElevenLabs dan diabaikan pada agen. Node workflow tidak dapat menimpanya, dan agen sama sekali tidak dapat menggunakan LLM kustom atau Amazon Bedrock. Pilih modelnya, dan Anda memilih seluruh tumpukan di bawahnya.

Matriks kepatuhannya tidak merata dengan cara yang akan mengejutkan orang-orang yang menerapkan ini di berbagai wilayah:

• Residensi data — Max beroperasi di AS dan UE, tetapi tidak di India atau Singapura, yang hanya menawarkan Mini

• Mode Retensi Nol dan HIPAA — Max didukung di AS dan UE; Mini tidak didukung dalam keduanya

• Batas token — Max memerlukan 1.024 token atau tanpa batas, dan node alur kerja tidak dapat menimpanya

• Transfer agen — agen Realtime-mode hanya dapat mentransfer ke dan dari agen Realtime-mode lain, meskipun Mini-to-Max diperbolehkan

• Transport — tanpa WebRTC saat peluncuran; Realtime API hanya WebSocket

Aturan-aturan itu ditegakkan saat publikasi, bukan saat menyimpan: draf yang melanggar salah satunya tetap tersimpan dengan baik dan baru gagal saat Anda memublikasikannya, dengan kesalahan yang menyebutkan setelan terkait. Jika Anda sedang membuat prototipe, itu hanya gangguan kecil. Jika Anda mengirim ke antrean yang teregulasi, itu menentukan varian mana yang dapat Anda gunakan di lingkungan mana, dan yang lebih murah tidak selalu yang patuh.

Yang mana yang cocok untuk stack Anda?

Pilih Eleven Realtime v1 Max ketika suara hanyalah sarana untuk mencapai tujuan dan panggilan harus menghasilkan suatu hasil — triase dukungan, penjadwalan, kualifikasi. Anda mendapatkan endpoint hari ini, protokol peristiwa yang kompatibel dengan O​penAI yang membuat migrasi dari integrasi Realtime hanya perlu mengubah dua string, tingkat keberhasilan tugas terukur sebesar 87,1%, penalar kuat tercepat di daftar, dan harga yang dapat Anda modelkan sebesar $4,80 per jam audio. Terimalah bahwa layanan ini masih dalam tahap peluncuran bertahap, bahwa perilaku agentiknya belum terukur, dan bahwa suaranya belum menduduki puncak arena preferensi.

Pilih Pratinjau S​esame saat Anda sedang mempelajari seperti apa kualitas percakapan yang seharusnya terasa, atau membangun produk konsumen yang percakapannya adalah produknya. Layanan ini gratis, ia adalah hal dengan suara terbaik yang pernah dicoba kebanyakan orang, dan cara yang bagus untuk mengkalibrasi selera Anda. Jangan merencanakan integrasi di sekitarnya: tidak ada yang bisa diintegrasikan, dan CSM-1B bukanlah model yang ada di aplikasi tersebut.

Pilih CSM-1B hanya jika Anda menginginkan blok sintesis yang terbuka dan dapat dihosting sendiri serta siap membangun sisanya — ASR, model bahasa, lapisan giliran bicara — di sekitarnya. Ini berlisensi Apache-2.0 dan benar-benar berguna dalam peran tersebut. Ini bukan pesaing Max dan memang tidak pernah dimaksudkan sebagai pesaing.

Yang hibrida, dan separuh yang dapat dibantu oleh router

Sebagian besar produk voice yang serius akhirnya mencampur model alih-alih memilih satu. Model yang terdengar natural pada giliran pembuka dan pengakuan, tempat kehangatan dan latensi terasa; model yang andal untuk tugas pada giliran transaksi, tempat kesalahan berarti pemesanan yang hilang. Baik Eleven Realtime maupun S​esame tidak membuat itu mudah dalam satu koneksi — E​levenLabs' Realtime API adalah produk terpisah dari ElevenAgents dan hanya berjalan melalui WebSocket, dan S​esame tidak memiliki API untuk dicampur.

Di mana lapisan routing benar-benar mendapatkan tempatnya adalah satu lapisan di bawah, pada pekerjaan yang didelegasikan oleh model suara. Di OrcaRouter, itu berarti 209 model dari 16 penyedia upstream di balik satu kunci, dengan harga daftar penyedia tanpa markup, dengan failover otomatis saat penyedia mengalami error. Model fusion memungkinkan panel menjawab bersama ketika penilaian satu model tidak cukup; DSL routing menyusun beberapa model menjadi satu panggilan. Eleven Realtime v1 Max sendiri tidak ada di katalog kami — tidak ada endpoint pihak ketiga untuk itu — jadi batas yang jujur adalah bahwa kami dapat merutekan pengambilan, peringkasan, dan analisis pasca-panggilan, bukan suaranya.

Yang akan mengubah artikel ini adalah tolok ukur yang mengukur kealamian sebagaimana arena mengukur preferensi, yang dijalankan pada aplikasi Sesame dan model-model API — atau endpoint untuk suara produksi Sesame. Salah satu saja akan mengubah pilihan antara akses dan pengalaman menjadi perbandingan yang sebenarnya. Sampai saat itu, salah satu model ini bisa Anda panggil dan yang lain hanya bisa Anda kagumi, dan itu lebih menentukan daripada uji mendengarkan apa pun.