Eleven Realtime v1 Max vs GPT-Live-1: Kesenjangan Tolok Ukur Itu Merugikan ElevenLabs

Siaran pers untuk Eleven Realtime v1 Max mengedepankan angka 98,8% pada Big Bench Audio dan respons 0,57 detik. Kedua angka itu benar, keduanya yang terbaik di kelasnya, dan keduanya tidak relevan ketika pembandingnya adalah G​PT-Live-1 — karena tolok ukur yang menentukan agen suara di produksi bukanlah penalaran ucapan, dan pada tolok ukur itu model O​penAI menang dengan selisih yang cukup lebar untuk menenggelamkan keunggulan 0,7 detik yang dijual E​levenLabs. Insiden AI dan kegagalan agen terdokumentasi di balik model-model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, tempat setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan tanda status diperdebatkan.

Jalankan harness Artificial Analysis yang sama pada keduanya dan pembagiannya jelas. Eleven Realtime v1 Max unggul dalam penalaran ucapan, 98,8% berbanding 89%, dan dalam kecepatan, 0,57 detik berbanding 1,24. GPT-Live-1 unggul dalam penyelesaian tugas agentik, 59,3% berbanding tidak terukur, dalam dinamika percakapan, 97,3% berbanding 94,1%, dalam preferensi arena, 1.047 Elo berbanding 997, dalam keberhasilan tugas, 90,9% berbanding 87,1%, dan dalam indeks komposit, 80,1 berbanding tidak ada sama sekali.

{{1}}Angka terakhir itu bukan retoris. Eleven Realtime v1 Max tidak memiliki skor Speech to Speech Index, karena indeks tersebut memerlukan keempat komponen dan uji agentic τ-Voice belum dipublikasikan untuknya. G​PT-Live-1 memiliki indeks. Itu adalah yang tertinggi di papan peringkat.{{/1}}

Papan skor lengkap, berdampingan

Semua baris adalah pengukuran Artificial Analysis pada harness miliknya sendiri kecuali diberi label lain. Angka Eleven Realtime berasal dari pengumuman 20 Oktober 2026; ketersediaan API G​PT-Live-1 bertanggal 10 September 2026, dengan model itu sendiri dirilis di ChatGPT pada 8 Juli.

• Indeks Speech to Speech — Eleven Realtime v1 Max tidak dinilai vs GPT-Live-1 (Sol, rendah) 80.1

• Penalaran ucapan (Big Bench Audio) — Max 98,8% vs G​PT-Live-1 89%

• Performa agentik (τ-Voice) — Max tidak diukur vs G​PT-Live-1 59,3%

• Dinamika percakapan — Max 94,1% vs G​PT-Live-1 97,3%

• Tingkat keberhasilan tugas — Max 87,1% vs GPT-Live-1 90,9%

• Preferensi Arena (Elo) — Max 997 vs G​PT-Live-1 1,047

Waktu hingga audio pertama — Max 0,57 dtk vs G​PT-Live-1 1,24 dtk

• Biaya per jam audio masukan — Max $4.80 vs G​PT-Live-1 $4.47

• Transportasi — Max WebSocket hanya saat peluncuran vs GPT-Live-1 WebRTC saja

Satu baris lebih dekat daripada yang tampak dari judulnya: biaya. $4,80 dibandingkan $4,47 per jam audio menempatkan kedua model ini dalam kisaran harga yang sama, kebalikan dari cerita yang didapat saat membandingkan Eleven Realtime dengan $0,84 milik G​emini 3.8 Live. Pada perbandingan O​penAI, premi E​levenLabs adalah 7%.

Mengapa skor penalaran menunjuk ke arah yang salah

Big Bench Audio adalah 1.000 pertanyaan audio yang diadaptasi dari Big Bench Hard dalam empat kategori — kekeliruan formal, navigasi, penghitungan objek, dan kumpulan soal cerita boolean. Model mendengar sebuah pertanyaan dan menjawab secara lisan, lalu jawabannya dinilai benar atau salah. Ini mengukur seberapa baik model bernalar tentang konten audio, yang tidak sama dengan seberapa baik model menjalankan percakapan atau menyelesaikan tugas.

Max dengan 98,8% berada di posisi ketiga pada papan peringkat itu, di belakang StepAudio 3 Realtime (100%) dan Q​wen Audio 3.0 Realtime Plus (99,2%), serta di depan Qwen3.5 Omni Plus Realtime (98,7%) dan G​rok Voice 3.0 (98,5%). G​PT-Live-1 dengan 89% berada di posisi kedua belas. Jika tugas agen Anda adalah mendengarkan deskripsi lisan yang panjang dan menjawab pertanyaan tentangnya, selisih sembilan poin itu signifikan dan E​levenLabs adalah pilihan yang lebih baik.

Tetapi E​levenLabs tidak menjual Max untuk itu. Halamannya sendiri memosisikan Max untuk "tugas kompleks" dengan "penggunaan alat multi-langkah" — dukungan pelanggan, kualifikasi prospek, penjadwalan berbantuan. Itu adalah wilayah τ-Voice, dan τ-Voice adalah tempat Max tidak memiliki angka dan G​PT-Live-1 memiliki 59,3%.

Angka O​penAI juga perlu disertai peringatannya sendiri, dan dokumentasi O​penAI sendiri menyediakannya: bukti penerapan yang dipublikasikan masih minim. Tolok ukur dukungan suara perbankan yang dilaporkan O​penAI saat peluncuran API menempatkan tingkat kelulusan G​PT-Live-1 pada 32%, dibandingkan 12,4% untuk G​PT-Realtime-2.1. Tingkat kelulusan 32% merupakan peningkatan besar dan tetap berarti sistem gagal dalam dua pertiga alur kerja yang diregulasi. Angka τ-Voice dari Artificial Analysis lebih berguna karena dijalankan pada harness yang sama, tetapi itu skor di pertengahan, bukan penobatan.

Di mana keunggulan G​PT-Live-1 bersifat struktural, bukan marginal

Kesenjangan dinamika percakapan sebesar 3,2 poin dan kesenjangan Elo arena sebesar 50 poin berasal dari pilihan arsitektural yang tidak diambil oleh E​levenLabs. G​PT-Live-1 bersifat dupleks penuh dalam arti ketat: ia mendengarkan dan berbicara pada garis waktu yang sama, dan ketika penelepon menanyakan sesuatu yang memerlukan pekerjaan nyata, ia meneruskan tugas itu melewati batas asinkron ke model backend terpisah yang terus berpikir sementara percakapan lisan berlanjut. Lapisan suara adalah front end. Penalaran terjadi di tempat lain dan kembali menyatu saat sudah siap.

Desain itulah yang membuat G​PT-Live-1 dapat menjalankan pemanggilan alat tanpa saluran menjadi senyap, dan itulah juga sebabnya skor penalarannya lebih rendah: model yang menjawab pertanyaan Big Bench bukanlah model yang melakukan pemikiran mendalam dalam sesi nyata. Eleven Realtime Max mengambil taruhan sebaliknya. Satu jaringan menangani pengenalan, pengambilan giliran, penalaran, dan suara, yang membuatnya bisa mencapai 0,57 detik — tidak ada serah-terima yang harus ditunggu — dan yang membatasi seberapa banyak penalaran dapat terjadi sebelum penelepon menyadari jedanya.

Taruhan mana yang tepat bergantung pada apakah anggaran latensi atau anggaran penyelesaian tugas Anda yang lebih ketat. Untuk agen penjadwalan yang harus memeriksa kalender, mengonfirmasi slot, dan menulis catatan, model handoff unggul dalam hal penyelesaian. Untuk tutor yang menjawab pertanyaan lisan dalam satu tarikan napas, model gabungan unggul dalam hal rasa.

Detail penagihan dan transportasi yang menentukan integrasi

G​PT-Live-1 menagih tarif tetap $0,05 per menit suara, ditagih per detik, dengan inisialisasi sesi menagih 15 detik di muka dan mengkreditkannya terhadap durasi berikutnya. Model penalaran backend ditagih terpisah dengan tarif normalnya sendiri, sehingga lapisan suara yang murah tetap dapat menghasilkan panggilan yang mahal. OrcaRouter tidak dapat merutekan lapisan suara — endpoint Live Sessions di v1/live/sessions hanya milik O​penAI — tetapi separuh backend hanyalah panggilan model lain, dan di OrcaRouter itu adalah 209 model dari 16 penyedia pada satu kunci dengan harga daftar penyedia tanpa markup, dengan failover jika backend pilihan Anda mengalami error di tengah panggilan.

Eleven Realtime menagih dengan cara sebaliknya: ElevenAgents standar per menit ditambah token input, input yang di-cache, dan output dengan tarif model Realtime, dengan Max lebih mahal per token daripada Mini. Tarif per menit kedua model tidak dipublikasikan di halaman harga E​levenLabs; dasbor menampilkan perkiraan, dan $4.80 dari Artificial Analysis adalah angka yang dinormalisasi, bukan harga daftar.

Transport adalah asimetri yang lebih tajam. API Eleven Realtime kompatibel dengan OpenAI-Realtime melalui WebSocket — contoh dari dokumentasinya sendiri mengimpor OpenAIRealtimeWebSocket dari @openai/agents-realtime dan mengarahkannya ke wss://api.elevenlabs.io/v1/convai/realtime. GPT-Live-1 hanya WebRTC, dan menguji jalur Realtime yang lebih lama dengan ID model GPT-Live mengembalikan error yang menyatakan sesi memerlukan WebRTC. Jadi kompatibilitasnya hanya satu arah: klien OpenAI Realtime dapat pindah ke ElevenLabs dengan perubahan endpoint, tetapi klien OpenAI Realtime tidak dapat pindah ke GPT-Live-1 tanpa menulis ulang transport. Tim yang bermigrasi ke GPT-Live-1 sedang menulis handshake RTCPeerConnection, kanal data oai-events, dan pertukaran offer di sisi server; tim yang bermigrasi ke Eleven Realtime hanya mengedit dua string.

Peringatan peluncuran di sisi E​levenLabs

Dokumentasi E​levenLabs menambahkan batasan yang tidak disebutkan dalam liputan peluncuran mana pun:

• Ketersediaan — Model Realtime sedang "diluncurkan secara bertahap"; ruang kerja tanpa pengaturan mode Voice akan menerima balasan dari API berupa "Model Realtime tidak tersedia untuk ruang kerja ini"

• Residensi data — Max tersedia di AS dan UE, tetapi tidak di India atau Singapura, yang hanya menawarkan Mini

• Kepatuhan — Zero Retention Mode dan dukungan HIPAA untuk Max di AS dan UE; Mini tidak mendukung keduanya

• Pengaturan terkelola — LLM, upaya penalaran, anggaran berpikir, panggilan alat paralel, model T​TS, mode ekspresif, dan penyedia ASR semuanya dikendalikan oleh E​levenLabs saat model Realtime ditetapkan, dan node alur kerja tidak dapat menimpanya

• LLM Kustom — Mode real-time tidak tersedia saat agen menggunakan LLM kustom atau Amazon Bedrock

G​PT-Live-1 memiliki batasan tersendiri yang lebih ketat dalam satu hal dan lebih longgar dalam hal lain: tidak ada Chat Completions, tidak ada Responses, tidak ada lapisan kompatibilitas Realtime, tidak ada fine-tuning, dan tidak ada input gambar atau video, tetapi batas tier-nya dinyatakan dalam sesi bersamaan — 25 pada Tier 1 naik menjadi 500 pada Tier 5 — bukan permintaan per menit.

Siapa yang harus memilih yang mana

Pilih GPT-Live-1 ketika agen harus menyelesaikan pekerjaan: pemesanan, perubahan, pengembalian dana, apa pun yang berujung pada penulisan ke basis data. Model ini memiliki tingkat keberhasilan tugas yang lebih tinggi, preferensi arena yang lebih tinggi, indeks komposit yang lebih tinggi, dan biaya per jam yang lebih rendah, serta merupakan satu-satunya dari kedua model tersebut yang memiliki skor agentic yang dipublikasikan. Siapkan anggaran untuk penulisan ulang WebRTC dan untuk tagihan terpisah model backend.

Pilih Eleven Realtime v1 Max ketika percakapan adalah produknya dan penalarannya dangkal: tutor, karakter, saluran dukungan tempat keluhan justru ditimpa pembicaraan. Anda mendapatkan penalar kuat tercepat di papan peringkat, migrasi paling sederhana dari integrasi OpenAI Realtime yang sudah ada, dan premi harga 7% dibandingkan GPT-Live-1 alih-alih premi 5,7× dibandingkan Gemini. Anda menerima bahwa perilaku agentiknya belum terukur dan bahwa peluncurannya masih parsial.

Hasil yang akan membalikkan tulisan ini adalah skor τ-Voice untuk Max. E​levenLabs meminta agar dipercaya sebagai model yang mampu menyelesaikan tugas berdasarkan kekuatan tolok ukur penalaran; tolok ukur tugas itu sudah ada, telah dijalankan pada sepuluh model suara lain, dan belum dijalankan pada model ini. Itu adalah celah dalam bukti, bukan pada model — tetapi celah itulah yang menentukan mana dari kedua ini yang harus Anda hadapkan kepada pelanggan yang membayar.