Kartu judul bertuliskan 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live' dengan subjudul '12.8% dan 4.00% bukanlah angka yang sama'. Di bawahnya terdapat dua batang horizontal berlabel 'PriMock57 clinical mock consultations' pada 12.8% dan 'Artificial Analysis general speech' pada 4.00%, masing-masing batang ditandai dengan tolok ukur terkait dan dipisahkan oleh pembatas vertikal bergaris putus-putus.
Guides & Insights

Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live: 12,8% dan 4,00% Bukanlah Angka yang Sama

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Tempatkan 12,8% milik Scribe v3 Live Medical di samping 4,00% milik Gemini 3.5 Transcribe Live, dan pertanyaan tentang transkripsi streaming tampak sudah tuntas menguntungkan Google sebesar tiga kali lipat. Kenyataannya tidak demikian, dan alasannya adalah hal paling berguna di halaman ini: kedua angka itu diukur pada audio yang berbeda, oleh organisasi yang berbeda, untuk tujuan yang berbeda. Angka 12,8% adalah tingkat kesalahan kata ElevenLabs pada PriMock57 — 57 rekaman konsultasi simulasi perawatan primer, penuh dengan nama obat, dosis, dan kalimat yang belum selesai. Angka 4,00% adalah tingkat kesalahan kata streaming dari Artificial Analysis untuk Gemini 3.5 Transcribe Live pada perangkat uji pidato umumnya, dengan waktu 0,40 detik menuju transkrip akhir. Yang satu adalah konsultasi klinis; yang lain adalah rangkaian tolok ukur. Membandingkan keduanya sama dengan kesalahan membandingkan konsumsi bahan bakar mobil di lintasan dengan konsumsi bahan bakar di lalu lintas kota lalu menyimpulkan bahwa mesinnya berubah.

Singkirkan perbandingan langsung yang keliru, dan masih ada pilihan nyata, yang soal penerapan, bukan akurasi. Gemini 3.5 Transcribe Live adalah model yang Anda panggil: gemini-3.5-transcribe-live, sebuah endpoint WebSocket dengan harga per menit yang dipublikasikan, tier gratis, dan batas sesi sepuluh menit. Scribe v3 Live Medical adalah model yang sama sekali tidak dapat Anda panggil — model ini hanya ada sebagai opsi ASR di dalam ElevenAgents, dalam akses awal, tanpa ID model dan tanpa tarif sendiri. Yang satu adalah infrastruktur. Yang lain adalah fitur dari platform agen. Mana yang Anda inginkan bergantung pada apakah Anda sedang membangun alat transkripsi atau membeli agen telepon.

Apa yang sebenarnya diterbitkan oleh masing-masing pihak

Perbandingan spesifikasi, dimensi demi dimensi, sebagaimana dinyatakan oleh masing-masing vendor:

• Akses — Gemini 3.5 Transcribe Live adalah endpoint WebSocket Live API (gemini-3.5-transcribe-live) dengan tier gratis; Scribe v3 Live Medical hanya dapat dipilih di pengaturan Automatic Speech Recognition agen ElevenAgents, dan tidak melalui API Speech to Text.

• Harga — Gemini 3.5 Transcribe Live adalah $3.50 per juta token masukan audio dan $21.00 per juta token keluaran teks, yang diperkirakan Google masing-masing sebesar $0.005 dan $0.004 per menit, sekitar $0.009 per menit secara gabungan; Scribe v3 Live Medical tidak memiliki harga terpisah dan sudah termasuk dalam harga ElevenAgents.

• Akurasi — Gemini: WER streaming 4,00% pada 0,40 detik hingga hasil akhir, menurut Artificial Analysis; Scribe: WER 12,8% pada PriMock57, dijalankan oleh vendor, dibandingkan dengan 15,5%–17,2% untuk empat model real-time pesaing.

• Adaptasi domain — Gemini: pembobotan kosakata khusus pada versi batch terkait, dengan diarisasi dan stempel waktu kata yang dijelaskan pada kartu Gemini 3.5 Transcribe; Scribe: fine-tune klinis plus hingga 10.000 istilah khusus tanpa biaya tambahan.

• Bahasa — Gemini: 85+ bahasa dengan pengalihan di tengah aliran; Scribe: 90+ bahasa, peningkatan medis diukur dalam bahasa Inggris, Prancis, dan Jerman.

• Bentuk sesi — Gemini: sesi WebSocket dibatasi hingga sepuluh menit; Scribe: berlangsung selama percakapan agen.

• Kepatuhan — Gemini: tidak ada posisi medis atau HIPAA yang dapat kami temukan dalam dokumentasi model; Scribe: memenuhi syarat HIPAA dengan BAA dan Mode Tanpa Retensi, disertai peringatan eksplisit agar tidak mengirim PHI ke model real-time akses awal hingga kelayakannya sendiri terkonfirmasi.

Dua dari baris-baris itu menentukan sebagian besar keputusan nyata, dan keduanya bukanlah akurasi. Batas sepuluh menit bersifat arsitektural: sesi harus disambung untuk apa pun yang lebih lama daripada survei pusat panggilan, dan titik sambungnya menjadi masalah Anda. Tidak adanya harga untuk model ElevenLabs adalah hal lainnya: Anda tidak dapat memasukkannya ke dalam daftar tarif, karena harga itu berada di dalam langganan yang juga menagih LLM, teleponi, dan suara.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Mengubah baris akurasi menjadi sesuatu yang dapat Anda gunakan

Ada cara yang sah untuk membandingkan keduanya, dan cara itu menuntut Anda menjalankannya sendiri—justru hal yang ingin dihindarkan oleh grafik pemasaran tersebut. Namun, yang dapat dikatakan dari bukti yang dipublikasikan lebih terbatas:

Secara khusus pada percakapan klinis, ElevenLabs memiliki angka terukur dan Google tidak. Itu bukan klaim bahwa Gemini 3.5 Transcribe Live buruk dalam nama obat — itu adalah klaim bahwa belum ada yang menerbitkan angka setara PriMock57 untuknya. Mekanisme kosakata khusus Google adalah alat yang ditawarkannya untuk persis masalah ini, dan bias kosakata pada model batch sudah didokumentasikan; pada endpoint Live dokumentasinya lebih tipis dibandingkan pada saudara batch-nya, dan fitur diarisasi serta stempel waktu kata yang dijelaskan pada kartu Gemini 3.5 Transcribe yang digunakan bersama tidak dikonfirmasi secara eksplisit per endpoint.

Pada audio percakapan umum, Google memiliki angka yang diterbitkan secara independen dan ElevenLabs memiliki angka yang dijalankan vendor. Angka 4,00% berasal dari pelacak dengan harness tetap dan puluhan model; angka 12,8% berasal dari satu set 57 konsultasi yang dipilih dan dijalankan oleh ElevenLabs. Keduanya berguna. Tidak satu pun tetap valid jika dikurangkan dari yang lain.

Versi praktisnya: jika beban kerja Anda adalah panggilan klinis, pinjam sampel rekaman Anda sendiri bergaya PriMock57 — dua pembicara, formularium nyata di ruangan, setidaknya satu penelepon membacakan ID anggota — lalu jalankan keduanya. Jika itu transkripsi streaming serbaguna dengan sedikit jargon, angka yang dipublikasikan Google adalah titik awal yang lebih dapat diaudit dan bias kosakatanya akan menanggung sebagian besar beban domain.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

Perbedaan klinisnya terletak pada jeda, bukan pada kata-katanya.

Fitur yang dibangun ElevenLabs yang tidak dijelaskan dalam dokumentasi Google adalah prediksi giliran. Model giliran Scribe v3 Live Medical menggunakan konteks percakapan, bukan hanya keheningan, untuk menentukan bahwa penelepon telah selesai berbicara—inilah perbedaan antara agen yang menjawab setelah "ID anggota saya 4-4-2" dan agen yang menunggu digit terakhir. Contoh-contoh dari ElevenLabs sendiri justru merupakan string yang merusak endpointing berbasis keheningan: ID anggota, tanggal lahir, nomor telepon, dosis yang dieja.

Gemini 3.5 Transcribe Live mendorong masalah yang sama satu lapisan lebih tinggi di tumpukan. Dokumentasinya menggambarkannya sebagai model transkripsi streaming dua arah; di mana giliran berakhir ditentukan oleh kerangka agen apa pun yang berada di atasnya, dan narasi agen suara Google mengalir melalui penanganan giliran milik Live API sendiri alih-alih model giliran yang khusus untuk transkripsi. Itu arsitektur yang sangat baik sekaligus berbeda: Anda yang memiliki logika endpointing-nya, dan Anda yang akan menyetelnya. Pada panggilan klinis ketika pasien berhenti di tengah gejala untuk berpikir, penyetelan itu bukan sekadar kosmetik.

Perbandingan biaya, dilakukan secara jujur

Meteran Google cukup transparan untuk dijadikan dasar perhitungan angka. Ambil contoh klinik yang menjalankan 40 jam panggilan langsung per hari, 22 hari sebulan: 52.800 menit. Dengan estimasi $0,009 per menit secara gabungan, itu sekitar $475 sebulan untuk komponen transkripsi, dan itu adalah pos biaya yang dapat Anda perkirakan, batasi, dan diperdebatkan saat perpanjangan.

Sisi ElevenLabs tidak menghasilkan angka yang sebanding, dan siapa pun yang menyebutkan angka tersebut hanya menduga-duga. Acuan terdekat yang dipublikasikan adalah daftar tarif API — Scribe v3 Live sebesar $0,22 per jam, keyterm prompting $0,08 per jam — tetapi Scribe v3 Live Medical tidak dijual dengan cara itu. Layanan itu berada di dalam ElevenAgents, dengan harga per menit percakapan, dan percakapan tersebut mencakup token LLM, sintesis suara, dan teleponi. Pengemasan itu bisa menjadi diskon atau lock-in, tergantung pada apa yang seharusnya Anda rangkai sendiri, dan hal itu tidak dapat dipastikan hanya dari halaman harga.

Satu hal yang memang tetap berlaku: jika Anda akhirnya menjalankan keduanya — Google untuk transkripsi, LLM pilihan Anda untuk penalaran — bagian kedua itulah tempat keputusan routing berada. OrcaRouter menyediakan 215 model di balik satu API yang kompatibel dengan OpenAI dengan markup 0%, harga daftar penyedia diteruskan tanpa perubahan, sehingga model yang membaca transkrip Gemini dapat ditukar atau dialihkan tanpa menyentuh kode ASR. Kami tidak menyediakan salah satu model transkripsi tersebut di halaman ini, dan tidak ada angka di atas yang merupakan harga kami.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Mana yang harus dipilih

Pilih Gemini 3.5 Transcribe Live jika Anda membangun produk alih-alih membelinya. Dari kedua opsi tersebut, hanya ini model yang dapat dipanggil dengan harga yang dipublikasikan, tier gratis untuk evaluasi, dan endpoint yang dapat Anda pasang di belakang loop agen Anda sendiri. Batas sesi sepuluh menit adalah kendala yang perlu diperhitungkan dalam desain, dan tidak adanya tolok ukur klinis adalah celah yang perlu ditutup dengan audio Anda sendiri dan daftar kosakata khusus.

Pilih Scribe v3 Live Medical jika Anda sudah memutuskan bahwa agen tersebut adalah masalah ElevenLabs — dan jika posisi kepatuhan Anda mengizinkan model akses awal, yang menurut dokumentasi saat ini tidak diizinkan untuk PHI sampai kelayakannya dikonfirmasi. Fine-tune klinis dan model turn adalah keunggulan nyata dalam panggilan pasien langsung, dan selisih PriMock57 terhadap model real-time pesaing merupakan bukti terpublikasi terkuat bahwa adaptasi klinis memang membantu. Namun itu sama sekali bukan bukti tentang Gemini, dan Gemini bukan bukti tentang itu.

Angka yang patut diperhatikan bukanlah WER mana pun. Yang menjadi pertanyaan adalah apakah Scribe v3 Live Medical suatu saat nanti mendapatkan ID modelnya sendiri. Begitu hal itu terjadi, perbandingan ini menjadi hal yang biasa — dua endpoint yang dapat dipanggil, dua meter, satu benchmark yang bisa Anda jalankan — dan angka 12,8% itu menjadi sesuatu yang benar-benar dapat diperiksa oleh pembeli.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari