Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo: Ukuran 40× untuk Satu Poin WER

Jika pekerjaan transkripsi Anda adalah folder klip wawancara mono berdurasi tiga menit dan mesin yang Anda miliki adalah kartu workstation 24GB, perbandingan antara Nemotron 3.5 Transcribe dan Whisper Large v3 Turbo sudah dipastikan sebelum akurasi ikut diperhitungkan. Model baru NVIDIA adalah sistem ucapan 34 miliar parameter yang divalidasi pada akselerator 80GB. Varian turbo OpenAI adalah model 809 juta parameter yang muat dalam 0,8GB bobot int8 dan berjalan di CPU. Keduanya dibandingkan minggu ini karena tingkat kesalahan mereka hanya berselisih sekitar satu poin, dan itu adalah fakta yang paling tidak berguna tentang pasangan tersebut.

Nemotron 3.5 Transcribe dirilis pada 2026-10-28 sebagai bobot terbuka di bawah lisensi OpenMDW-1.1, yang mengizinkan penggunaan komersial. Whisper Large v3 Turbo berasal dari 2024-10-01 dan berlisensi MIT; ini bukan berita baru, melainkan tolok ukur yang menjadi pembanding setiap model suara baru. Pertanyaan yang dijawab artikel ini bukanlah mana yang skornya lebih baik — kedua vendor ingin Anda membacanya seperti itu — melainkan mana yang benar-benar bisa Anda jalankan, dengan biaya berapa, pada audio yang Anda miliki.

Apa sebenarnya masing-masing model

Perbedaan arsitektur itu bukanlah kesenjangan generasi. Itu adalah perbedaan kategori, dan itu menjelaskan hampir setiap konsekuensi yang timbul di hilir.

• Arsitektur — LLM mixture-of-experts hybrid Mamba–Transformer dengan encoder ucapan dan encoder diarisasi 99M yang dibekukan dipasang di dalamnya, total sekitar 34B dengan 4,3B aktif per token, versus encoder–decoder yang didistilasi dari large-v3 dengan decoder-nya dipangkas dari 32 lapisan menjadi 4.

• Jendela audio — rekaman hingga satu jam diproses dalam satu lintasan, dibandingkan dengan jendela tetap 30 detik dengan dekode bentuk panjang secara terpotong untuk apa pun yang lebih lama.

• Label pembicara — terpasang di dalam keluaran, hingga 8 pembicara, dalam 13 bahasa, versus tidak ada sama sekali; Whisper tidak memiliki token pembicara dalam kosakatanya, sehingga diarizer terpisah wajib digunakan.

• Penentuan waktu tingkat kata — adaptor CTC ringan menyelaraskan transkrip yang sudah selesai dengan audio, dibandingkan dengan hanya token stempel waktu tingkat segmen, dengan penentuan waktu kata memerlukan penyelarasan paksa.

• Cakupan bahasa — 40 bahasa ditranskripsikan, 31 diterjemahkan ke atau dari bahasa Inggris, 13 dengan atribusi pembicara, dibandingkan dengan 99 bahasa ditranskripsikan dan tanpa terjemahan.

Bobot di disk — sekitar 68GB dalam BF16 di bawah OpenMDW-1.1, versus 1,6GB pada fp16, 0,81GB int8, di bawah MIT.

Angka akurasi tidak selaras, dan itulah intinya

Artificial Analysis menjalankan satu-satunya indeks publik tempat kedua model muncul pada skala yang sama, dan angka-angkanya layak dibaca dengan cermat karena saling bertentangan. Pada tabel papan peringkat, Whisper Large v3 Turbo tercatat 4,6% AA-WER pada satu endpoint inferensi cepat dan 5,5% pada endpoint kedua. Nemotron 3.5 Transcribe tercatat 3,4% untuk endpoint yang dihosting. Pengumuman NVIDIA sendiri menyebut 2,80% AA-WER, berbagi posisi pertama di antara model open-weight, dan bagian prosa papan peringkat yang sama mengulang 2,8% sementara tabelnya mencantumkan 3,4% — ketidaksesuaian dalam satu halaman yang sama, bahkan sebelum siapa pun mulai membandingkan vendor.

Jika tabel diterima apa adanya, Nemotron 3.5 Transcribe kira-kira 1,2 poin lebih baik. Sekarang perhatikan bahwa dua entri Whisper Large v3 Turbo sendiri berbeda 0,9 poin pada model yang identik. Sebagian besar selisih yang tampak antara kedua sistem ini adalah konfigurasi endpoint — batching, pengaturan decoding, pra-pemrosesan audio — bukan arsitektur. Siapa pun yang mengutip selisih WER tunggal sebagai putusan sedang mengutip angka yang bergeser hampir sebesar itu ketika Anda mengganti host.

Open ASR Leaderboard menyampaikan cerita yang terdengar lebih besar. Rata-rata short-form bahasa Inggris Whisper Large v3 Turbo berada di sekitar 7,8% di sana, sementara NVIDIA melaporkan 4,71% untuk modelnya di sembilan set uji pada halaman riset, dan WER bahasa Inggris rata-rata 5,33% dalam posting Hugging Face yang menyertainya. Itu adalah campuran uji yang berbeda dengan normalisasi yang berbeda, jadi selisih tiga poin tersebut paling jauh hanya bersifat indikatif. Yang lebih penting adalah apa yang tidak ada: perbandingan langsung antarvendor terhadap Whisper Large v3 Turbo. NVIDIA membandingkan modelnya dengan sistem diarisasi bertingkat dan dengan model ucapan berbobot terbuka lainnya, bukan dengan checkpoint turbo yang dijalankan sebagian besar tim saat ini. Setiap angka "mengalahkan Whisper" yang beredar adalah inferensi lintas benchmark, termasuk milik kami.

Kesenjangan kapabilitas yang tidak dapat ditutup Whisper

Mengesampingkan output yang digerakkan oleh prompt, perbedaan yang menentukan adalah bahwa Nemotron 3.5 Transcribe menghasilkan transkrip dengan atribusi pembicara dalam satu proses. Tag pembicara berasal dari encoder diarisasi yang dibekukan dan dipadukan ke dalam fitur audio, respons membawa segmen pembicara mentah bersama transkrip yang diberi tag, dan model memberi label sebagai <spk:0> hingga <spk:7>. Untuk podcast dua orang, ini sekadar kemudahan. Untuk sidang disipliner selama 60 menit, kunjungan klinisi, atau panggilan penjualan multipihak, inilah inti produknya.

Whisper Large v3 Turbo sama sekali tidak dapat merepresentasikan pembicara. Transkrip pelatihannya tidak pernah membawa label pembicara, dan inputnya dicampur turun ke mono 16kHz, yang menghancurkan satu isyarat fisik yang mungkin masih bertahan. Jika diminta menghasilkan label, ia akan mengeluarkan teks yang tampak benar namun tidak memiliki dasar pada audio. Solusi standarnya adalah WhisperX: forced alignment untuk penentuan waktu kata plus model diarisasi yang di-hosting secara terpisah, disatukan pada batas-batas segmen. Ini berhasil, digunakan secara luas, dan terdiri atas tiga bagian yang bergerak, sedangkan Nemotron 3.5 Transcribe hanya satu.

Keunggulan struktural yang sama berlaku untuk audio panjang. Satu jam dalam satu lintasan mengalahkan penyambungan jendela 30 detik, dan penyambungan jendela memiliki mode kegagalan yang diketahui: dekode tanpa token stempel waktu menghilangkan kata di hampir setiap batas — satu percakapan berdurasi 20 menit yang diukur kehilangan sekitar 3% katanya dengan cara itu. Adapter CTC pada Nemotron 3.5 Transcribe ada justru untuk menghindari kelas kesalahan tersebut, meskipun perlu dicatat bahwa stempel waktu kata bukan bagian dari dukungan vLLM awal.

Pada tugas-tugas yang menjadi tujuan pembuatannya, angka yang dilaporkan NVIDIA kuat dan berasal dari laporan vendor: DER 18,26% di 21 bahasa pada benchmark diarisasi David AI, yang disebut sebagai terbaik dari 14 sistem; cpWER 32,4% pada VoiceArena, juga terbaik dari 14. Daftar entitas kontekstual yang disediakan dalam prompt dikreditkan dengan pengurangan enam kali lipat dalam kesalahan entitas bernama pada ContextASR-Bench. Belum ada satu pun dari semua ini yang direplikasi secara independen, dan semuanya merupakan klaim tentang model yang baru berumur satu hari.

Di mana Whisper Large v3 Turbo masih menang mutlak

Cakupan bahasa adalah jawaban pertama, dan itu tidak sebosan kedengarannya. Whisper Large v3 Turbo mencakup 99 bahasa. Nemotron 3.5 Transcribe mencakup 40 bahasa untuk transkripsi, 31 untuk terjemahan, dan 13 untuk atribusi pembicara. Jika antrean Anda berisi bahasa Kazakh, Tamil, Swahili, atau Welsh, perbandingannya berakhir di situ: model turbo mentranskripsikan bahasa-bahasa tersebut, sedangkan model yang lebih baru dan lebih besar tidak mengklaim mampu melakukannya.

Jawaban kedua adalah hambatan deployment. Whisper Large v3 Turbo berjalan di bawah whisper.cpp, faster-whisper, dan MLX, pada CPU, pada laptop, pada Jetson. Nemotron 3.5 Transcribe membutuhkan vLLM 0.32.0 plus plugin NeMo Speech, atau SGLang-Omni 0.2.0, pada H100 80GB dalam BF16, L40S dalam FP8, atau RTX 5090 dalam NVFP4. Itu bukan komitmen operasional yang sebanding.

Yang ketiga adalah harga turbo merupakan tarif per jam yang dipublikasikan dan membosankan. Endpoint yang dihosting menagih sekitar $0,04 per jam audio dengan minimum sepuluh detik, dan berjalan sekitar 250× waktu nyata pada endpoint cepat. Seribu jam audio berbiaya sekitar $40. Nemotron 3.5 Transcribe tidak mengungkapkan harga daftar untuk checkpoint lengkap, dan endpoint yang dihosting yang menyediakannya tidak mempublikasikan tarif per menit.

Periksa Nemotron 3.5 mana yang sedang Anda benchmark

Kesalahan paling umum dalam liputan minggu ini adalah membandingkan model yang salah. Sebagian besar perbandingan “Nemotron 3.5” yang diterbitkan sebenarnya mengevaluasi nvidia/nemotron-3.5-asr-streaming-0.6b — model streaming cache-aware 0.6B dari rilis sebelumnya, dengan angka dan kelemahannya sendiri. Jika sebuah tabel menyebutkan potongan berukuran 80ms hingga 1120ms, tabel itu tidak menguji Nemotron 3.5 Transcribe. Itu penting karena model streaming tersebut kalah dari Whisper Large v3 Turbo dalam hal akurasi mentah pada perbandingan dunia nyata (3,35% berbanding 2,55% pada salah satu papan peringkat multibahasa) dan kalah telak dalam penyelarasan kata, sedangkan model yang dibahas di sini adalah sistem 34B non-streaming yang berbeda.

Jebakan kedua adalah serving. Jalur mudah, SGLang-Omni 0.2.0, memberi Anda endpoint yang berfungsi tanpa NeMo — dan tanpa timestamp, label pembicara, atau terjemahan. Jalur lengkap, vLLM 0.32.0 dengan plugin NeMo Speech, memberi Anda ketiganya, tetapi timestamp tingkat kata hadir sebagai tindak lanjut, bukan pada PR pertama. Tiga resep penerapan yang disebut "Nemotron 3.5 Transcribe" karenanya dapat berperilaku seperti tiga produk berbeda. Jika atribusi pembicara adalah alasan Anda beralih, verifikasi jalur tersebut sebelum Anda mencurahkan waktu rekayasa untuk itu.

Berapa biaya untuk menjalankannya, sejujurnya

Perbandingan hosted nyaris sepele: Whisper Large v3 Turbo dengan sekitar $0,04 per jam audio adalah ~$40 per seribu jam, tanpa perangkat keras yang harus dimiliki. Nemotron 3.5 Transcribe belum dijual dengan cara itu, jadi tim yang menginginkannya sedang menghitung harga GPU, bukan tagihan.

Klaim throughput NVIDIA sendiri adalah batas bawah komputasi: 2,238 detik audio per detik waktu GPU, NVFP4 dengan drafter DFlash2 pada RTX PRO 6000 Blackwell, yang berarti sekitar 100 jam audio dalam waktu kurang dari tiga menit. Dengan sekitar $2 per jam-GPU on-demand, ini menyiratkan batas bawah yang jauh di bawah satu sen per jam audio — pada batching penuh, yang bukan cara antrean produksi bekerja. Anggap itu sebagai batas atas kemampuan perangkat keras, bukan sebagai laju yang akan Anda capai.

Artinya, perbandingan sebenarnya bukanlah Whisper Large v3 Turbo dengan Nemotron 3.5 Transcribe. Melainkan Nemotron 3.5 Transcribe dengan Whisper Large v3 Turbo ditambah model diarisasi, penyelaras paksa, kode penggabungan segmen, dan penyetelan per bahasa yang dibutuhkan oleh perekat tersebut. Jika Anda sudah menjalankan WhisperX di produksi, sebagian besar biaya itu sudah Anda tanggung dan alasan untuk beralih lebih lemah daripada yang disiratkan oleh selisih WER. Jika Anda belum membangunnya, model 30B itu bersaing dengan pipeline yang jika tidak, harus Anda sediakan personel untuknya.

Catatan praktis bagi siapa pun yang menjalankan keduanya selama migrasi: mempertahankan dua backend transkripsi di belakang satu endpoint yang kompatibel dengan OpenAI mengubah peralihan menjadi perubahan konfigurasi, bukan kontrak vendor kedua. Itulah lapisan yang disediakan OrcaRouter — satu kunci dan satu endpoint di seluruh penyedia yang dirutekannya, dengan harga daftar penyedia diteruskan pada markup 0% dan failover otomatis di antara mereka. Ini tidak mengubah model mana yang lebih baik. Ini mengubah berapa biaya untuk mengetahuinya, dan berapa biaya jika salah tentangnya.

Siapa yang harus memilih yang mana

• Rekaman rapat, hukum, klinis, atau pusat kontak dengan banyak pembicara dan jejak audit — Nemotron 3.5 Transcribe. Atribusi pembicara dan penanda waktu kata dalam satu proses adalah kemampuan yang biasanya harus Anda rakit sendiri, dan jendela satu jam sepenuhnya menghilangkan logika chunking.

• Audio mono bervolume tinggi, cakupan bahasa luas, deployment pada laptop atau CPU, penagihan per jam yang dapat diprediksi — Whisper Large v3 Turbo. Dengan 809M parameter dan $0,04 per jam, ini adalah jawaban tepat termurah untuk porsi yang sangat besar dari lalu lintas nyata, dan telah teruji di lapangan selama dua tahun.

• Beban kerja campuran — jalankan turbo untuk semuanya, dan arahkan hanya audio yang memerlukan pembicara, daftar jargon, atau terjemahan ke model yang lebih besar. Aturan pemilihannya adalah properti audio, bukan prestise model: jumlah pembicara, keberadaan glosarium domain, dan durasi rekaman.

Pertanyaan yang patut diajukan sebelum Anda bermigrasi

Apakah Nemotron 3.5 Transcribe dapat berjalan pada satu GPU 24GB?

Tidak nyaman. NVIDIA memvalidasi BF16 pada H100 80GB, FP8 pada L40S, dan checkpoint NVFP4 pada RTX 5090, yaitu kartu 32GB. Perangkat 24GB berada di bawah setiap konfigurasi yang divalidasi, dan audio tower disalin ke setiap rank tensor-parallel, sehingga sharding multi-GPU tidak menyelamatkan kartu tunggal yang kecil.

Apakah Whisper Large v3 Turbo melakukan pelabelan pembicara atau penerjemahan?

Bukan keduanya. Varian turbo hanya dilatih untuk transkripsi, jadi menjalankan tugas penerjemahan menghasilkan keluaran yang tidak dapat digunakan — penerjemahan memerlukan checkpoint large-v3 lengkap. Pelabelan pembicara memerlukan diarizer terpisah seperti pyannote, dan menggabungkan giliran bicaranya dengan stempel waktu segmen kasar Whisper adalah bagian dari pipeline yang paling lama untuk dilakukan dengan benar.

Apakah kesenjangan parameter terlihat sebagai latensi?

Tidak, bukan per menit audio. Whisper Large v3 Turbo mengembalikan jendela 30 detik dalam waktu jauh di bawah satu detik pada endpoint hosted yang cepat, dan Nemotron 3.5 Transcribe memproses file berdurasi satu jam dalam satu kali proses dengan throughput yang digambarkan NVIDIA sebagai ribuan audio-detik per GPU-detik. Perbedaan yang terlihat ada di aspek lain: turbo tidak memiliki mode streaming, dan Nemotron 3.5 Transcribe juga tidak, sehingga captioning langsung berada di luar cakupan keduanya.

Mana yang lebih baik untuk audio non-Inggris?

Kedua jawaban itu tidak aman. Whisper Large v3 Turbo mencakup 99 bahasa dengan kualitas yang sangat bervariasi menurut bahasa, dan Nemotron 3.5 Transcribe mencakup 40 bahasa dengan hasil multibahasa yang dilaporkan vendor serta resep adaptasi — NVIDIA melaporkan domain medis held-out meningkat dari WER 22,44% menjadi 12,17% setelah fine-tuning pada satu GPU selama beberapa jam. Belum ada perbandingan langsung multibahasa yang independen, jadi untuk bahasa apa pun di luar bahasa Inggris, langkah yang bertanggung jawab adalah melakukan uji buta pada audio Anda sendiri.

Apa yang akan mengubah putusan ini

Tiga hal, dalam urutan kemungkinan. Timestamp tingkat kata yang masuk ke API transkripsi vLLM akan menjadikan jalur serving penuh sebagai default, dan mempersempit kesenjangan antara tiga resep deployment. Checkpoint terkuantisasi yang dirilis secara luas akan menurunkan batas bawah perangkat keras dari kartu 80GB ke arah perangkat konsumen. Dan uji head-to-head multibahasa yang benar-benar independen terhadap Whisper Large v3 Turbo akan menggantikan inferensi dengan pengukuran.

Sampai salah satu dari itu terwujud, keputusannya tidak mendekati sepersepuluh poin WER. Ini adalah pertanyaan tentang audio Anda: jika ada lebih dari satu suara di dalamnya, dan Anda perlu tahu suara mana yang mengatakan apa, Nemotron 3.5 Transcribe adalah model terbuka pertama yang melakukannya dalam satu proses tanpa pipeline di belakangnya. Jika tidak, model 809M yang dirilis setahun lalu masih melakukan pekerjaan itu dengan biaya empat puluh dolar per seribu jam, dan model 34B adalah pembelian perangkat keras dalam jumlah besar untuk sebuah angka yang berubah saat Anda mengganti host.