Nemotron 3.5 Transcribe: LLM Ucapan NVIDIA Mengalahkan Kaskade Diarisasi — dalam 13 Bahasa

NVIDIA merilis Nemotron 3.5 Transcribe pada 28 Oktober 2026 di bawah lisensi terbuka, dan angka yang muncul di setiap berita utama tentangnya adalah 40: empat puluh bahasa, satu checkpoint, lengkap dengan label pembicara. Angka yang benar-benar mengubah cara Anda membangun tumpukan transkripsi adalah 15,80. Itu adalah cpWER rata-rata model tersebut pada set tolok ukur multi-pembicara milik NVIDIA sendiri, dibandingkan dengan 16,83 untuk cascade terspesialisasi terbaik yang dibandingkan oleh perusahaan tersebut — pengenal ucapan plus pipeline diarisasi terpisah, yang dirangkai seperti kebanyakan sistem transkripsi rapat produksi masih dirangkai. NVIDIA mengklaim ini adalah LLM ucapan pertama yang mengalahkan susunan tersebut, dan itulah klaim yang layak diuji, karena klaim itulah yang menghilangkan sebuah komponen dari arsitektur Anda alih-alih menambahkan sebuah bahasa ke dalam daftar.

Angka 40 bahasa itu nyata, tetapi cakupannya lebih sempit daripada yang tersirat. Atribusi penutur — bagian yang menggantikan cascade — dilatih untuk tiga belas bahasa, bukan empat puluh. Model ini hanya membaca berkas rekaman, hingga satu jam setiap kali, tanpa jalur streaming. Dan ini bukan unduhan kecil: total 34B parameter, sekitar 4,3B aktif per token, dengan H100 80GB sebagai baseline yang dinyatakan untuk serving BF16. Ketiga batasan itu menentukan apakah hasil diarisasi merupakan sesuatu yang dapat Anda gunakan kuartal ini atau sesuatu yang perlu Anda catat untuk kuartal berikutnya.

Apa yang sebenarnya dirilis NVIDIA

Checkpoint ini dipublikasikan sebagai NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, dan selisih antara nama itu dengan jumlah parameter yang dipublikasikan adalah hal pertama yang perlu dijelaskan. Model ini dibangun di atas Nemotron 3.5 Lightning 30B-A3B, sebuah model bahasa campuran pakar (mixture-of-experts) hibrida Mamba-2 dan Transformer; kartu model NVIDIA menyatakan total 34B parameter, dengan sekitar 4,3B aktif termasuk tumpukan audio. Bobot tambahan di atas 30B dalam nama berasal dari encoder: sekitar 600M untuk transformer ASR dan sekitar 99M untuk encoder speaker, sekitar 800M secara keseluruhan, sehingga backbone bahasanya menyisakan sekitar 3,5B aktif. Beberapa tulisan telah melaporkan ini sebagai ketidaksesuaian; itu bukan ketidaksesuaian, melainkan nama yang menghitung LLM dan kartu yang menghitung seluruh sistem.

Secara arsitektural, bagian yang perlu dipahami adalah encoder pakar paralel. Model Nemotron 3 Diarization yang dibekukan menghasilkan representasi aktivitas penutur, dan representasi tersebut disuntikkan ke keluaran encoder ASR, sehingga model bahasa melihat kata-kata sekaligus siapa yang kemungkinan mengucapkannya dalam satu lintasan. Adapter CTC yang ringan kemudian menyelaraskan teks yang dihasilkan kembali ke audio untuk menghasilkan stempel waktu kata yang diatribusikan kepada penutur. Tidak ada tahap penyelarasan kedua dan tidak ada pemanggilan pyannote di tengahnya. Prediksi multi-token native berfungsi ganda sebagai draf speculative-decoding di dalam vLLM, dan NVIDIA juga menyertakan model draf DFlash2 yang dilatih secara terpisah.

• Total dan parameter aktif — total 34B, ~4,3B aktif per token, di mana ~3,5B merupakan tulang punggung bahasa

• Konteks dan audio — 65.536 token, rekaman hingga 1 jam pada 16 kHz mono, didekode dalam potongan internal 30 detik

• Cakupan bahasa — 40 bahasa untuk transkripsi, 32 untuk terjemahan ke dan dari bahasa Inggris, 13 untuk transkripsi dengan atribusi pembicara

• Lisensi — OpenMDW-1.1, penggunaan komersial dan non-komersial diizinkan

• Baseline serving — satu H100 80GB pada BF16; build BF16, FP8, dan NVFP4 telah dipublikasikan

• Streaming — tidak ada; ini adalah model berkas-masuk, transkrip-keluar

Rilis ini adalah sepasang artefak, dan layak untuk dipisahkan karena sebagian besar liputan mengaburkan keduanya. Di samping model, NVIDIA menerbitkan Granary v2, sebuah rilis pipeline data ucapan alih-alih checkpoint: 463.062 jam di 48 bahasa dan 16 korpus sumber, naik dari 25 bahasa pada Granary v1, dibangun dengan NeMo Curator dan disertai manifest publik. Setiap rekaman membawa tiga bentuk transkrip — verbatim yang dinormalisasi teks, normalisasi invers dengan disfluensi, dan normalisasi invers tanpa disfluensi — plus label tugas, pasangan tanya-jawab berbasis ucapan, istilah bias kontekstual, dan flag kualitas per rekaman. Ini adalah data yang diharapkan oleh resep fine-tuning, bukan bobot yang dapat Anda jalankan. Audio sumber masih harus diunduh di bawah lisensi masing-masing korpus, jadi Granary v2 terbuka dalam arti manifest dan pipeline-nya terbuka, bukan dalam arti bahwa audio bebas didistribusikan ulang.

Lisensi sama pentingnya dengan bobot. OpenMDW-1.1 mengizinkan penggunaan komersial, yang menempatkannya sejajar dengan lini Voxtral dari Mistral, bukan di ujung spektrum bobot terbuka yang hanya untuk riset. Dukungan runtime saat peluncuran lebih luas daripada sebagian besar rilis LLM ucapan: vLLM 0.32.0 adalah jalur utama dan satu-satunya yang memberi Anda rangkaian fitur lengkap, dengan timestamp kata yang memerlukan runner V1 dan middleware timestamp serta tanpa DFlash2. SGLang-Omni 0.2.0 pada SGLang 0.5.22 menangani transkripsi seluruh file melalui endpoint audio yang kompatibel dengan OpenAI, tetapi tidak untuk timestamp kata, output dengan atribusi pembicara, terjemahan, atau decoding spekulatif. NeMo Speech menyertakan toolkit fine-tuning, Transformers mendukung penggunaan in-process dari instalasi sumber, dan build GGML mencakup bagian Blackwell tertentu termasuk RTX 5090 dan RTX PRO 6000.

Hasil diarisasi adalah cerita

Tabel multi-pembicara NVIDIA adalah tempat perbandingan kaskade berada, dan tabel itu luar biasa terperinci untuk sebuah tulisan peluncuran. Rata-rata cpWER pada keseluruhan set adalah 15,80 berbanding 16,83 untuk DiCoW v3.3 yang digabungkan dengan DiariZen. Angka per kondisi menunjukkan dari mana margin itu berasal dan di mana margin itu tidak ada: AMI dalam kondisi close-talk mencapai 10,29, AMI mikrofon jarak tunggal 17,34, CALLHOME CH109 11,50, Mixer 6 kanal 4 14,80, NOTSOFAR-1 close-talk 14,94 dan kanal tunggal 25,91, dengan AISHELL-4 pada 32,91 cpCER dan AliMeeting pada 34,95. Kasus rapat pita lebar dan multi-kanal sangat kuat; audio medan jauh dengan mikrofon tunggal serta audio rapat berbahasa Mandarin jauh lebih lemah, yang merupakan gambaran wajar tentang titik di mana setiap sistem diarisasi mengalami kesulitan.

Konfirmasi yang tampak independen yang diandalkan NVIDIA adalah Diarization-Bench milik VoiceArena, tempat model tersebut melaporkan cpWER 32,4% pada seluruh sesi bahasa Inggris, peringkat pertama dari empat belas sistem. Peringkat kedua, Multitalker Parakeet yang dipasangkan dengan Nemotron 3 Diarization, berada di 34,2%, dan sisanya berkisar dari 34,7% hingga 71,9%. NVIDIA juga melaporkan penghapusan kata sebesar 8,32% dari kata referensi, dibandingkan median bidang sekitar 31%. Angka kedua itu lebih berguna bagi siapa pun yang pernah merilis transkrip: cpWER dapat dimanipulasi dengan menghilangkan kata-kata yang tidak Anda yakini, dan sistem yang mempertahankan 92% kata referensi sekaligus memenangkan metrik tersebut sedang melakukan hal yang lebih sulit. Keduanya adalah angka yang dilaporkan vendor pada benchmark pihak ketiga, bukan evaluasi independen atas model.

Batasanannya adalah jumlah bahasa. Atribusi pembicara dilatih untuk tiga belas bahasa — Inggris, Prancis, Jerman, Hindi, Italia, Korea, Portugis, Rusia, Spanyol, Jepang, Thai, Arab, dan Mandarin — dan mendukung hingga delapan pembicara. Jika rekaman Anda adalah rapat berbahasa Inggris atau salah satu dari dua belas bahasa lainnya, argumen penggantian kaskade tetap berlaku. Jika audio Anda berbahasa Polandia, Turki, atau Vietnam, Anda mendapatkan transkripsi tanpa diarisasi dan Anda masih memerlukan komponen kedua.

Peringkat sebenarnya: tiga papan peringkat, tiga jawaban berbeda

Angka untuk bahasa Inggris bergantung pada halaman NVIDIA mana yang Anda baca, dan ada baiknya bersikap tepat soal itu daripada memilih angka yang lebih bagus. Rata-rata word error rate dari sembilan set di kartu model adalah 4,71%, dengan Qwen3-ASR-1.7B di urutan berikutnya pada 4,94%. Tulisan NVIDIA di Hugging Face dari hari yang sama mengutip 5,33% sebagai WER rata-rata di Hugging Face Open ASR Leaderboard, pada RTFx 462,09, dengan Qwen3-ASR-1.7B pada 5,4%. Keduanya adalah angka milik vendor sendiri, diterbitkan dalam selang beberapa jam satu sama lain, dan perbedaannya adalah set pengujian mana yang masuk ke dalam rata-rata. Jangan merata-ratakan keduanya, jangan kurangkan yang satu dari yang lain, dan jangan menganggap angka desimalnya sudah pasti. Yang tetap bertahan dalam kedua framing adalah posisinya: pertama di antara model open-weight di papan tersebut.

Sisa kumpulan yang dilaporkan vendor konsisten dalam bentuknya. Rata-rata WER multibahasa adalah 4,62% di tujuh bahasa, dibandingkan dengan 6,49% untuk Qwen3-ASR-1.7B. Rata-rata bentuk panjang adalah 10,98%, dibandingkan dengan 13,37% untuk Parakeet-TDT-0.6B-v3. Kontrol gaya memperoleh skor 7,56% secara default dan 6,16% saat diinstruksikan, dibandingkan dengan Canary-Qwen pada 8,16% dan 8,36%. Prompting kontekstual menggeser ContextASR-Bench dari 3,33% tanpa konteks menjadi 1,71% dengan konteks terperinci, dan transkripsi panggilan pendapatan dari 12,54% menjadi 9,58% dengan konteks lokal yang disediakan.

Pemeriksaan independen memberikan gambaran yang kurang menyanjung, dan itulah yang perlu dibaca jika Anda sedang memilih di antara model-model minggu ini. Pada indeks galat kata non-streaming milik Artificial Analysis, yang diperiksa pada 29 Oktober, Nemotron 3.5 Transcribe tercatat 2,8%. Voxtral Small Transcribe 3 tercatat 2,1% dan MAI-Transcribe-2 tercatat 2,0% pada tampilan yang sama, sementara Gemini 3.5 Transcribe berada di 2,6%. Perumusan NVIDIA sebagai "berbagi posisi pertama di antara model open-weight" masih bisa dipertahankan terhadap model spesifik yang disebutnya — Voxtral Small, yang juga ditunjukkan indeks yang sama pada 2,8%, dan yang oleh NVIDIA dijelaskan sebagai model 24B dibandingkan model ini yang parameter aktifnya sekitar 4B — tetapi papan peringkat sudah melampaui pasangan itu sebelum model ini dirilis. Varian Mistral yang lebih baru, Voxtral Small Transcribe 3, memiliki tingkat galat sekitar seperempat lebih rendah pada tampilan yang sama. Itu tidak membuat hasil diarisasi menjadi salah, karena Voxtral tidak melakukan atribusi pembicara dalam satu proses. Namun itu berarti kalimat yang tepat adalah "model open-weight terbaik untuk ASR dengan atribusi pembicara" dan bukan "transcriber open-weight terbaik."

Bagian akhir per bahasa adalah titik di mana deployment rusak

Cakupan dan paritas adalah klaim yang berbeda, dan kartu model NVIDIA menerbitkan cukup banyak detail per bahasa untuk melihat jarak di antara keduanya. Matriks bahasa memiliki 41 baris; bahasa Norwegia muncul di dalamnya tanpa tanda centang tugas, sehingga menyisakan 40 bahasa yang benar-benar ditandai untuk ASR. Di seluruh FLEURS, tingkat kesalahan berkisar dari 1,41% hingga 63,76% — dan 63,76 adalah bahasa Norwegia. Bahasa Italia mencapai 1,41, Spanyol 2,20, Jerman 2,73, Prancis 3,16, Inggris 3,35, Arab 6,35 dan Hindi 7,47; Jepang berada pada 4,42 CER, Korea pada 2,78 CER dan Mandarin pada 8,62 CER. Pada rata-rata per bahasa di papan peringkat multibahasa, Hindi adalah 9,15 OIWER dibandingkan dengan Belanda pada 5,96 dan Jerman pada 2,81.

Alih kode, yang diklaim kartu untuk semua 40 bahasa, juga tidak merata: ASCEND Mandarin-Inggris mencapai 18,74% kesalahan campuran, MUCS Hindi-Inggris 19,28% dan MUCS Bengali-Inggris 35,46%, dengan Monsoon Hindi pada 9,40% OIWER. Kualitas terjemahan juga mencakup rentang yang lebar — BLEU FLEURS-ke-Inggris dari 6,40 hingga 44,33, Inggris-ke-FLEURS dari 8,70 hingga 42,65, dan CoVoST2-ke-Inggris dari 6,95 hingga 54,46. Ketangguhan pada set HALAS adalah 31,50% WER, angka yang seharusnya meredam rencana apa pun yang dibangun di atas rekaman lapangan beraksen atau bising.

Pembacaan praktisnya adalah bahwa "40 bahasa" merupakan klaim cakupan yang dapat Anda gunakan untuk merencanakan kapasitas, bukan klaim kualitas yang dapat Anda gunakan untuk merencanakan produk. Ujilah bahasa spesifik dan kondisi perekaman spesifik yang Anda pedulikan pada beberapa ratus klip Anda sendiri sebelum berkomitmen. Studi kasus fine-tuning pada kartu model itu sendiri adalah templatnya: pada benchmark ujaran medis India, error bawaan adalah 30,8%, prompt yang menyebut bahasa Inggris dan aksara Latin menurunkannya menjadi 23,8%, dan adaptasi pada sekitar 245 jam data membawanya ke 11,8% — sekitar 62% lebih sedikit error, dengan 14 jam-GPU pada satu GB300. Pembicara held-out bergerak dari 22,44% menjadi 12,17%, pengurangan relatif 45,8%, sementara LibriSpeech test-clean memburuk dari 1,54% menjadi 1,69%, tanda umum adaptasi yang sempit.

Berapa biaya untuk menjalankannya, dan di mana routing cocok

NVIDIA belum mempublikasikan harga untuk model tersebut. Tidak ada tarif per menit di halaman riset atau kartu model, bobotnya gratis di bawah OpenMDW-1.1, dan akses hosted saat peluncuran berjalan melalui endpoint NIM milik NVIDIA sendiri plus beberapa platform pihak ketiga yang menetapkan tarif mereka sendiri. Jadi, pertanyaan biaya adalah pertanyaan GPU, dan angka-angka untuk itu luar biasa lengkap.

Pada satu RTX PRO 6000 Blackwell Server Edition, build NVFP4 dengan draf DFlash2 memproses hingga 2.238 detik audio per detik — rekaman 30 detik kembali dalam 0,13 detik — yang menempatkan 100 jam audio di bawah tiga menit. Itu adalah jalur NIM yang dioptimalkan, dan NVIDIA menyatakan integrasi vLLM terbuka sekitar dua kali lebih lambat. Pada H100 dengan BF16, angka RTFx kartu tersebut adalah 410 dengan spekulasi dua token, 270 dengan delapan, 340 dengan DFlash2 pada K=7, dan 260 pada K=15. Di batas atas rentang itu, satu jam-H100 mencakup sekitar 410 jam audio, jadi seribu jam transkripsi kira-kira dua setengah jam-GPU komputasi. Apakah itu mengalahkan tarif per menit yang dihosting sepenuhnya bergantung pada seberapa jenuh kartu yang Anda pertahankan: pada beberapa ratus jam per bulan, GPU 80GB yang menganggur adalah opsi yang lebih mahal, dan perhitungannya hanya berbalik setelah antrean tetap penuh.

Adaptasi murah menurut standar kelas ini. NVIDIA melaporkan 0,5 hingga 2,3 GPU-jam per tugas pada satu GPU untuk bahasa, domain, atau gaya keluaran baru, dievaluasi pada 17 tugas, dengan LoRA pada model bahasa dan pelatihan pada encoder dan proyeksi. Itu angka yang cukup kecil sehingga adaptasi domain harus diperlakukan sebagai bagian dari deployment, bukan proyek riset — kasus medis di atas adalah 14 GPU-jam dari awal hingga akhir.

Satu catatan arsitektural yang penting untuk hal berikutnya: model ini menghasilkan teks, dan ringkasan, ekstraksi entitas, serta penandaan kepatuhan yang menyusul setelah transkrip adalah pekerjaan LLM biasa. Tahap hilir itulah yang dicakup OrcaRouter — satu API untuk 200+ model dengan markup 0% di atas harga daftar penyedia, failover otomatis saat penyedia menurun di tengah pipeline, dan DSL perutean untuk mengirim transkrip panjang dan potongan pendek ke model berbeda tanpa integrasi kedua setiap kali. Kami tidak menghosting Nemotron 3.5 Transcribe; itu adalah model ucapan yang Anda jalankan di perangkat keras Anda sendiri atau melalui endpoint NVIDIA. Lapisan perutean dimulai di tempat transkrip berakhir.

Dua model memakai nama yang sama, dan hanya satu yang ini.

Sebagian dari yang ditulis tentang rilis ini dalam sehari terakhir membahas checkpoint yang berbeda. NVIDIA juga menerbitkan nemotron-3.5-asr-streaming-0.6b, checkpoint ASR streaming kecil yang dibuat untuk runtime di perangkat dan berorientasi CPU, dengan build terkuantisasinya cukup kecil untuk disertakan di dalam aplikasi. Itu bukan model ini, tidak melakukan atribusi pembicara, dan angka kecepatan serta akurasinya tidak berlaku. LLM ucapan 30B-A4B adalah model yang diumumkan pada 28 Oktober; model streaming 0.6B adalah model yang berjalan di laptop. Jika perbandingan yang Anda baca menyebutkan latensi di bawah satu detik atau unduhan satu gigabita bersama klaim 40 bahasa, berarti perbandingan itu telah menggabungkan keduanya.

Siapa yang harus bertindak sekarang, dan siapa yang harus menunggu?

Bertindaklah sekarang jika Anda menjalankan rapat, panggilan, atau wawancara yang direkam dalam bahasa Inggris atau salah satu dari dua belas bahasa diarisasi lainnya, dengan file berdurasi kurang dari satu jam, dan Anda sudah memiliki kapasitas GPU kelas 80GB atau endpoint hosted yang bersedia Anda bayar. Kasus ini paling kuat jika Anda saat ini memelihara kaskade dua model: satu checkpoint, satu pass, label pembicara dan stempel waktu kata disertakan, dengan lisensi yang mengizinkan penggunaan komersial. Evaluasi terhadap audio Anda sendiri sebelum Anda meninggalkan pyannote — angka far-field dan audio beraksen di atas adalah yang paling mungkin mengecewakan.

Tunggu jika Anda memerlukan streaming langsung, karena tidak ada jalur streaming; jika bahasa Anda berada di ujung rentang FLEURS itu; jika rekaman berdurasi lebih dari satu jam; atau jika Anda tidak memiliki GPU dan tidak berminat menanggung tagihan per menit layanan hosted. Tunggu juga jika stack Anda sudah memakai transcriber yang lebih baru yang menunjukkan error lebih rendah di Artificial Analysis dan tidak memerlukan diarisasi — atribusi pembicara satu lintasan adalah alasan untuk beralih, dan itu satu-satunya alasan.

Pertanyaan-pertanyaan terbuka yang layak diperhatikan bersifat sempit dan dapat diperiksa. Evaluasi independen dengan presisi penuh masih minim; laporan awal dari orang-orang yang menjalankan kuantisasi 4-bit komunitas menggambarkan perlambatan dan penurunan akurasi yang biasa terjadi, yang lebih banyak berbicara tentang kuantisasi daripada modelnya. SGLang-Omni perlu mencapai paritas fitur sebelum jalur non-vLLM menjadi alternatif yang nyata. Dan tiga belas bahasa diarisasi adalah angka yang paling mungkin berubah lebih dulu, karena di situlah klaim arsitekturnya terkonsentrasi.