Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 64× Parameter, 43× Lebih Lambat

Objek paling berguna dalam perbandingan ini adalah file berukuran 279 megabita. Itu adalah kuantisasi Q4_K_M dari Granite Speech 5.0 470M TurboCTC, pengenal ucapan khusus encoder milik IBM, dan ia akan mentranskripsikan bahasa Inggris di CPU laptop tanpa GPU, tanpa lingkungan Python yang layak disebut, dan tanpa kontrak layanan. Nemotron 3.5 Transcribe, yang diterbitkan NVIDIA sebagai bobot terbuka pada 28 Oktober 2026, adalah model bahasa yang diperkaya ucapan dengan 30 miliar parameter yang membutuhkan akselerator kelas pusat data dan sekitar enam puluh gigabita bobot BF16. Model NVIDIA ini enam puluh empat kali lebih besar dan, berdasarkan angka throughput yang diterbitkan masing-masing vendor, sekitar empat puluh tiga kali lebih lambat per detik-GPU. Ini juga satu-satunya dari keduanya yang dapat memberi tahu Anda siapa yang berbicara.

Tidak satu pun dari fakta itu yang bersifat mematahkan argumen. Keduanya menggambarkan dua mesin berbeda yang kebetulan diukur pada papan peringkat yang sama, dan seluruh pertanyaannya adalah apakah beban kerja Anda benar-benar membutuhkan ruangnya atau hanya kata-katanya.

Model CTC non-autoregresif versus LLM ucapan generatif

Granite Speech 5.0 470M TurboCTC terdiri dari enam belas blok Conformer dengan lapisan keluaran BPE berukuran 16.384, dilatih dengan objektif CTC dan didekode secara greedy. Tidak ada model bahasa, tidak ada proyektor, dan tidak ada loop generasi: audio masuk, rangkaian label yang sinkron dengan frame keluar, disubsampel dari 100 Hz ke 12,5 Hz. Desain itulah sebabnya model ini cepat, kecil, dan tidak dapat melakukan apa pun yang tidak tercakup dalam kumpulan label. Model ini tidak memiliki konsep prompt, gaya keluaran, target terjemahan, maupun bidang pembicara.

Nemotron 3.5 Transcribe memiliki arsitektur yang berlawanan, dan perbedaannya bukanlah kesenjangan generasi. Encoder ucapan memasok input ke model Nemotron 3 Diarization yang dibekukan, yang sinyal aktivitas pembicaranya disuntikkan ke encoder melalui Parallel Expert Encoder, dan decoder mixture-of-experts hibrida Mamba–Transformer menghasilkan transkrip sebagai teks, dengan sekitar 4 miliar dari 30 miliar parameternya aktif per token. Karena output dihasilkan, bukan diklasifikasikan, model ini dapat diinstruksikan: bentuk verbatim atau tertulis, daftar entitas yang diharapkan, target terjemahan, output dengan atribusi pembicara, atau jawaban lisan atas pertanyaan tentang audio.

• Parameter — total sekitar 30B, kira-kira 4B aktif per token vs 470M encoder-only.

• Dekoding — generasi autoregresif pada MoE 30B vs CTC non-autoregresif greedy.

• Lisensi — OpenMDW-1.1 vs Apache-2.0 (yang lebih permisif di antara keduanya; varian -nc terpisah milik IBM adalah CC-BY-NC-SA-4.0).

• Jejak — sekitar 60GB dalam build BF16, NVFP4, dan GGUF yang ditawarkan vs 279MB pada Q4_K_M di port GGUF komunitas.

• Bahasa — 40 ditranskripsi, 31 diterjemahkan vs 7 (Inggris, Prancis, Jerman, Spanyol, Portugis, Italia, Jepang) setelah pembaruan multibahasa 21 Oktober 2026.

• Pembicara — hingga 8, dengan atribusi, dalam 13 bahasa vs tidak ada; diarisasi memerlukan model terpisah.

• Stempel waktu — tingkat kata melalui adaptor CTC pasca-dekode vs tanpa adaptor; posisi puncak CTC bukan batas kata.

• Streaming — tidak ada, hanya audio rekaman vs tidak ada.

Kesenjangan akurasi lebih kecil daripada kesenjangan ukuran, dan rata-ratanya tidak cocok

IBM melaporkan tingkat kesalahan kata rata-rata 5,51% pada sembilan kumpulan uji bahasa Inggris publik untuk rilis TurboCTC multibahasa, membaik dari 5,78% pada peluncuran Agustus. NVIDIA melaporkan WER bahasa Inggris rata-rata 5,33% pada Hugging Face Open ASR Leaderboard, dan 4,71% pada sembilan kumpulan uji publik di halaman risetnya sendiri. Kedua angka tersebut dilaporkan vendor, dan kedua rata-rata itu bukan campuran yang sama: sembilan set IBM dan entri papan peringkat delapan set NVIDIA berbeda dalam komposisi dan normalisasi, dan angka sembilan set yang terpisah di halaman riset kembali berbeda dari entri papan peringkatnya sendiri. Jangan kurangkan keduanya lalu menyebut selisihnya sebagai kesenjangan kualitas. Pernyataan yang dapat dipertahankan lebih sempit — pada papan peringkat ucapan pendek bahasa Inggris publik, keduanya berada dalam selisih sekitar dua persepuluh poin satu sama lain, yang merupakan hasil luar biasa bagi model yang 64 kali lebih kecil dan sekaligus peringatan tentang betapa besarnya porsi rata-rata sebuah papan peringkat yang berupa ucapan baca bersih khas LibriSpeech.

Tingkat kesalahan kata juga menyembunyikan hal yang sebenarnya membedakan keduanya. Granite adalah pengklasifikasi: model ini mengeluarkan urutan label yang paling mungkin, dan saat akustiknya ambigu, ia mengeluarkan sesuatu yang masuk akal. Nemotron menghasilkan teks dengan model bahasa di belakangnya, itulah sebabnya klaim contextual prompting-nya — pengurangan enam kali lipat kesalahan entitas bernama pada ContextASR-Bench dengan daftar entitas di dalam prompt — bahkan mungkin dilakukan. Pada transkrip panggilan penjualan yang penuh dengan kode produk, model kecil tidak memiliki mekanisme untuk bias tersebut, sedangkan model besar memilikinya.

Throughput: 19.870 RTFx dibandingkan 462

Entri papan peringkat Hugging Face untuk Nemotron 3.5 Transcribe mencantumkan RTFx sebesar 462,09 — yang berarti model tersebut memproses sekitar 462 detik audio per detik komputasi pada harness papan peringkat itu. Pembaruan IBM bulan Oktober melaporkan 19.870 RTFx untuk TurboCTC pada satu H200, naik dari sekitar 12.600 saat peluncuran setelah optimisasi penggunaan ulang grafik satu blok. Itu adalah perbedaan empat puluh tiga kali lipat, dan tidak seperti angka WER, setidaknya ini diukur pada dua akselerator kompetitif alih-alih dua campuran pengujian yang berbeda.

Klaim utama NVIDIA sendiri adalah jenis angka yang berbeda: hingga 2.238 detik audio per detik pada satu RTX PRO 6000 Blackwell, menggunakan checkpoint NVFP4 dan model draf DFlash2. Angka itu lebih tinggi daripada 462 di papan peringkat karena merupakan pengukuran yang berbeda — klip 30 detik pada konkurensi tinggi, seperti yang dinyatakan dalam posting Hugging Face NVIDIA sendiri, dengan decoding spekulatif diaktifkan dan kuantisasi yang masih digambarkan akan datang. Jika keduanya dibaca bersama, kesimpulan jujurnya adalah bahwa throughput Nemotron bergantung pada konfigurasi hingga satu orde besaran, sedangkan throughput TurboCTC adalah properti arsitekturnya. Model tanpa loop autoregresif tidak bisa lambat seperti 30B MoE.

Apa yang bisa diberikan 470 juta parameter yang tidak bisa diberikan 30 miliar

Jawaban pertama adalah bentuk penerapan. GGUF 279MB berjalan di CPU, pada perangkat edge yang berdekatan dengan ponsel, di dalam aplikasi desktop, pada papan kelas Raspberry Pi jika Anda sabar. Kini ada port GGUF komunitas dan keluarga runtime C++ yang memperlakukan model sebagai mesin kelas satu. Nemotron 3.5 Transcribe berjalan di bawah vLLM dengan plugin NeMo Speech, atau SGLang-Omni, pada akselerator 80GB dalam BF16 atau kartu Blackwell dalam NVFP4. Itu bukan dua titik pada suatu spektrum; itu adalah kategori pengadaan yang berbeda.

Yang kedua adalah batas bawah latensi. Model CTC mengembalikan transkrip dalam satu forward pass. Model generatif mengembalikan satu token setiap kali, dan latensi wall-clock-nya pada file pendek didominasi oleh loop dekode, bukan oleh audionya. Untuk arsip batch, ini tidak relevan. Untuk apa pun yang interaktif — kotak dikte, pemantau kualitas panggilan, alat subtitel yang harus mengikuti scrub — model kecil adalah satu-satunya dari keduanya yang selesai sebelum pengguna menyadarinya.

Yang ketiga adalah kejelasan lisensi. Apache-2.0 adalah lisensi yang sudah disetujui departemen hukum; OpenMDW-1.1 cukup baru sehingga sebagian dari mereka akan ingin meninjaunya. Jika penghalang Anda adalah formulir pengadaan, bukan tolok ukur, model IBM meloloskannya lebih cepat.

Apa yang bisa diperoleh dari 30 miliar parameter yang tidak bisa diperoleh dari 470 juta

Pembicara, pertama dan secara tegas. TurboCTC sama sekali tidak memiliki representasi pembicara. Untuk mendapatkan transkrip yang diatribusikan, Anda memerlukan model diarisasi di depannya, langkah penggabungan, dan anggaran error untuk penggabungan tersebut — kaskade standar. Nemotron 3.5 Transcribe melipat model diarisasi yang dibekukan ke dalam encoder dan mengeluarkan label pembicara secara langsung, hingga delapan label, dalam 13 bahasa, dengan pewaktuan kata yang diatribusikan ke pembicara dari adaptor CTC pasca-decode. Tingkat error diarisasi yang dilaporkan NVIDIA adalah 18,26% di 21 bahasa pada benchmark David AI, terbaik dari 14 sistem, dengan pesaing terdekat menjadi model Nemotron 3 Diarization miliknya sendiri pada 18,38%. Itu adalah angka vendor pada harness vendor dan belum direproduksi secara independen. Perbandingan kaskade yang mereka implikasikan — satu model versus tiga — sama sekali bukan klaim benchmark, melainkan deskripsi penerapan.

Bahasa dan terjemahan berada di urutan kedua. TurboCTC mencakup tujuh bahasa setelah pembaruan Oktober; Nemotron mencakup empat puluh bahasa untuk transkripsi dan tiga puluh satu bahasa untuk terjemahan ke atau dari bahasa Inggris. Jika antrean Anda bersifat Eropa dan monolingual, tujuh sudah cukup. Jika tidak, perbandingan berakhir.

Fine-tuning ketiga. NVIDIA melaporkan adaptasi pada satu GPU dengan 0,5 hingga 2,3 GPU-jam per tugas, dan contoh ujaran medis ketika fine-tuning menurunkan tingkat kesalahan kata dari 30,8% menjadi 11,8% pada 3.619 klip, dengan pembicara held-out membaik dari 22,44% menjadi 12,17%. TurboCTC milik IBM juga dapat di-fine-tune — lisensinya Apache-2.0 — tetapi Anda akan melakukan fine-tuning head CTC pada model yang jauh lebih kecil, dan batas atas manfaat yang bisa diperoleh dari konteks tambahan lebih rendah karena tidak ada model bahasa yang bisa dibujuk.

Model biaya yang menentukan hasilnya

Ekonomi TurboCTC hampir membosankan. Satu H200 yang melayani 19.870 RTFx memenuhi antrean yang sangat besar; build terkuantisasi 279MB di CPU komoditas nyaris tidak memakan biaya per jam audio, dan listrik adalah pos biayanya. Tidak ada meteran per menit di mana pun dalam stack.

Ekonomi Nemotron memiliki bentuk yang sama pada skala yang berbeda: tidak ada meteran per menit, tetapi akselerator yang jauh lebih besar dan plafon throughput yang jauh lebih kecil. Satu kartu Blackwell yang memproses 2.238 detik audio per detik mampu menangani 100 jam dalam waktu kurang dari tiga menit pada konkurensi tinggi, dan jauh lebih singkat untuk rapat berdurasi satu jam dengan tumpang tindih.

• Antrean 20 jam per bulan — TurboCTC di CPU praktis gratis; Nemotron memerlukan akselerator sewaan atau milik sendiri yang akan menganggur sebagian besar bulan.

• Arsip 2.000 jam per bulan tanpa persyaratan penutur — TurboCTC pada satu GPU, atau sejumlah kecil CPU, merupakan konfigurasi yang jauh lebih murah dan lebih cepat.

• Arsip 2.000 jam per bulan dari rapat enam orang — TurboCTC plus diarizer plus lapisan merge, diukur terhadap Nemotron pada satu kartu. Ini adalah satu-satunya konfigurasi di mana harga model besar dapat dipertahankan, dan bahkan di sini kaskade lebih murah secara perangkat keras.

• Apa pun yang berada di bawah batasan kerahasiaan yang melarang pengunggahan audio — keduanya dapat dihosting sendiri, sehingga batasan itu terpenuhi dengan cara apa pun, dan keputusannya kembali bergantung pada penutur dan bahasa.

Separuh pascapemrosesan dari pipeline adalah tempat lapisan perutean membuktikan manfaatnya, terlepas dari pengenal mana yang Anda pilih. Transkrip diringkas, diberi tag, dan dirutekan, dan OrcaRouter menempatkan 200+ model teks dan multimodal di balik satu kunci dengan harga daftar penyedia yang diteruskan pada markup 0%, failover otomatis, dan DSL perutean yang dapat mengirim satu kelas transkrip ke perangkum murah dan kelas lain ke model yang lebih kuat tanpa integrasi kedua. Baik Nemotron 3.5 Transcribe maupun Granite Speech 5.0 470M TurboCTC tidak tersedia di katalog tersebut — kami tidak menghosting speech-to-text — sehingga pilihan speech tetap menjadi kontrak terpisah dan hanya lapisan di atasnya yang menjadi portabel.

Pilih berdasarkan bentuk pekerjaannya, bukan papan peringkat

Jika pekerjaannya adalah "mengubah banyak audio bersih yang sebagian besar berbahasa Inggris menjadi teks secepat dan semurah mungkin", Granite Speech 5.0 470M TurboCTC menang dan perbandingannya tidak tipis — model berlisensi Apache berukuran 279MB ini lebih cepat daripada sistem 30B lebih dari empat puluh kali dan hampir tidak mengorbankan apa pun pada rata-rata bahasa Inggris publik. Kaskade yang Anda bangun untuk pembicara adalah harga yang harus dibayar untuk efisiensi tersebut, dan jika Anda tidak pernah membutuhkan pembicara, Anda tidak pernah membayarnya.

Jika pekerjaannya adalah "menghasilkan satu transkrip terstruktur, bertanda waktu, dan beratribusi dari rekaman yang sulit dalam salah satu dari empat puluh bahasa", Nemotron 3.5 Transcribe adalah satu-satunya dari keduanya yang mencobanya, dan angka diarisasi dari vendor — yang belum direproduksi secara independen — menunjukkan bahwa ia melakukannya lebih baik daripada kaskade yang digantikannya. Biaya throughput memang nyata, biaya perangkat keras memang nyata, dan untuk beban kerja yang didominasi rapat, keduanya tidak lantas menjadi penghalang.

Kesalahan yang harus dihindari adalah menganggap ini sebagai kontes antargenerasi. Model CTC 470M bukan versi usang dari LLM wicara 30B; itu adalah instrumen berbeda yang kebetulan memperoleh skor serupa pada tolok ukur yang sebagian besar dibangun dari ujaran bacaan bersih. Rilis berikutnya tidak akan membuatnya usang. Rekaman terburuk Anda sendiri akan memberi tahu Anda mana yang Anda butuhkan.