Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: Dua Nama, Satu Checkpoint, Empat File

Jika katalog, situs perbandingan, atau lembar pengadaan Anda sendiri mencantumkan Nemotron 3.5 Transcribe dan Nemotron 3.5 Transcribe 30B sebagai dua entri, itu berarti mencantumkan satu model dua kali. Repositori yang dipublikasikan adalah NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, kartu NVIDIA menyebut totalnya 34B parameter dan jumlah aktif sekitar 4,3B, dan nama sederhana di setiap judul adalah artefak yang sama dengan ukuran yang dihilangkan. Tidak ada model 30B terpisah untuk dibandingkan, sehingga ini bukanlah perbandingan langsung, melainkan masalah penamaan dengan keputusan deployment yang tersembunyi di dalamnya.

Keputusan itu nyata, kok, dan itulah sebabnya kedua nama tersebut terus muncul berdampingan. Satu nama adalah yang Anda cari dan yang mungkin ditampilkan oleh katalog model atau daftar API. Nama lainnya adalah yang Anda unduh, dalam salah satu dari empat presisi, pada salah satu dari empat jejak memori, dan pilihan di antara file-file itu adalah satu-satunya perbandingan yang benar-benar diminta model ini dari Anda. Berikut ini adalah rekonsiliasinya: apa yang dihitung oleh 30B, mengapa kartunya menyebut 34B, dan file mana yang cocok untuk GPU yang Anda miliki, bukan GPU yang diasumsikan halaman peluncuran.

Nama yang bertentangan dengan dirinya sendiri

Dua angka beredar dan keduanya resmi. Nama repositori diakhiri dengan 30B-A4B, mengikuti konvensi yang digunakan NVIDIA untuk lini mixture-of-experts-nya: parameter total lebih dulu, parameter aktif kedua. Kartu model, pada halaman yang sama, menyatakan total 34B dan sekitar 4,3B aktif, secara eksplisit mencakup encoder audio. Halaman riset mengulangi nama 30B-A4B di judulnya dan angka aktif 4,3B di isi halamannya.

Kartu tersebut juga menyebutkan komponen-komponennya, dan di situlah aritmetika mulai menjadi penting. Tulang punggung bahasanya adalah Nemotron 3.5 Lightning 30B-A3B, sebuah MoE hibrida Mamba-2 dan Transformer dengan 3,5B parameter aktif. Encoder audio gabungan — encoder ASR Transformer ditambah encoder speaker — berukuran sekitar 800M. Jika ditambahkan, hasilnya kira-kira 30,8B, bukan 34B. Entah angka 34B mencakup sesuatu yang belum dirinci oleh NVIDIA, atau 30B dalam nama repositori adalah label pembulatan untuk tulang punggung yang sebenarnya lebih besar daripada namanya. NVIDIA belum menerbitkan rekonsiliasinya, dan belum ada audit parameter pihak ketiga atas checkpoint lengkap tersebut.

Apa artinya bagi pembeli lebih sempit daripada kedengarannya. Apakah sistemnya 31B atau 34B tidak mengubah kartu mana yang dapat menampungnya, karena ukuran file lebih ditentukan oleh presisi daripada oleh tiga miliar parameter terakhir. Ini berarti bahwa lembar spesifikasi mana pun yang menyebut "30B" dan yang mana pun menyebut "34B" menggambarkan unduhan yang sama, dan perbandingan pengadaan yang dibangun berdasarkan perbedaan itu membandingkan konvensi pembulatan.

Apa yang sebenarnya dihitung oleh sufiks 30B

Akhiran itu merujuk pada model bahasa, bukan transkriber. Nemotron 3.5 Transcribe adalah LLM yang diperkaya ucapan: audio melewati encoder Transformer, model Nemotron 3 Diarization yang dibekukan menyumbangkan representasi penutur melalui apa yang disebut NVIDIA sebagai encoder pakar paralel, dan dekoder MoE hibrida menulis transkrip. Label 30B melekat pada dekoder beserta tumpukan embedding-nya. Jalur ucapan — encoder, diarizer, kepala stempel waktu CTC — ditumpangkan di atasnya dan bukan hal yang diiklankan oleh nama tersebut.

Itulah sebabnya model ini berperilaku seperti LLM dengan cara yang tidak dilakukan sistem ASR klasik. Model ini menerima prompt. Model ini menjawab pertanyaan tentang audio. Model ini menerjemahkan antara 31 pasangan bahasa ke dan dari bahasa Inggris dalam satu lintasan yang sama. Model ini mempertahankan konteks 65,536 token sehingga satu jam ucapan dapat dimuat tanpa pemecahan. Semua itu bukan karena decoder 30B berukuran besar; melainkan karena decoder itu memang model bahasa umum, dengan ucapan diproyeksikan ke ruang inputnya.

Ini juga menjelaskan ketiadaan yang terus dicari semua orang. Tidak ada saudara khusus 30B, tidak ada Transcribe dense yang lebih kecil, dan tidak ada yang lebih besar. Repositori ini memuat presisi dari satu model, bukan sebuah keluarga. Satu-satunya ukuran lain yang beredar adalah kuantisasi yang dihasilkan komunitas, dan satu pengenal streaming yang benar-benar lebih kecil — Nemotron Speech Streaming EN 0.6B — yang merupakan model berbeda dengan cakupan hanya bahasa Inggris dan tanpa diarisasi, bukan versi mini dari model ini.

Empat berkas di balik nama tersebut, dan berapa besar memori yang dibutuhkan masing-masing

Inilah perbandingan yang sebenarnya dituju oleh kedua nama tersebut. NVIDIA menerbitkan tiga presisi dan komunitas telah menambahkan format penyampaian keempat; angka-angka memori di bawah ini berasal dari checkpoint yang diterbitkan dan repositori komunitas, bukan dari satu tabel vendor.

• BF16 — checkpoint referensi, sekitar 67-68GB di disk, disajikan pada satu H100 80GB. Ini adalah versi yang digunakan saat angka benchmark yang dipublikasikan dihasilkan, dan versi yang harus dipakai ketika Anda perlu mereproduksinya.

• FP8 — sekitar 35GB, yang menggeser batas minimum ke kartu 48GB seperti L40S. Kehilangan akurasi dibandingkan BF16 kecil dalam framing NVIDIA sendiri, tetapi itu adalah framing NVIDIA; belum ada evaluasi FP8 independen yang dipublikasikan.

• NVFP4 — sekitar 21GB, cukup kecil untuk RTX 5090 berkapasitas 32GB atau RTX PRO 6000. Presisi inilah yang mendasari klaim throughput utama NVIDIA, yaitu 2.238 detik audio per detik pada satu RTX PRO 6000 dengan model draf DFlash2 terpasang.

• GGUF — empat decoder komunitas antara 19,7GB dan 35GB plus file encoder F16 wajib sebesar 1,67GB. Build IQ4_NL 19,7GB adalah yang ditujukan untuk kartu 24GB, inferensi CPU, Metal, dan Vulkan; build NVFP4 19,7GB ditujukan untuk Blackwell; Q5 berada di sekitar 29GB dan Q8 di sekitar 35GB. Drafter DFlash2 1,15GB opsional menambahkan decoding spekulatif pada jalur CUDA.

• MLX — port komunitas 4-bit hingga 8-bit antara sekitar 19GB dan 35GB untuk Apple silicon, dengan satu penulis melaporkan sekitar 154 token per detik pada build 4-bit. Berguna untuk evaluasi di Mac, bukan jalur penyajian produksi.

Apa yang menjalankannya, dan satu kesalahan runtime yang sering dilakukan orang

File GGUF adalah jebakannya. File dengan ekstensi .gguf tidak berarti llama.cpp, Ollama, atau LM Studio, dan tidak satu pun dari ketiganya menjalankan model ini: model ini membutuhkan runtime speech-LLM dengan encoder audio yang sudah terpasang. Jalur yang berfungsi saat rilis lebih sempit daripada yang disiratkan oleh daftar format.

• vLLM 0.32.0 — jalur utama dan satu-satunya yang mengekspos seluruh permukaan keluaran, termasuk stempel waktu kata melalui runner V1 dan middleware stempel waktu. Keluaran dengan atribusi pembicara dan terjemahan berada di sini.

• SGLang-Omni 0.2.0 pada SGLang 0.5.22 — transkripsi seluruh berkas melalui endpoint audio yang kompatibel dengan OpenAI, tanpa stempel waktu kata, atribusi pembicara, penerjemahan, atau decoding spekulatif.

• NeMo Speech — perangkat fine-tuning, dengan NVIDIA menyebutkan 0,5 hingga 2,3 jam-GPU per tugas pada satu GPU. Resep LoRA yang dipublikasikan berjalan pada satu kartu.

• NeMo-Speech.cpp dan speech.cpp — jalur C++ yang menjadi target para pembuat GGUF, dan satu-satunya yang memuat kuant tersebut. Kedua file 19.7GB dan 35GB di atas didistribusikan untuknya, dan README repositori adalah sumber yang jujur tentang apa yang cocok di mana.

• Transformers — penggunaan in-process dari instalasi sumber, memadai untuk evaluasi, bukan untuk throughput.

Kesalahannya adalah mengunduh kuant terkecil, mengarahkan llama.cpp ke file itu, lalu menyimpulkan bahwa modelnya rusak. Model itu tidak rusak; itu adalah LLM ucapan dengan encoder yang tidak dikenal oleh runtime teks. Jika runtime tidak mencantumkan Nemotron 3.5 Transcribe dalam arsitektur yang didukungnya, file tidak akan dimuat, seberapa kecil pun ukurannya.

Di mana setiap file ditempatkan, dengan bahasa sederhana

Bekerjalah secara mundur dari perangkat keras, bukan secara maju dari kartu model. Baseline yang dinyatakan kartu tersebut — satu H100 80GB pada BF16 — adalah jalur fidelitas maksimum, bukan jalur minimum.

• Kartu 24GB, kelas RTX 4090 atau L4 — IQ4_NL GGUF 19,7GB dengan encoder 1,67GB-nya. Sisakan ruang cadangan untuk KV cache dan buffer audio; 24GB memang ketat tetapi terdokumentasi berfungsi.

• Kartu 32GB, RTX 5090 atau RTX PRO 6000 — checkpoint NVFP4 21GB, yaitu konfigurasi yang dijelaskan dalam klaim throughput NVIDIA, dengan drafter DFlash2 jika Anda menginginkan decoding spekulatif.

• Kartu 48GB, L40S atau A6000 — checkpoint FP8 35GB, kompromi paling tidak canggung antara fidelitas dan biaya.

• Akselerator 80GB, H100 atau A100 — BF16, konfigurasi referensi, dan satu-satunya yang mereproduksi tabel WER yang dipublikasikan tanpa catatan presisi.

Tidak ada GPU sama sekali — tidak satu pun dari file-file ini. Encoder berjalan di CPU pada jalur C++, tetapi satu jam audio pada decoder 30B-A3B tanpa akselerasi adalah pekerjaan batch yang diukur dalam jam, bukan layanan.

Satu batasan tetap berlaku pada setiap presisi: inputnya adalah PCM mono 16kHz dan batas maksimumnya satu jam audio per permintaan. Downsampling dan pemilihan kanal terjadi sebelum model melihat apa pun, dan rekaman ruang rapat stereo akan dicampur ke mono kecuali Anda memisahkan kanalnya sendiri. Itu adalah keputusan prapemrosesan, bukan keputusan checkpoint, dan kesalahan dalam hal ini lebih merugikan kualitas transkripsi daripada langkah BF16-to-FP8.

Pemeriksaan yang perlu dijalankan saat listing menampilkan kedua nama

Karena situasi nama duplikat itu nyata dan akan berulang di katalog serta halaman perbandingan, rutinitas verifikasi singkat lebih bernilai daripada satu paragraf penjelasan lagi.

• ID repositori — satu-satunya artefak resmi adalah NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Baris bernama Nemotron 3.5 Transcribe 30B dengan ID repositori yang berbeda adalah kuantisasi atau model yang sama sekali berbeda.

• String lisensi — OpenMDW-1.1 pada rilis resmi, penggunaan komersial diizinkan. Daftar yang menyebut hanya untuk riset atau nonkomersial sedang menjelaskan hal lain.

• Jendela konteks dan audio — 65,536 token dan satu jam. Daftar yang menyebutkan jendela lebih panjang adalah salah atau sedang menjelaskan checkpoint yang berbeda.

• Klaim parameter — 30B-A4B dalam nama, 34B di kartu, 4.3B aktif di keduanya. Daftar yang menyebut total 4B telah mengacaukan jumlah aktif dengan total, yang merupakan transkripsi paling umum dari model ini di web.

Daftar berkas — BF16, FP8, dan NVFP4 dari NVIDIA, plus model draf DFlash2. Jika suatu halaman menawarkan "Nemotron 3.5 Transcribe 30B" sebagai satu berkas yang dapat diunduh dan tanpa presisi apa pun, itu adalah quant komunitas yang memakai nama vendor.

Pertanyaan perutean yang sebenarnya terpisah

Setelah file dipilih dan runtime berjalan, pertanyaan deployment sudah selesai dan pertanyaan lama kembali muncul: apa yang terjadi pada teks. Transkrip adalah bahan mentah untuk peringkasan, ekstraksi entitas, penyamaran, pengindeksan pencarian, dan tanya jawab, dan panggilan-panggilan itu merupakan lalu lintas model teks biasa dengan masalah model teks biasa — batas laju, gangguan hulu, model klasifikasi murah yang cukup untuk sembilan persepuluh volume.

OrcaRouter tidak menyediakan Nemotron 3.5 Transcribe, dan katalognya tidak memuat entri dengan kedua nama tersebut; jika Anda melihat dua baris untuk model ini di mana pun, pemeriksaan repositori di atas adalah cara tercepat untuk memastikannya. Yang disediakan platform ini adalah lapisan setelah transkrip tersedia: satu kunci yang kompatibel dengan OpenAI untuk 200+ model teks dan visi dengan harga daftar penyedia dengan markup 0%, failover otomatis antarpenyedia, dan DSL perutean yang menggabungkan beberapa model menjadi satu panggilan sehingga proses ekstraksi yang murah dan proses penilaian yang mahal dapat berada di balik satu endpoint. GPU melakukan transkripsi; perutean menentukan seberapa berharga transkrip tersebut.

Akhiran tersebut adalah label ukuran file, bukan model kedua.

Cara paling jernih untuk menyimpan kedua nama itu di kepala Anda adalah ini: Nemotron 3.5 Transcribe adalah produknya, Nemotron 3.5 Transcribe 30B adalah repositorinya, dan angka 30B menghitung decoder sedangkan kartu model menghitung sistem. Selisih antara 30,8B dan 34B adalah detail yang belum diselesaikan yang seharusnya direkonsiliasi NVIDIA, tetapi itu tidak mengubah keputusan apa pun yang dibuat pembeli, karena keputusan dibuat dalam satuan gigabita dan runtime yang didukung, bukan pada digit ketiga dari jumlah parameter.

Pilih presisi yang dapat ditampung kartu Anda, pastikan runtime mencantumkan arsitektur, dan perlakukan setiap daftar yang menyajikan kedua nama sebagai model terpisah sebagai kesalahan katalog, bukan sebagai pilihan. Percabangan nyata dalam rilis ini — yang akan menjadi dasar bagi perbandingan langsung yang sesungguhnya — adalah pengenal streaming 0.6B di satu sisi dan pentranskripsi offline 30B ini di sisi lain. Perbandingan itu menyangkut latensi dan cakupan, dan layak dilakukan. Membandingkan sebuah model dengan nama berkasnya sendiri tidaklah demikian.