SOV-Transcribe-1 vs Nemotron 3.5 Transcribe: Selisih Lima Belas Hari, dan Hanya Salah Satunya yang Merupakan Produk

Pengenalan ucapan open-weight berpindah tangan dua kali dalam dua pekan. NVIDIA menerbitkan Nemotron 3.5 Transcribe pada 28 Oktober 2026; Salesforce menerbitkan SOV-Transcribe-1 pada 12 November. Pada komposit Artificial Analysis, model yang lebih baru menang: SOV-Transcribe-1 dengan 2,28% AA-WER dibandingkan dengan Nemotron 3.5 Transcribe dengan 2,81%. Itulah keseluruhan pitch penjualannya, dan itu lebih tipis daripada yang terlihat. NVIDIA menyertakan diarisasi pembicara, stempel waktu kata, empat puluh bahasa, rekaman berdurasi satu jam, tiga format kuantisasi, laporan teknis yang diterbitkan, dan serving stack dengan cookbook. Salesforce merilis angka terbaik di papan peringkat dan kartu model yang menyebutkan laporan teknisnya akan segera hadir. Jika Anda memilih model untuk dimasukkan ke dalam produk, bukan ke papan peringkat, selisih akurasi bukanlah dimensi yang menentukan.

Dua arsitektur, dua pertaruhan yang sepenuhnya berbeda

Nemotron 3.5 Transcribe adalah model bahasa campuran pakar hibrida Mamba-2 dan Transformer — Nemotron 3.5 Lightning 30B A3B — yang dilengkapi encoder pakar paralel: encoder ASR Transformer dengan sekitar 600 juta parameter dan encoder pembicara terpisah dengan 99 juta parameter, plus kepala CTC untuk penyelarasan stempel waktu. Total tiga puluh empat miliar parameter, 4,3 miliar aktif termasuk encoder audio.

SOV-Transcribe-1 bergerak ke arah sebaliknya. Model ini mengambil encoder Whisper large-v3 yang siap pakai, menambahkan proyektor, dan menyerahkan hasilnya ke decoder Gemma 4 26B A4B — total 26,6B, aktif 4,6B. Jika NVIDIA membangun front end ucapan dan melampirkan model bahasanya sendiri, Salesforce melampirkan model bahasa serbaguna ke front end ucapan yang sudah dimiliki semua orang. Itulah sebabnya checkpoint SOV berukuran 53 GB dalam BF16 dan rilis BF16 Nemotron membutuhkan H100 80 GB: model Salesforce membawa bobot total lebih sedikit, dan ia membawanya dalam format yang belum ada varian terkuantisasinya yang diterbitkan.

• Total parameter — SOV-Transcribe-1 26,6B versus Nemotron 3.5 Transcribe 34B, keduanya dengan menghitung encoder audio.

• Parameter aktif — 4,6B versus 4,3B. Praktis imbang, dan itulah bagian yang menarik: Salesforce memperoleh tingkat kesalahan lebih rendah dari set aktif yang sedikit lebih besar dan total yang jauh lebih kecil.

• Batas audio — 30 menit versus 1 jam, dengan konteks 65.536 token di sisi NVIDIA.

• Bahasa — 7 bahasa Eropa versus 40, dengan code-switching yang didukung di seluruh matriks Nemotron.

• Presisi — hanya BF16 (router FP32) versus checkpoint BF16, FP8, dan NVFP4, yang terakhir berjalan di RTX 5090.

• Lisensi — Apache 2.0 versus OpenMDW-1.1. Apache jauh lebih permisif di antara keduanya, dan bagi sebagian tim hukum, itu saja sudah cukup untuk menentukan pilihan.

Satu benchmark yang dijalankan kedua vendor, dengan angka yang tidak cocok

Ini adalah perbandingan paling berguna dalam artikel, karena hanya di sini kedua kartu model dapat disandingkan pada pengujian yang sama. VoiceCodeBench mengukur transkripsi nilai terstruktur — alamat email, jalur file, pengenal, nomor rekening — dan melaporkan dua metrik: kecocokan token kanonis dan entitas, yaitu seberapa banyak konten target yang berhasil dipulihkan, serta tingkat keberhasilan tugas, yaitu persentase rekaman yang seluruh nilai targetnya dihasilkan dengan benar.

Kartu NVIDIA mempublikasikan keduanya: 88.53% CTEM dan 59.33% TSR, plus tingkat kesalahan kata sebesar 8.38% pada set tersebut. Kartu Salesforce mempublikasikan dua angka untuk benchmark yang sama: 76.3% yang lolos untuk setiap entitas target dan 93.4% entitas yang dipulihkan, disebut sebagai yang pertama di antara sistem open-weight dan kedua dari 23 secara keseluruhan. Angka-angka itu masing-masing dipetakan ke TSR dan CTEM, dan pemetaannya tidak cocok. Salesforce mengklaim 76.3% lolos penuh, sementara NVIDIA melaporkan 59.33% pada metrik yang sama, dan mengklaim pemulihan entitas 93.4%, sementara NVIDIA melaporkan 88.53%.

Ada penjelasan yang wajar. VoiceCodeBench adalah papan peringkat privat yang dijalankan pihak ketiga, skor diberi versi seiring waktu, dan kedua vendor mungkin mengirimkan snapshot yang berbeda. Ada pula penjelasan yang tidak sedemikian polos: salah satu dari dua angka tersebut dijelaskan dengan keyakinan yang lebih besar daripada yang didukung oleh pelaporan benchmark itu sendiri. Apa yang dapat disimpulkan pembaca sempit dan perlu dinyatakan dengan gamblang — pada satu-satunya benchmark nilai terstruktur yang menjadi pengukuran kedua model, model Salesforce tampak secara signifikan lebih baik dalam mendapatkan setiap nilai dengan benar, dan besarnya keunggulan itu diperdebatkan sebesar lima hingga tujuh belas poin tergantung kartu siapa yang Anda baca.

Apa yang diluncurkan NVIDIA yang tidak dilakukan Salesforce

Kesenjangan di sini bukanlah peningkatan bertahap. Ini adalah kapabilitas, bukan skor, dan masing-masing menghilangkan satu bagian pekerjaan hilir yang jika tidak, harus Anda bangun sendiri.

• Transkripsi dengan atribusi penutur — evaluasi multi-penutur penuh di seluruh AMI, CALLHOME, Mixer 6, dan NOTSOFAR-1, dengan cpWER rata-rata 15,80 dan hasil per kondisi hingga kasus mikrofon jarak jauh individual. SOV-Transcribe-1 tidak mendokumentasikan diarisasi sama sekali.

• Stempel waktu kata — kepala penyelarasan CTC yang mengembalikan teks kata dengan waktu mulai dan akhir, peta segmen diarisasi, dan bidang kesalahan penyelarasan. Kartu Salesforce mengembalikan string transkrip.

• Terjemahan ucapan, identifikasi bahasa, dan penjawaban pertanyaan audio — tugas-tugas terpisah dengan tolok ukur masing-masing, termasuk identifikasi bahasa FLEURS 100% pada beberapa bahasa. SOV-Transcribe-1 mentranskripsikan, dalam tujuh bahasa, dan berhenti di situ.

• Laporan teknis — diterbitkan sebagai PDF, dengan komposisi data pelatihan dirinci hingga korpus mana yang dilisensikan dari siapa. Salesforce menautkan laporannya sebagai "segera hadir".

• Tangga kuantisasi dan buku resep penyajian — NVFP4 pada Blackwell kelas konsumen, jalur SGLang-Omni, GGML pada Windows native. Integrasi Salesforce adalah plugin vLLM yang dipatok ke 0.32.0 dengan dukungan upstream yang disebut masih dalam pengerjaan.

Peringatan jujur dalam daftar itu adalah bahwa keluasan dan kedalaman saling bertentangan. Model yang dilatih pada 40 bahasa dan tujuh keluarga tugas menyebarkan kapasitasnya; model yang dilatih pada tujuh bahasa Eropa dan hanya transkripsi dapat mencurahkan seluruh kapasitasnya di sana. Selisih komposit 0,53 poin persis seperti bentuk kompromi itu ketika membuahkan hasil.

Angka porsi, baca dengan cermat.

Kedua vendor melakukan benchmark pada kartu yang sama, sehingga perbandingan ini luar biasa bersih — dan luar biasa mudah keliru.

• Salesforce, SOV-Transcribe-1 — hingga 1.039 detik audio per detik pada satu RTX PRO 6000 Blackwell Server Edition, dengan model draf DFlash diaktifkan, pada build pengembangan vLLM, dengan max_num_seqs=64.

• NVIDIA, Nemotron 3.5 Transcribe — hingga 2.238 detik audio per detik pada kartu yang sama dalam NVFP4 dengan decoding spekulatif DFlash2, mengembalikan transkrip klip 30 detik dalam 0,13 detik.

Angka NVIDIA lebih dari dua kali lipat, dan NVIDIA menjelaskan alasannya di kartu modelnya sendiri: optimasi tersebut berada di Nemotron Transcribe NIM dan tidak ada dalam rilis sumber terbuka, yang menurut kartu tersebut sekitar dua kali lebih lambat dan ditujukan untuk pengembangan model. Jadi, perbandingan setara — vLLM terbuka melawan vLLM terbuka, pada satu kartu — adalah sekitar 1.119 berbanding 1.039 detik-audio per detik. NVIDIA masih unggul, sekitar delapan persen, dan unggul sekaligus menjadi model dengan label pembicara serta stempel waktu dalam aliran output.

Bagi seorang pembeli, artinya adalah bahwa tidak ada dari kedua model itu yang dipilih berdasarkan throughput. Keduanya membuat kartu modern jenuh; keduanya memerlukan kartu khusus. Keputusannya adalah output mana yang Anda butuhkan dan unduhan mana yang dapat Anda jalankan, dan pada pertanyaan kedua Nemotron menang mutlak, karena checkpoint NVFP4 berjalan pada perangkat keras yang harganya hanya sebagian kecil dari komponen server 96 GB, sementara model Salesforce tidak memiliki rilis terkuantisasi untuk dijalankan.

Dalam situasi apa SOV-Transcribe-1 benar-benar menjadi pilihan yang lebih baik

Tiga kasus, dan yang pertama adalah yang jelas. Jika bahasa Inggris adalah bahasanya dan akurasi entitas adalah produknya, 2,28% versus 2,81% pada komposit adalah perbedaan nyata, dan aspek terlemah model Salesforce — 4,06% pada Earnings22-Cleaned — masih lebih baik daripada apa yang disiratkan komposit untuk kompetisi. Pada Contextual Earnings-22, SOV-Transcribe-1 melaporkan F1 kata kunci naik dari 71,9 menjadi 96,8 dengan petunjuk milik klip itu sendiri dan bertahan di 94,0 saat diberikan daftar kata kunci satu jam penuh sebagai pengganggu. NVIDIA melaporkan angka Contextual Earnings22 miliknya sendiri dalam word error rate alih-alih F1, dari 12,54% tanpa konteks menjadi 9,58% lokal, jadi keduanya tidak dapat dibandingkan secara langsung — tetapi bentuk hasilnya, bahwa daftar petunjuk membantu dan daftar petunjuk yang padat pengganggu tetap membantu, sama pada keduanya.

Kasus kedua adalah lisensi. Apache 2.0 versus OpenMDW-1.1 bukanlah formalitas bagi perusahaan yang tinjauan hukumnya punya pendapat tentang karya turunan. Jika Anda berniat melakukan fine-tuning dan mendistribusikan ulang, atau menyematkan model ke dalam produk yang Anda luncurkan, jalur Apache lebih singkat.

Yang ketiga adalah kesederhanaan cakupan. Model yang melakukan satu hal akan mengembalikan satu hal, dan pipeline yang mengharapkan string transkrip lebih mudah dipahami daripada pipeline yang menerima objek terstruktur dengan tag pembicara, stempel waktu, dan bidang kesalahan penyelarasan yang mungkin tidak dibutuhkannya. Tim yang ingin memiliki diarisasinya sendiri — karena mereka sudah menjalankan model penyematan pembicara yang mereka percayai — mendapatkan input yang lebih bersih dari model yang lebih sempit.

Memilih di antara keduanya tanpa papan peringkat

Jika audionya adalah rapat, panggilan dengan lebih dari satu suara, atau apa pun yang membuat "siapa yang mengatakannya" menjadi bagian dari hasil yang harus diserahkan, jawabannya adalah Nemotron 3.5 Transcribe dan pertanyaan akurasi menjadi tidak relevan — SOV-Transcribe-1 tidak dapat menghasilkan bidang itu. Jika audionya bukan bahasa Inggris, hal yang sama berlaku, bahkan lebih tegas. Jika rekamannya melebihi tiga puluh menit atau perlu dijalankan pada perangkat keras yang lebih kecil daripada kartu pusat data, NVIDIA lagi.

Jika audionya berbahasa Inggris, satu pembicara atau sudah di-diarisasi di hulu, durasinya di bawah setengah jam, dan hasil yang diserahkan adalah teks dengan kata benda diri yang tepat di dalamnya, SOV-Transcribe-1 adalah transkriber yang lebih akurat yang tersedia saat ini dan lisensi Apache menghilangkan satu negosiasi. Itu adalah rangkaian beban kerja yang lebih sempit daripada yang tersirat oleh cakupan peluncuran, dan itu adalah rangkaian yang nyata.

Pipeline campuran juga merupakan hasil yang wajar di sini, dan hal itu memunculkan pertanyaan praktis yang tidak dibahas oleh kartu model mana pun: apa yang membaca transkrip setelahnya. OrcaRouter menempatkan 200+ model teks, gambar, dan video di balik satu kunci dengan harga daftar penyedia dan markup 0%, sehingga peringkas atau ekstraktor di hilir dapat ditukar atau dialihkan saat terjadi kegagalan tanpa perlu kontrak kedua — berguna ketika sumber transkrip masih dalam proses penentuan. Tidak satu pun dari model ucapan ini dilayani melaluinya, dan kami tidak mengklaim sebaliknya; perutean dimulai di tempat teks dimulai.

Apa yang berubah dalam dua pekan antara kedua rilis ini bukanlah model mana yang bercokol di puncak tabel open-weight. Yang berubah adalah tabel itu tidak lagi punya jawaban yang jelas, dan jawabannya kini bergantung pada apakah Anda membeli sebuah transkriper atau sebuah pipeline transkrip. NVIDIA menjual yang kedua. Salesforce menerbitkan yang pertama, dan melakukannya dengan sangat baik.