Nemotron 3.5 Transcribe vs Voxtral 3: Kesenjangan Dua Poin yang Tak Menyelesaikan Persoalan

Satu model, tiga tingkat kesalahan kata. Artificial Analysis mencantumkan NVIDIA Nemotron 3.5 Transcribe pada 3,4% di papan peringkat non-streaming-nya; FAQ di halaman yang sama menjelaskannya pada 2,8%. Sementara itu Mistral Voxtral 3 — keluarga yang hadir sebagai Voxtral Small Transcribe 3 — berada pada 2,1%, peringkat ketiga di papan tersebut dan terpaut sekitar setengah poin dari angka terbaik NVIDIA yang dipublikasikan. Jika Anda menggunakan 3,4%, selisihnya tampak menentukan. Jika Anda menggunakan 2,8%, itu berada di dalam pita derau yang telah ditunjukkan indeks ini di berbagai endpoint penyajian. Dan jika Anda melihat subskor yang mencakup audio percakapan, peringkatnya terbalik.

Dua angka untuk satu model, dan keduanya bukan kebohongan

Angka 3,4% dan 2,8% berasal dari papan peringkat yang sama pada hari yang sama. Keduanya berbeda karena AA-WER v2 dihitung terhadap irisan evaluasi tertentu melalui endpoint penyajian tertentu, dan indeks tersebut secara historis bergerak hampir satu poin penuh antarpenyedia yang menjalankan checkpoint yang sama. Angka 2,8% NVIDIA adalah angka yang dikutip perusahaan dalam materi peluncurannya; angka 3,4% adalah angka yang ditampilkan papan peringkat untuk endpoint yang benar-benar diuji. Keduanya tidak dibuat-buat, dan keduanya tidak boleh dikurangkan dari angka 2,1% Mistral seolah-olah keduanya diukur pada perangkat keras yang identik, pada presisi yang identik, terhadap audio yang identik.

Itu tidak membuat selisihnya menjadi tidak berarti. Itu menjadikannya sebuah rentang: antara 0,6 dan 1,3 poin yang menguntungkan Voxtral pada indeks batch, dengan nilai sebenarnya bergantung pada endpoint siapa yang Anda gunakan. Untuk penerapan layanan pelanggan di mana setiap poin WER memakan waktu tinjauan manusia dalam hitungan menit, itu bernilai uang. Untuk produk catatan rapat yang outputnya tetap dibaca sekilas oleh manusia, tidak demikian.

Dari mana perbedaan itu sebenarnya berasal

Indeks AA adalah rata-rata dari tiga komponen: VoxPopuli, Earnings-22, dan AgentTalk. Dua yang pertama adalah ucapan yang dibaca dan panggilan pendapatan — bersih, pembicara tunggal, terekam dengan baik, jenis audio yang ditangani dengan baik oleh kedua model. AgentTalk bersifat percakapan dan lebih bising. Pada bagian itu, model NVIDIA dilaporkan memperoleh skor 1,8% berbanding 2,3% milik Voxtral Small, yang merupakan pembalikan nyata dan angka paling menarik dalam perbandingan tersebut.

• VoxPopuli dan Earnings-22 — Voxtral Small memimpin; korpus ini menguntungkan model yang dilatih pada tuturan panjang yang bersih.

• AgentTalk — Nemotron unggul, 1,8% berbanding 2,3%, pada audio percakapan yang menyerupai panggilan dukungan nyata atau rapat dengan percakapan yang saling tumpang tindih.

• Indeks keseluruhan — Voxtral Small sebesar 2,1%, Nemotron antara 2,8% dan 3,4%. Komponen ucapan bersih memiliki bobot yang cukup untuk menghasilkan urutan tersebut.

Pola itu konsisten dengan kedua arsitektur. Voxtral Small adalah model transkripsi yang dilatih untuk sangat baik dalam mentranskripsikan; checkpoint NVIDIA adalah model bahasa dengan encoder ucapan yang dipasang di bagian depan, dan model bahasa cenderung lebih baik ketika audionya berantakan dan konteksnya bersifat percakapan. Ini juga menjelaskan mengapa klaim kemenangan terbesar NVIDIA sama sekali bukan pada WER bersih: cpWER rata-rata 15,80 pada ucapan tumpang tindih yang diatribusikan kepada pembicara, dan WER entitas bernama yang turun dari 12,21% menjadi 2,20% saat Anda menyediakan daftar entitas.

Tabel vendor juga tidak tumpang tindih

Mistral mempublikasikan WER rata-rata makro FLEURS-45: 4,1% forced-language dan 4,0% inferred untuk Voxtral Small Transcribe 3, dibandingkan dengan 4,6% untuk saudara 4B Mini-nya dan 16,0% untuk Whisper large-v3. NVIDIA mempublikasikan Open ASR Leaderboard: rata-rata 4,71% pada sembilan set bahasa Inggris dan 4,62% pada tujuh set multibahasa. Keduanya merupakan harness yang dijalankan vendor pada korpus berbeda dengan normalisasi yang berbeda, dan nilai yang hampir identik itu hanyalah kebetulan, bukan perbandingan head-to-head. Siapa pun yang menyajikan 4,0 versus 4,62 sebagai kemenangan 0,6 poin sedang membandingkan skor FLEURS dengan skor Open ASR.

Angka diarisasi memiliki masalah yang sama, hanya arahnya terbalik. Mistral melaporkan WER permutasi-minimum gabungan sebesar 18,4% pada AMI, Switchboard, CallHome, dan AISHELL-4. NVIDIA melaporkan cpWER rata-rata 15,80 pada kumpulan data multispeaker miliknya sendiri. Angka NVIDIA lebih rendah dan kumpulan datanya berbeda; tanpa korpus bersama, satu-satunya pernyataan yang dapat dipertahankan adalah bahwa kedua perusahaan yakin mereka mengalahkan kaskade khusus yang mereka uji, dan tidak satu pun telah menerbitkan uji coba pada data milik pihak lain.

Apa yang bisa dilakukan Voxtral 3 tetapi tidak bisa dilakukan Nemotron

Rilisan Mistral adalah sebuah keluarga, bukan checkpoint, dan keluarga tersebut mencakup area yang tidak dicakup oleh model offline tunggal NVIDIA.

• Keluasan bahasa — Voxtral Small Transcribe 3 mencakup 50+ bahasa termasuk seluruh 24 bahasa resmi UE; NVIDIA mencakup 40, dengan label pembicara pada 13.

• Real-time — Voxtral Mini Transcribe Realtime 3 melakukan streaming dengan latensi di bawah 500 md seharga $0,008 per menit, dengan WER 7,4% pada penundaan 240 md dan 5,7% pada 2.400 md. NVIDIA tidak memiliki mode streaming untuk checkpoint ini dengan harga berapa pun.

• Agen suara — peluncuran Voxtral 3 menghadirkan Voice Agent SDK berbasis LiveKit yang merangkai transkripsi, model penalaran dengan pemanggilan alat, dan generasi ucapan, dengan barge-in dan telepon SIP. Itu adalah kategori produk utuh yang tidak ditangani oleh checkpoint NVIDIA.

• Kesederhanaan operasional — harga per menit, tanpa GPU, tanpa stack penyajian, endpoint UE, AS, dan global. Bagi tim tanpa infrastruktur, itu adalah perbedaan antara integrasi dua hari dan dua bulan.

• Pembiasan konteks — recall frasa kunci 94,6% dengan konteks dibandingkan 81,4% tanpa konteks, pada Earnings-22. Setara secara prinsip dengan mekanisme daftar entitas NVIDIA, diukur pada korpus yang berbeda.

Apa yang bisa dilakukan Nemotron tetapi tidak bisa dilakukan Voxtral 3

Daftar terbalik itu lebih pendek tetapi lebih berbobot bagi pembeli yang tepat.

• Bobot terbuka — OpenMDW-1.1, penggunaan komersial diizinkan, diterbitkan dalam BF16, FP8, NVFP4, dan GGUF. Halaman Mistral menawarkan akses API dan "penerapan mandiri di infrastruktur Anda sendiri" melalui Mistral, dan pada saat publikasi tidak menerbitkan bobot, lisensi, maupun checkpoint. Jika tim kepatuhan Anda perlu mengaudit artefak tersebut, hanya satu dari ini yang tersedia untuk diaudit.

• Pemrosesan sekali jalan selama satu jam — konteks 65.536 token dan rekaman hingga satu jam. Mistral tidak memublikasikan panjang rekaman maksimum atau jendela konteks untuk Voxtral 3, yang dengan sendirinya menjadi alasan untuk menguji sebelum berkomitmen pada alur kerja bentuk panjang.

• Penerjemahan — 31 bahasa dalam kedua arah ke dan dari bahasa Inggris. Halaman peluncuran Voxtral 3 mendokumentasikan transkripsi, diarisasi, dan pembiasan konteks; halaman itu tidak mendokumentasikan tugas penerjemahan ucapan seperti yang dilakukan checkpoint NVIDIA.

• Output yang dapat diprompt — lima gaya transkrip dipilih berdasarkan instruksi, bukan satu format ditambah pasca-pemrosesan.

• Pemahaman audio — menjawab pertanyaan dan mengikuti instruksi lisan atas rekaman. Hanya bahasa Inggris pada checkpoint ini, dan tidak didokumentasikan di mana pun dalam materi peluncuran Voxtral 3.

Perbandingan biayanya tidaklah berimbang, dan itulah intinya

Voxtral Small Transcribe 3 adalah $0,0040 per menit, atau $0,24 per jam audio. 4B Mini adalah $0,0035, atau $0,21 per jam. Daftar harga hosted NVIDIA adalah $2,00 per 1.000 menit, atau $0,12 per jam. Self-hosting adalah hitungan yang sangat berbeda: pada klaim NVIDIA sebesar 2.238 detik audio per detik pada satu RTX PRO 6000 Blackwell, seribu jam audio — 3,6 juta detik — memerlukan sekitar 27 menit waktu GPU. Bahkan pada setengah throughput tersebut, yang menurut NVIDIA adalah yang diberikan oleh integrasi open-source, waktunya kurang dari satu jam.

• 1.000 jam per bulan — Voxtral Small $240, Voxtral Mini $210, Nemotron yang di-hosting $120, Nemotron yang di-self-host sekitar $2 untuk waktu GPU dengan tarif sewa $2/jam, ditambah biaya operasional.

• 10.000 jam per bulan — masing-masing $2.400, $2.100, $1.200, dan sekitar $20 untuk waktu GPU.

• Tangkapannya — jalur self-hosted mengasumsikan Anda sudah memiliki GPU, serving stack, dan seseorang yang dapat menjaganya tetap berjalan. Satu RTX PRO 6000 adalah pembelian modal bernilai lima digit; pada 1.000 jam sebulan, Anda tidak akan sempat mengamortisasinya sebelum generasi berikutnya dirilis. Pada 10.000 jam, modalnya kembali dalam hitungan bulan.

• Tangkapan lainnya — angka throughput tersebut bergantung pada NVFP4 serta model draf DFlash2, dan kombinasi itu menonaktifkan stempel waktu kata. Jika Anda memerlukan penyelarasan, Anda menjalankan konfigurasi yang lebih lambat daripada yang ada di tabel pemasaran.

Jadi argumen harga terbagi berdasarkan volume dan berdasarkan apakah audio boleh meninggalkan jaringan Anda. Tarif per menit Mistral cukup murah sehingga sebagian besar tim dengan penggunaan di bawah beberapa ratus jam per bulan seharusnya tidak perlu memikirkan GPU sama sekali. Di atas sepuluh ribu jam, menghosting sendiri checkpoint terbuka menjadi opsi yang lebih murah hingga satu orde besaran, dan beban operasional adalah satu-satunya pertanyaan yang benar-benar penting.

Uji Lima Puluh Jam

Setiap angka di atas adalah audio milik orang lain. Sebelum menetapkan salah satu model ke jalur produksi, transkripsikan lima puluh jam rekaman Anda sendiri dengan kedua model dan nilai hasilnya sebagaimana pengguna Anda akan menilai: entitas bernama benar, pergantian pembicara benar, angka dan jumlah mata uang benar, serta aksen spesifik yang dimiliki pelanggan Anda. Indeks AA tidak akan memberi tahu Anda model mana yang lebih baik menangani pusat panggilan Glasgow, dan harness dari kedua vendor juga tidak akan.

Uji tersebut juga merupakan kasus ketika router berguna untuk hal lain selain biaya. OrcaRouter menempatkan panggilan teks hilir — peringkasan, ekstraksi entitas, penghapusan informasi sensitif, terjemahan transkrip yang telah selesai — di balik satu kunci dengan markup 0%, harga daftar penyedia diteruskan, failover otomatis antar penyedia, dan DSL perutean yang dapat mengirim tahap berbeda ke model berbeda dalam satu alur kerja. Baik Nemotron 3.5 Transcribe maupun Voxtral 3 tidak ada dalam katalog OrcaRouter, jadi router tersebut tidak membantu Anda memanggilnya; router itu membantu Anda memproses apa yang mereka kembalikan tanpa harus membangun hubungan dengan vendor kedua untuk lapisan teks.

Putusannya bergantung pada kalimat mana yang menggambarkan masalah Anda. Jika kalimatnya adalah "kami memerlukan transkripsi akurat dalam lima puluh bahasa, kami tidak ingin memiliki GPU, dan latensi penting," Voxtral Small Transcribe 3 adalah produk yang lebih baik dan 2,1% itu adalah alasan yang nyata. Jika kalimatnya adalah "kami memerlukan transkrip dengan atribusi pembicara untuk rapat berdurasi satu jam, terjemahan, dan artefak yang dapat diperiksa oleh tim kepatuhan kami," Nemotron 3.5 Transcribe adalah satu-satunya opsi dalam daftar ini yang memenuhi ketiganya, dan satu poin WER pada ucapan baca yang bersih adalah harga yang harus dibayar untuk itu. Jika kalimatnya adalah "kami memerlukan keduanya," jawaban jujurnya adalah bahwa keduanya bukan substitusi, dan tim yang paling banyak memanfaatkan generasi ini menjalankan yang satu untuk audio langsung dan yang lainnya untuk arsip.