SOV-Transcribe-1 vs Whisper Large v3 Turbo: Seberapa Berharga Dua Tahun dan 2,3 Poin WER

Whisper Large v3 Turbo bukan pesaing SOV-Transcribe-1 dalam pengertian komersial apa pun. Model ini adalah pemain lama — checkpoint berlisensi MIT dengan 809 juta parameter yang diterbitkan pada Oktober 2024, yang diam-diam mendasari sebagian besar setiap produk transkripsi yang dirilis sejak saat itu, dan yang masih muncul di endpoint terhosting dengan harga $0,67 per seribu menit. SOV-Transcribe-1 adalah penantangnya, diterbitkan oleh Salesforce pada 12 November 2026, dengan skor 2,28% berbanding 4,62% milik Whisper Large v3 Turbo pada komposit Artificial Analysis. Jadi pertanyaannya bukanlah model mana yang lebih baik. Pertanyaannya adalah apakah memangkas separuh tingkat kesalahan sepadan dengan unduhan 53 GB, GPU 96 GB, dan infrastruktur penyajian model, ketika alternatifnya muat di memori laptop dan hanya berbiaya beberapa sen per jam audio.

Apa yang sebenarnya diperoleh dari dua tahun kemajuan

Whisper Large v3 Turbo adalah Whisper large-v3 yang dipangkas dengan decoder dipotong dari 32 lapisan menjadi 4. Kartu model OpenAI sendiri secara mengejutkan lugas tentang hal itu: "model yang persis sama, kecuali bahwa jumlah lapisan decoding berkurang dari 32 menjadi 4. Akibatnya, model ini jauh lebih cepat, dengan mengorbankan sedikit penurunan kualitas." Kalimat itu menggambarkan keputusan kompresi, bukan arsitektur.

SOV-Transcribe-1 adalah jenis perubahan yang lain. Salesforce mempertahankan encoder Whisper large-v3 — front end yang sama — dan mengganti decoder empat lapis dengan model bahasa mixture-of-experts Gemma 4 26B A4B di belakang proyektor. Persepsi audio diwarisi dari Whisper. Bagian yang mengubah audio menjadi kata adalah model bahasa serbaguna yang berukuran tiga puluh kali lipat dari keseluruhan checkpoint Whisper turbo.

• Parameter — Whisper Large v3 Turbo 809M versus SOV-Transcribe-1 total 26,6B, aktif 4,6B.

• Decoder — 4 lapisan Transformer versus mixture-of-experts 26B dengan 4,6B aktif per token.

• Ukuran checkpoint — di bawah 2 GB versus sekitar 53 GB pada BF16.

• Bahasa — kira-kira seratus versus tujuh. Yang ini arahnya berlawanan, dan sangat kencang.

• Stempel waktu — output tingkat kalimat dan kata yang terintegrasi ke dalam loop decoding versus tidak ada yang didokumentasikan.

• Lisensi — MIT versus Apache 2.0. Keduanya permisif; MIT sedikit lebih sederhana.

• Perangkat keras — CPU atau GPU kecil dibandingkan kartu kelas RTX PRO 6000 dengan 96 GB untuk konfigurasi dengan draft diaktifkan.

Baris terakhir itu adalah inti seluruh argumen dalam bentuk mini. Satu model berjalan di mana saja; model lainnya berjalan pada komponen server yang biayanya lebih besar daripada total tagihan cloud tahunan sebagian besar proyek transkripsi.

Aritmetika kesalahan yang tidak dilakukan siapa pun

Tingkat kesalahan kata adalah abstraksi sampai Anda mengubahnya menjadi koreksi. Ambil korpus seribu menit ucapan bahasa Inggris pada kecepatan percakapan 150 kata per menit — 150.000 kata. Pada 4,62%, Whisper Large v3 Turbo menghasilkan sekitar 6.900 kata yang salah, hilang, atau disisipkan. Pada 2,28%, SOV-Transcribe-1 menghasilkan sekitar 3.400. Selisihnya sekitar 3.500 kata yang tidak perlu ditemukan dan diperbaiki oleh manusia.

Sekarang hitung biaya perbaikannya. Seorang editor yang teliti mencocokkan transkrip dengan audio pada kecepatan mungkin 200 hingga 400 kata per menit, jadi 3.500 kesalahan lebih sedikit berarti antara sembilan hingga delapan belas menit tinjauan manusia yang dihemat per seribu menit audio. Dengan tarif penuh $30 per jam, itu berarti $4,50 hingga $9,00 — dibandingkan dengan biaya transkripsi, di sisi Whisper yang dihosting, sebesar $0,67.

Perbandingan itulah alasan sebagian besar tim tidak pernah bermigrasi. Biaya kesalahan pada manusia mendominasi biaya mesin untuk transkripsi hingga satu orde besaran, jadi model yang memangkas separuh kesalahan seharusnya bernilai sepuluh kali lipat harganya, dan dalam praktiknya ia bersaing dengan harga yang sudah dapat diabaikan. Pengecualiannya adalah pipeline apa pun yang tidak ada yang meninjau output sama sekali — pengindeksan otomatis, pencarian, analitik, umpan ringkasan — karena di sana kesalahan tidak diperbaiki, melainkan merambat ke apa pun yang membaca transkrip berikutnya, dan biaya orde keduanyalah yang paling terasa.

Indeks tempat kedua skor itu berada sendiri merupakan campuran — setengah percakapan agen sintetis, seperempat pidato parlemen yang dibacakan, seperempat panggilan pendapatan nyata — dan kedua model berperilaku sangat berbeda pada setiap sepertiga bagian. Komponen Whisper Large v3 Turbo masing-masing adalah 3,52%, 3,97%, dan 7,49%; komponen SOV-Transcribe-1 adalah 1,79%, 1,50%, dan 4,06%. Kesenjangannya paling lebar pada pidato parlemen yang dibacakan — 1,50% berbanding 3,97%, faktor 2,6 — dan paling sempit pada panggilan pendapatan, ketika kedua model kesulitan dan kesenjangannya 4,06% berbanding 7,49%. Jika audio Anda adalah ucapan bersih yang dibacakan, peningkatan ini dramatis. Jika itu audio keuangan multi-pembicara yang berantakan, kedua model buruk dan model yang lebih baru hanya kurang buruk.

Mengapa Whisper masih unggul dalam hal invoice

Mulailah dengan perbandingan hosted, karena inilah yang paling sering dihadapi tim. Whisper Large v3 Turbo tersedia dengan harga $0,67 per seribu menit dari setidaknya satu penyedia hosting di papan Artificial Analysis, pada faktor kecepatan terukur 339,5 — yaitu 339,5 detik audio per detik waktu aktual. SOV-Transcribe-1 sama sekali tidak memiliki harga hosted per menit. Salesforce menerbitkan bobot, bukan endpoint, dan tidak ada apa pun di papan yang mencantumkan angka per 1.000 menit untuknya.

Jadi perbandingannya menjadi dolar versus jam GPU, dan kartu model memberikan angka yang luar biasa lengkap untuk itu. Dengan dukungan native vLLM dan model draf DFlash, satu RTX PRO 6000 Blackwell Server Edition mentranskripsikan hingga 1.039 detik audio per detik. Jalankan kartu itu dengan performa maksimal selama satu jam dan ia memproses 3,74 juta detik audio — 62.340 menit. Dengan biaya sewa sekitar dua dolar per jam, itu berada pada kisaran tiga sen per seribu menit audio, dua puluh kali lebih murah daripada endpoint Whisper terkelola termurah dalam daftar.

Angka itu nyata dan juga merupakan angka paling menyesatkan dalam artikel ini, karena angka itu mengasumsikan kartu tidak pernah menganggur. Transkripsi ucapan bersifat meledak-ledak: tumpukan pekerjaan datang semalaman, diselesaikan, lalu GPU menganggur dengan utilisasi nol selama dua puluh jam. Pada 1.039 detik-audio per detik, satu kartu menyelesaikan seribu jam audio dalam waktu kurang dari satu jam. Hampir tidak ada orang yang memiliki seribu jam audio per hari. Kesimpulan jujurnya adalah bahwa menjalankan sendiri salah satu model merupakan keputusan ekonomi tentang utilisasi, bukan tentang ukuran — dan bahwa begitu Anda memutuskan untuk menjalankan kartu sama sekali, biaya marginal model yang lebih baik mendekati nol.

Tiga hal yang bisa dilakukan Whisper yang tidak bisa dilakukan model baru

Cakupan bahasa adalah yang pertama, dan selisihnya tidak tipis. Kartu model Whisper Large v3 Turbo mencantumkan hampir seratus bahasa, dari bahasa Inggris dan Mandarin hingga bahasa Wales, Malta, Hawaii, Lao, dan Sunda. SOV-Transcribe-1 mencakup bahasa Inggris, Prancis, Jerman, Spanyol, Italia, Portugis, dan Belanda. Bagi tim mana pun yang audionya bukan bahasa Eropa, perbandingan ini tidak punya babak kedua — Whisper bukan pilihan hemat anggaran, melainkan satu-satunya pilihan di antara keduanya.

Stempel waktu adalah yang kedua. Loop decoding Whisper memprediksinya secara native, dan pipeline Transformers mengeksposnya pada granularitas kalimat atau kata melalui satu argumen; begitulah cara subtitel, penanda bab, dan pencarian kepatuhan dibangun di atas Whisper selama dua tahun. Kartu SOV-Transcribe-1 mendokumentasikan transkripsi, kontrol gaya, dan bias konteks, dan tidak ada apa pun tentang stempel waktu. Memulihkannya di hilir berarti menjalankan penyelaras paksa atas output, yang merupakan model lain, dependensi lain, dan sumber kesalahan lain.

Terjemahan ucapan adalah yang ketiga. Whisper dapat menerima audio dalam bahasa sumber mana pun yang didukungnya dan langsung menghasilkan teks bahasa Inggris, sebagai tugas decoding alih-alih tahap pipeline kedua. SOV-Transcribe-1 mentranskripsikan dalam bahasa yang diucapkan. Jika Anda memerlukan subtitel untuk dokumenter Jepang, Whisper melakukannya dalam satu panggilan dan model Salesforce tidak dapat melakukannya sama sekali.

Kelemahan Whisper yang terdokumentasi layak mendapat porsi yang setara, karena itulah argumen terkuat untuk beralih. Kartu milik OpenAI sendiri memperingatkan bahwa model tersebut berhalusinasi — menghasilkan teks yang tidak diucapkan — karena dilatih pada data berisik dengan pengawasan lemah, dan bahwa hal ini lebih buruk pada bahasa dengan sumber daya rendah. Kartu itu juga mencatat bahwa arsitektur sequence-to-sequence rentan terhadap pengulangan, yang hanya sebagian dimitigasi oleh beam search dan temperature fallback. Itu justru mode kegagalan yang membuat pipeline tanpa tinjauan menjadi berbahaya, dan itulah yang menjadi sasaran kerja arsitektur selama dua tahun.

Seperti apa migrasi yang sebenarnya

Hampir tidak ada yang menggantikan Whisper dengan SOV-Transcribe-1. Mereka merutekan di antara keduanya, dan aturan peruteannya terbentuk sendiri dari spesifikasi: jika audionya berbahasa Inggris atau salah satu dari enam bahasa lain yang dicakup, hanya satu pembicara, di bawah tiga puluh menit, dan padat entitas, kirim ke model terbuka dengan daftar petunjuk; jika tidak, biarkan di Whisper. Hasil Contextual Earnings-22 Salesforce — F1 kata kunci naik dari 71.9 tanpa petunjuk menjadi 96.8 dengan kata kunci klip itu sendiri, dan tetap 94.0 saat diberi daftar kata kunci satu jam penuh sebagai distraktor — adalah kemampuan spesifik yang membuat pembagian ini layak, karena itulah satu hal yang tidak dilakukan bias prompt prefiks Whisper dengan hampir sebaik itu.

Biaya dari pemisahan itu adalah infrastruktur ganda dan dua format keluaran: SOV-Transcribe-1 mengembalikan string transkrip, Whisper mengembalikan teks plus potongan stempel waktu, dan semua komponen hilir harus menerima keduanya. Dalam praktiknya, sebagian besar tim menormalisasi ke skema transkrip mereka sendiri di batas dan berhenti memedulikan model mana yang menghasilkannya.

Apa yang terjadi setelah transkrip adalah bagian yang skalanya mengikuti volume, dan di situlah router seharusnya berada, bukan vendor speech kedua: OrcaRouter menempatkan 200+ model teks, gambar, dan video di balik satu kunci dengan harga daftar penyedia dan markup 0%, sehingga perangkum, pengindeks, atau pengklasifikasi yang mengonsumsi salah satu transkrip dapat ditukar atau dialihkan saat gagal tanpa kontrak baru — dan penurunan harga vendor untuk model tersebut langsung berlaku di sini pada hari yang sama. Baik Whisper Large v3 Turbo maupun SOV-Transcribe-1 tidak dilayani melaluinya; keduanya adalah bobot yang Anda jalankan sendiri, dan perutean dimulai dari teks yang dihasilkan keduanya.

Apa yang akan membuat perbandingan ini usang?

Dua hal, dan keduanya masuk akal dalam satu siklus rilis. Yang pertama adalah checkpoint SOV terkuantisasi. Keunggulan praktis Whisper Large v3 Turbo adalah bahwa model itu muat di mana saja; build 4-bit dari model 26,6B tetap akan membutuhkan GPU yang serius, tetapi rilis FP8 atau NVFP4 — jenis yang dikirim NVIDIA pada hari pertama untuk Nemotron 3.5 Transcribe — akan memindahkan model Salesforce dari "komponen pusat data" menjadi "komponen workstation" dan meruntuhkan sebagian besar keberatan terhadap deployment. Salesforce sudah menerbitkan build MLX 4-bit, yang menunjukkan arahnya.

Yang kedua adalah stempel waktu dan diarisasi yang hadir dalam rilis minor. Keduanya jelas-jelas belum ada, keduanya merupakan syarat wajib bagi produk rapat dan media, dan keduanya persis jenis hal yang ditambahkan kartu model v0.2. Jika keduanya tersedia, satu-satunya alasan tersisa untuk menjalankan Whisper adalah seratus bahasa — dan bagi sebagian besar tim, itulah satu-satunya alasan mereka menjalankannya sekarang.

Sampai saat itu, pembagian peran ini stabil dan mudah dibenarkan: Whisper Large v3 Turbo tetap menjadi default yang tepat untuk apa pun yang multibahasa, bertimestamp, long-tail, atau dibatasi CPU, dan SOV-Transcribe-1 adalah spesialis yang Anda gunakan ketika audionya berbahasa Inggris, kosakatanya diketahui, dan tidak ada orang yang akan membaca output sebelum mesin melakukannya.