Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM Menang di Benchmark, Whisper Menang di 99 Bahasa

Pada dua angka yang paling sering dicek orang lebih dulu, Granite Speech 5.0 2B mengalahkan Whisper large-v3-turbo dan selisihnya tidak tipis. Model IBM rata-rata memiliki word error rate 5,06% di sembilan set uji bentuk pendek berbahasa Inggris pada Open ASR Leaderboard dengan 570 RTFx; checkpoint turbo OpenAI rata-rata 7,83% pada 200 RTFx di papan yang sama. Lebih cepat dan lebih akurat, pada benchmark yang sama, dengan selisih tanggal rilis sekitar dua tahun. Jika audio Anda berbahasa Inggris dan audio Anda bersih, itulah keseluruhan perbandingannya dan Anda bisa berhenti membaca. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam the OrcaRouter AI Incident Archive di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, kelas keyakinan, dan penanda status diperdebatkan.

Alasan halaman ini masih perlu ada adalah angka ketiga: 99. Whisper large-v3-turbo mencakup sembilan puluh sembilan bahasa; Granite Speech 5.0 2B mencakup enam bahasa untuk transkripsi dan menerjemahkan ke dua bahasa lainnya. Keunggulan WER 2,8 poin pada bahasa Inggris tidak berarti apa-apa jika audionya berbahasa Vietnam. Jadi pertanyaan sebenarnya bukanlah model mana yang lebih baik — melainkan apakah campuran bahasa Anda muat dalam kotak enam bahasa, dan berapa biaya migrasinya jika muat.

Apa sebenarnya Whisper large-v3-turbo

Perlu berhati-hati di sini karena nama tersebut sering dilekatkan pada hal-hal yang bukan dirinya. Whisper large-v3-turbo adalah versi pangkas large-v3 dari OpenAI: encoder tidak berubah, tetapi decoder memiliki 4 lapisan, bukan 32. Perubahan tunggal itu membawa model dari 1.550M parameter menjadi 809M dan meningkatkan throughput sekitar tiga kali lipat, sambil mengorbankan akurasi yang relatif sedikit — itulah sebabnya model ini menjadi checkpoint ASR cepat default di seluruh ekosistem dalam beberapa bulan setelah rilisnya pada Oktober 2024.

Tiga sifat mengikuti dari rancangan tersebut dan semuanya relevan untuk perbandingan ini:

• Ini adalah model terjemahan yang kebetulan telah dipangkas, sehingga mewarisi 99 bahasa untuk transkripsi dan identifikasi bahasa — tetapi varian turbo tidak dilatih untuk penerjemahan. Berbeda dengan large-v3, model ini mentranskripsikan dan mengidentifikasi bahasa; model ini tidak menyajikan ucapan dalam satu bahasa sebagai teks dalam bahasa lain. Tim sering kali baru menyadari hal ini setelah membangun di atasnya.

• Dekoder bersifat autoregresif. Ia menulis token, 4 lapisan sekaligus, itulah sebabnya throughput-nya berada di 200 RTFx, bukan di kisaran ribuan. Kecepatan Whisper berasal dari penghapusan lapisan, bukan dari perubahan paradigma pendekodean.

• Lisensinya MIT, yang dalam praktiknya lebih permisif daripada Apache 2.0 tepatnya dalam satu hal yang penting bagi sebagian tim hukum: tidak ada klausul pemberian lisensi paten yang perlu dianalisis, dan tidak ada berkas atribusi yang perlu disertakan.

Keunggulan sebenarnya Whisper bukanlah benchmark. Itu adalah dua tahun perkakas — faster-whisper, whisper.cpp, endpoint terkelola di setiap cloud, resep kuantisasi, pustaka timestamp tingkat kata, tumpukan diarisasi yang dibangun di atasnya. Ekosistem itu adalah biaya peralihan yang nyata, dan perbandingan ini harus memperhitungkannya secara jujur.

Di mana kesenjangannya nyata, dan di mana itu merupakan artefak harness

Perbandingan 5,06% versus 7,83% berada pada papan peringkat yang sama, yang membuatnya lebih sah dibandingkan sebagian besar angka antarpemasok — tetapi ini bukan uji yang setara, dan rinciannya bisa mendukung kedua belah pihak.

• Angka Granite berasal dari uji evaluasi milik IBM sendiri yang dikirimkan ke papan peringkat, yang dalam blog pengumuman disebut "tidak resmi, per 15 Oktober 2026." Kartu model menyebut hasil yang sama sebagai "resmi" per 20 Oktober. Pilih saja kata sifat mana pun yang Anda suka; tidak ada pihak di luar IBM yang mereproduksinya.

• Angka Whisper adalah hasil yang dipublikasikan oleh papan peringkat untuk checkpoint tersebut, yang dijalankan menggunakan harness milik papan peringkat itu sendiri, yaitu pipeline yang berbeda dari milik IBM.

• Kedua angka tersebut adalah rata-rata dari sembilan set uji publik, yang sebagian besar merupakan ucapan bahasa Inggris yang dibacakan dari LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI, dan VoxPopuli. Kelemahan Whisper pada papan peringkat ini sudah terdokumentasi dengan baik dan bersifat struktural: model ini dilatih pada 680.000 jam audio web dengan pengawasan lemah, yang memberikan keluasan cakupan dengan mengorbankan ketepatan pemformatan.

• Pada audio jauh dan berisik, urutan tersebut tetap berlaku. Papan FFASR — rata-rata near-field, SNR tinggi, SNR sedang, dan SNR rendah — menempatkan whisper-large-v3 pada 18,02%, dengan Granite Speech 5.0 2B pada 14,80%. Perhatikan bahwa itu large-v3, bukan turbo; turbo umumnya sedikit lebih buruk daripada induknya pada audio sulit karena memiliki lebih sedikit lapisan decoder untuk pulih dari tebakan akustik yang buruk.

Jadi selisih akurasi itu kemungkinan nyata secara arah dan kemungkinan lebih kecil dari 2,8 poin dalam perbandingan yang adil. Yang tidak diragukan adalah dari mana asalnya: dekoder Whisper diminta melakukan identifikasi bahasa, transkripsi, tanda baca, kapitalisasi, dan penyelarasan stempel waktu sekaligus dengan empat lapisan, sementara arsitektur Granite memisahkan pekerjaan akustik (encoder CTC dengan kepala karakter dan BPE) dari pembangkitan teks (model bahasa 1B).

Kotak bahasa, dikuantifikasi

Di sinilah keputusan dibuat, jadi ini layak mendapatkan lebih dari sekadar angka dalam satu butir.

• Granite Speech 5.0 2B mentranskripsikan bahasa Inggris, Prancis, Jerman, Spanyol, Portugis, dan Jepang, serta menerjemahkan antara keenam bahasa tersebut dan bahasa Inggris, ditambah dari bahasa Inggris ke bahasa Italia dan dari bahasa Inggris ke bahasa Mandarin.

• Whisper large-v3-turbo mentranskripsikan sembilan puluh sembilan bahasa dan mengidentifikasi bahasa mana yang sedang didengarnya. Ini tidak menerjemahkan.

• Saudara tujuh bahasa Granite, {{1}}Granite Speech 5.0 470M TurboCTC{{/1}}, menambahkan bahasa Italia ke kumpulan transkripsi — jadi keluarga ini mencakup tujuh bahasa Eropa dan Jepang, bukan enam.

Sembilan puluh sembilan berbanding tujuh adalah seluruh argumen untuk Whisper, dan itu argumen yang kuat. Namun distribusi praktis lebih penting daripada jumlahnya. Jika audio Anda berbahasa Inggris, Prancis, Jerman, Spanyol, Portugis, Jepang, dan Italia, Granite mencakupnya. Jika Anda memerlukan Hindi, Arab, Korea, Turki, Polandia, Vietnam, Indonesia, Belanda, Swedia, atau salah satu dari sembilan puluh lebih bahasa lainnya, Whisper adalah satu-satunya dari kedua ini yang berfungsi — dan sebesar apa pun keunggulan WER pada bahasa Inggris tidak akan mengubah hal itu.

Kasus tengah adalah kasus yang paling sering sebenarnya dialami oleh tim: produk yang sebagian besar berbahasa Inggris dengan ekor panjang bahasa yang hanya muncul beberapa persen dari waktu. Dua model, satu per tingkatan, adalah jawaban yang normal dan tepat — dan biayanya lebih murah daripada kedengarannya, karena pada ekor panjang itulah volumenya rendah.

Audio panjang, stempel waktu, dan hal-hal yang rusak saat diskalakan

Kisah penerapan Whisper sudah matang dalam banyak hal yang tidak ada di tolok ukur mana pun. Stempel waktu tingkat kata, deteksi aktivitas suara, diarisasi pembicara, streaming dengan dekode terpotong — semuanya sudah ada, semuanya sudah teruji di lapangan, dan sebagian besarnya mengasumsikan jendela 30 detik Whisper serta token stempel waktunya.

Granite Speech 5.0 2B mengambil bentuk yang berbeda. IBM merekomendasikan segmen hingga sekitar dua menit, dipisahkan dengan VAD untuk rekaman yang lebih panjang, dan model bahasa melihat embedding 10 Hz di dalam konteks 16k yang diperluas dengan YaRN. Tidak ada head timestamp tingkat kata pada checkpoint dasar 2B — generasi 4.1 mengirimkan varian "-plus" terpisah untuk ASR dengan atribusi pembicara dan timestamp tingkat kata, dan belum ada varian 5.0 yang setara.

Itu adalah celah nyata jika Anda membangun subtitle, transkrip rapat dengan label pembicara, atau apa pun yang perlu melompat ke frasa tertentu. Blog 5.0 memang menjelaskan peningkatan timestamp, tetapi itu milik granite-speech-4.1-2b-plus yang diperbarui, bukan milik 5.0 2B.

• Perlu stempel waktu tingkat kata — Whisper large-v3-turbo saat ini; Granite 4.1-2b-plus jika Anda menginginkan keluarga Granite dan dapat menerima model akustik yang lebih lama.

• Perlu atribusi pembicara — jawaban yang sama; 5.0 2B tidak melakukannya.

• Perlu akurasi bentuk panjang melewati beberapa menit — panduan segmen dua menit Granite adalah batas praktis, dan pemotongan 30 detik Whisper dengan pengondisian pada teks sebelumnya memiliki mode kegagalan terkenal (loop pengulangan saat hening). Tidak ada yang jelas lebih baik; keduanya perlu VAD di depannya.

Dua fitur yang dimiliki Granite yang tidak dimiliki Whisper turbo

Bias kata kunci. Granite Speech 5.0 2B menerima daftar kata kunci hingga 2.000 istilah per prompt dan dilatih pada 23.600 jam audio berbias kata kunci di seluruh kelompok bahasa Eropa dan Jepang. Whisper tidak memiliki antarmuka yang setara — yang paling mendekati adalah string prompt yang mendorong gaya dan kosakata, tanpa pelatihan di baliknya. Untuk penerapan yang mentranskripsikan nama produk, nama obat, ID tiket, atau glosarium milik pelanggan, ini adalah perbedaan paling berguna antara kedua model tersebut dan tidak muncul dalam rata-rata WER mana pun.

Pemberian prompt ID bahasa. Anda dapat memberi tahu Granite bahasa apa yang digunakan dalam audio dan menginstruksikannya untuk mentranskripsikan, bukan menerjemahkan. Whisper mendeteksi bahasa secara otomatis dan, pada varian turbo, hanya mentranskripsikan. Untuk korpus multibahasa yang bahasanya sudah Anda ketahui dari metadata, memaksakan bahasa tersebut menghilangkan satu kelas kesalahan — Whisper terkadang salah mengidentifikasi klip pendek lalu mentranskripsikan dengan yakin dalam bahasa yang salah.

Migrasi, dalam langkah-langkah yang benar-benar berhasil

Jika pertanyaan tentang bahasa sudah teratasi, peralihan ini tidak sesulit yang dibayangkan oleh kesenjangan ekosistem, karena sebagian besar pipeline berbasis Whisper sudah memiliki sambungan yang Anda perlukan.

1. Pertahankan VAD Anda. Kedua model menginginkan segmen, bukan file. Apa pun yang Anda gunakan untuk membagi audio untuk Whisper akan berfungsi untuk Granite hingga dua menit per segmen, bukan tiga puluh detik.

2. Ganti panggilan dekode, bukan plumbing-nya. Granite dimuat melalui AutoModelForSpeechSeq2Seq dan AutoProcessor di transformers>=4.52.1, atau melalui vLLM, llama.cpp pada Q8_0, atau mlx-audio di Apple Silicon. Jika layanan Anda memanggil faster-whisper sebagai proses eksternal, Anda hanya menukar satu panggilan model lokal dengan panggilan model lokal lainnya.

3. Tulis ulang prompt. Granite digerakkan oleh instruksi, dan prompt memilih mode: transkrip mentah, transkrip bertanda baca, berbias kata kunci, ID bahasa yang disematkan. Inilah langkah yang dilewati tim, lalu mereka menyimpulkan model lebih buruk karena mereka memberinya perilaku default Whisper.

4. Lakukan baseline ulang WER Anda pada audio Anda sendiri, bukan pada LibriSpeech. Ini bukan formalitas. Kelemahan Whisper di papan peringkat adalah pemformatan dan drift bentuk panjang; jika audio Anda berupa klip bahasa Inggris bersih berdurasi 30 detik dan langkah hilir Anda adalah model bahasa yang memperbaiki pemformatan, selisih yang Anda ukur mungkin mendekati nol — atau, jika audio Anda beraksen dan far-field, lebih besar dari 2,8 poin.

5. Pertahankan jalur cadangan. Cakupan non-bahasa Inggris Granite Speech 5.0 2B merupakan batas yang tegas, dan detektor bahasa di depan model bukan hal opsional dalam produk multibahasa. Apa pun yang berada di luar ketujuh bahasa tersebut dialihkan ke Whisper.

Di mana lapisan perutean membuktikan kelayakannya

Langkah kelima adalah bagian dari migrasi ini yang berubah menjadi arsitektur. Dispatch bahasa-dan-kualitas di depan dua model speech, ditambah model bahasa apa pun yang merapikan transkrip setelahnya, berarti tiga panggilan model per file, dan tiga integrasi vendor terpisah adalah cara sebuah pipeline sederhana berubah menjadi masalah pemeliharaan.

OrcaRouter adalah satu endpoint yang kompatibel dengan OpenAI lebih dari 200 model dengan harga daftar penyedia tanpa markup tambahan, sehingga tahap pascapemrosesan — pembersihan, peringkasan, ekstraksi bidang — dapat ditukar atau diuji A/B tanpa menyentuh kode ucapan, dan jika penyedia mengalami gangguan, sistem akan melakukan failover alih-alih menggagalkan pekerjaan. DSL perutean dapat menyimpan aturan pengiriman itu sendiri: deteksi bahasa, kirim tujuh bahasa yang didukung ke checkpoint Granite yang dihosting sendiri, kirim sisanya ke Whisper, dan serahkan transkrip ke model pembersihan mana pun yang dibutuhkan tugas. Hop terakhir itulah yang benar-benar dapat kami layani hari ini; baik Granite Speech 5.0 2B maupun Whisper large-v3-turbo tidak ada dalam katalog kami, sehingga model ucapan tetap berada di perangkat keras Anda sendiri dan perutean dimulai satu langkah lebih hilir, tempat ia tetap menghilangkan sebagian besar pekerjaan integrasi.

Siapa yang harus beralih, dan siapa yang tidak

Beralih jika audio Anda berbahasa Inggris plus enam bahasa Granite, akurasi lebih penting bagi Anda daripada keakraban ekosistem, Anda memerlukan bias kata kunci atau bahasa paksa, dan Anda bisa hidup tanpa timestamp tingkat kata untuk saat ini. Angka 5,06% versus 7,83% adalah selisih nyata pada arah yang penting, dan 570 RTFx versus 200 RTFx berarti peralihan ini kemungkinan juga menekan tagihan GPU Anda.

Jangan beralih jika Anda memerlukan salah satu dari sembilan puluh dua bahasa lainnya, stempel waktu tingkat kata, atribusi pembicara, atau endpoint terkelola — Granite Speech 5.0 2B tidak di-deploy oleh penyedia inferensi mana pun saat ini, dan self-hosting adalah satu-satunya cara untuk menggunakannya saat ini. Whisper large-v3-turbo tersedia di mana-mana, termasuk di lingkungan yang tidak mengizinkan Anda menjalankan GPU sendiri.

Jalankan keduanya jika Anda memiliki ekor bahasa yang panjang. Dispatch-nya murah, ekor itu bervolume rendah menurut definisinya, dan ini menghilangkan satu-satunya argumen yang masih tersisa bagi Whisper.