Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: Throughput 35× untuk 0,45 Poin WER

IBM merilis dua checkpoint Granite Speech 5.0 dalam selang satu hari, dan hal yang menarik bukanlah salah satunya lebih besar. Yang menarik adalah Granite Speech 5.0 2B mencetak WER bahasa Inggris rata-rata 5,06% pada 570 RTFx di Open ASR Leaderboard, sementara Granite Speech 5.0 470M TurboCTC mencetak 5,51% pada 19.870 RTFx — sekitar tiga puluh lima kali throughput untuk selisih akurasi yang jauh di bawah setengah poin. Jika Anda mengira jumlah parameter memberi Anda sesuatu yang proporsional, ternyata tidak. Yang Anda dapatkan adalah penerjemahan, pembobotan kata kunci, kendali language-ID, dan model bahasa yang dapat mengikuti prompt. Kecepatan tidak ada dalam daftar itu. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan di Arsip Insiden AI OrcaRouter di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda status dipersengketakan.

Kedua angka tersebut milik IBM sendiri, diukur pada papan peringkat yang sama dan bertanggal dalam selisih satu minggu, sehingga menjadikannya salah satu perbandingan antarkeluarga yang paling bersih yang tersedia — dan juga salah satu yang tetap harus Anda anggap sebagai evaluasi yang dijalankan vendor, bukan evaluasi yang telah diaudit. Tidak ada model yang memiliki reproduksi independen, dan pada saat penulisan, tidak ada yang dilayani oleh penyedia inferensi mana pun yang dapat saya temukan, termasuk katalog kami sendiri.

Pada minggu yang sama, dua kisah peluncuran yang berbeda

Kedua model ini bukan kembar dengan ukuran berbeda. Keduanya dirilis secara berbeda dan dibangun secara berbeda, dan riwayat rilisnya menjelaskan mengapa kartu model mereka terbaca sangat berbeda.

• Granite Speech 5.0 2B — repositori dibuat 7 Oktober 2026, bobot di-commit malam itu, kartu diedit secara terbuka selama dua minggu, tanggal rilis distempel 20 Oktober, blog pengumuman 21 Oktober. Model baru, awal tenang, akhir heboh.

• Granite Speech 5.0 470M TurboCTC — pertama kali dirilis pada 25 Agustus 2026 sebagai model khusus bahasa Inggris dengan klaim 12.600 RTFx. Rilis 21 Oktober merupakan pembaruan, bukan model baru: arsitektur yang sama, kepala BPE multibahasa 16.384 token yang baru, enam bahasa tambahan, serta tanda baca dan kapitalisasi bawaan.

Perbedaan itu penting saat Anda membaca angkanya. Angka 5,06% untuk 2B adalah evaluasi baru terhadap checkpoint baru. Angka 5,51% untuk 470M merupakan peningkatan dari angka 5,78% yang dipublikasikan pada Agustus, dan blog IBM menyebutnya sebagai "WER bahasa Inggris yang lebih baik meskipun menambahkan enam bahasa," yang merupakan cara yang tepat untuk membacanya — pembaruan multibahasa tidak mengorbankan akurasi bahasa Inggris, tetapi justru meningkatkannya.

Dua arsitektur, satu konsekuensi

Granite Speech 5.0 2B adalah model bahasa-ucapan. Encoder CTC Conformer 16-blok memasok proyektor transformer kueri jendela dua lapis, yang menurunkan sampel 10× menjadi embedding akustik 10 Hz, yang masuk ke checkpoint perantara granite-4.0-1b-base yang diperluas ke 16k posisi dengan YaRN. Fine-tuning terawasi adalah LoRA pada proyektor dan model bahasa secara bersamaan. Generasi bersifat autoregresif: model bahasa menulis transkrip token demi token.

Granite Speech 5.0 470M TurboCTC adalah encoder. Enam belas blok Conformer, objektif CTC, kepala klasifikasi BPE multibahasa 16.384 unit, subsampling temporal dengan faktor 8 untuk menurunkan frame 100 Hz menjadi 12,5 Hz, decoding greedy non-autoregresif. Tanpa proyektor, tanpa model bahasa, tanpa loop generasi. Outputnya diberi tanda baca dan huruf kapital karena model dilatih untuk mengeluarkan tanda baca dalam aliran token, bukan karena model kedua menambahkannya setelahnya.

Konsekuensinya adalah keseluruhan perbandingan. Model 2B yang menghasilkan token memiliki batas bawah latensi per token yang tidak sepenuhnya bisa dihilangkan oleh seberapa pun banyaknya batching; encoder non-autoregresif mengeluarkan seluruh outputnya dalam satu forward pass, sehingga throughput berskala dengan ukuran batch dan hampir tidak dengan apa pun selain itu. Itulah bagaimana model dengan seperempat parameter berakhir tiga puluh lima kali lebih cepat alih-alih empat kali lebih cepat.

Ini juga sebabnya 470M mengorbankan hal-hal yang dimiliki 2B. Tidak ada prompt untuk diikuti, jadi tidak ada instruksi ID bahasa dan tidak ada daftar kata kunci, dan tidak ada terjemahan — kepala CTC memetakan akustik ke token, ia tidak dapat diperintahkan untuk mengubah ucapan bahasa Jerman menjadi teks bahasa Inggris.

Papan skor, dan dari mana setiap angka berasal

• Parameter — Granite Speech 5.0 2B adalah 2B; Granite Speech 5.0 470M TurboCTC adalah 470M.

WER bahasa Inggris, rata-rata 9 set Open ASR — 5,06% vs 5,51%. Keduanya merupakan uji evaluasi IBM, 15–20 Oktober 2026.

• Throughput, RTFx — 570 vs 19.870. Harness papan peringkat yang sama, rentang tanggal yang sama.

• WER pada kondisi bising dan bergema, FFASR — 14,80% (peringkat #4 dari 42) vs 17,57% (peringkat #12). Model 2B lebih tangguh sekitar 2,8 poin.

• Lisensi — Apache 2.0 untuk keduanya. TurboCTC juga memiliki varian -NC di bawah CC-BY-NC-SA-4.0; periksa nama repositori sebelum Anda merilisnya.

• Bahasa — enam bahasa transkripsi (En, Fr, De, Es, Pt, Ja) plus terjemahan, versus tujuh (menambahkan bahasa Italia) tanpa terjemahan.

• Fitur kontrol — prompting ID bahasa, pembobotan kata kunci hingga 2.000 istilah, dan terjemahan ucapan pada 2B; tidak ada pada 470M.

• Pelatihan — 390.000 jam selama 40 hari pada 8 H100s untuk model 2B; 153.000 jam selama 24 hari pada 8 H100s untuk model 470M.

Kesenjangan ketahanan adalah baris yang dilewatkan orang. Kecepatan tiga puluh lima kali lipat memang menarik perhatian, tetapi WER 17,57% pada audio bising jarak jauh dibandingkan dengan 14,80% merupakan perbedaan galat relatif sebesar 19%, dan audio bising adalah kondisi yang dimiliki sebagian besar penerapan nyata. Jika audio Anda berasal dari laptop di dapur, keunggulan kecepatan model kecil habis untuk transkrip yang kemudian harus Anda koreksi.

Satu-satunya tempat di mana 470M benar-benar unggul dalam akurasi

Kartu TurboCTC mengklaim bahwa model ini mengungguli model 2B dalam hal tingkat kesalahan karakter pada CSJ eval1, CommonVoice-17, dan FLEURS — ketiga set pengujian — dan menyatakan hal itu secara eksplisit dalam teks kartu, bukan menguburnya dalam sebuah grafik. Angka-angkanya sendiri hanya ada di sebuah gambar, sehingga besarnya keunggulan tidak dapat dikutip, tetapi arahnya merupakan klaim IBM sendiri tentang dua modelnya sendiri, yang membuatnya lebih kredibel daripada perbandingan antarvendor.

Ada mekanisme yang masuk akal. Model 2B menangani bahasa Jepang dengan menambahkan set fonetik Katakana 92 karakter ke character head dan 16.500 jam ASR berbias kata kunci Jepang plus 9.600 jam TTS Fineweb-2 ke pelatihan, tetapi model itu masih merutekan hasilnya melalui model bahasa yang sebagian besar dilatih pada teks Eropa. Model 470M menggunakan satu kosakata BPE multibahasa 16.384 unit dengan bahasa Jepang di dalamnya sejak awal dan menghabiskan 8.130 jam pada ReazonSpeech dan 1.860 jam pada bahasa Jepang sintetis. Jika produk Anda adalah transkripsi bahasa Jepang dalam volume besar, inilah satu perbandingan di mana model kecil lebih cepat sekaligus lebih baik, dan layak diuji secara langsung sebelum memilih 2B secara default berdasarkan ukuran.

Biaya, dihitung bukan dikutip

IBM tidak menerbitkan harga pentru kedua model tersebut. Keduanya adalah bobot Apache 2.0, jadi biaya menjalankannya adalah biaya perangkat kerasnya, dan angka RTFx adalah satu-satunya tuas yang Anda miliki untuk memperkirakannya.

Ambil beban kerja 1.000 jam audio per hari — arsip pusat panggilan ukuran menengah. Pada 570 RTFx, model 2B membutuhkan sekitar 6.300 detik waktu GPU, sedikit di atas 1,7 jam-GPU. Pada 19.870 RTFx, model 470M membutuhkan sekitar 181 detik, atau 0,05 jam-GPU. Pada H100 dengan biaya sekitar $2–3 per jam, itu hanya beberapa dolar per hari dibandingkan beberapa sen. Keduanya angka kecil, dan itulah intinya: pada skala ini tidak ada model yang mahal, dan keputusan harus dibuat berdasarkan akurasi dan kemampuan, bukan berdasarkan komputasi.

Perhitungannya berubah di ujung lain. Jika Anda mentranskripsikan satu stream secara real time di laptop, atau menjalankan aplikasi on-device, model 2B memerlukan GPU agar tetap lebih cepat dari real time, sementara 470M masih memiliki ruang cadangan — itulah sebabnya IBM memosisikan TurboCTC untuk laptop, ponsel, dan perangkat edge serta mendokumentasikan mlx-audio untuk Apple Silicon. Model 2B juga berjalan di llama.cpp dan mlx-audio, tetapi pada Q8_0 dengan peringatan bahwa kuantisasi bit yang lebih rendah kehilangan akurasi setelah sekitar satu menit audio.

Memilih, sesuai urutan terjadinya keputusan yang sebenarnya

Jangan dimulai dengan benchmark. Mulailah dengan apa yang dibutuhkan oleh tugas, karena tiga dari perbedaan tersebut merupakan persyaratan mutlak, bukan kompromi.

Apakah outputnya perlu dalam bahasa yang berbeda dari input? Kalau begitu, itu adalah 2B, dan tidak ada perbandingan yang perlu dilakukan. 470M tidak dapat menerjemahkan. Persyaratan tunggal ini mengeliminasinya untuk pipeline subtitel, catatan rapat multibahasa, dan arsip berbahasa Inggris apa pun yang dibangun dari audio non-Inggris.

Apakah transkrip perlu memuat istilah tertentu? Nama produk, nama obat, ID tiket, daftar SKU pelanggan — 2B menerima hingga 2.000 istilah sebagai daftar kata kunci dan dilatih pada 23.600 jam audio dengan bias kata kunci tepat untuk ini. 470M tidak memiliki antarmuka prompt. Penerapan berbasis glosarium pada model kecil tidak dimungkinkan.

Apakah audionya bersih? Jika ya, selisih 0,45 poin pada bahasa Inggris itu kecil dan keunggulan kecepatan 35× hampir gratis. Jika tidak — rapat, pusat panggilan, mikrofon jarak jauh — selisih FFASR sebesar 2,8 poin menunjukkan bahwa kesalahan model kecil akan lebih merugikan Anda daripada penghematan dari kecepatannya.

Apakah itu bahasa Jepang? Uji 470M terlebih dahulu. IBM mengatakan model itu menang pada ketiga set uji bahasa Jepang.

Apakah ini berjalan di perangkat? 470M dirancang untuk itu. 2B dapat berjalan di satu perangkat tetapi tidak dirancang untuk itu.

Ringkasan jujurnya adalah bahwa ini bukan dua ukuran dari produk yang sama. Yang satu adalah sistem transkripsi dan terjemahan dengan antarmuka kontrol; yang lain adalah mesin transkripsi yang sangat cepat dan sangat murah tanpa kontrol. Sebagian besar tim yang mengira mereka membutuhkan "yang lebih baik" sebenarnya perlu menjawab pertanyaan tentang terjemahan dan glosarium terlebih dahulu, dan kedua jawaban itu yang menentukan pilihannya.

Menjalankan keduanya tanpa memihak salah satunya

Bentuk produksi yang masuk akal bagi tim yang menguji keluarga model ini adalah menerapkan keduanya, karena mode kegagalannya berlawanan. Model 470M menangani transkripsi bersih dalam jumlah besar dengan biaya yang nyaris nol; model 2B menangani audio sulit, audio non-Inggris, dan apa pun yang memerlukan glosarium. Router yang mengklasifikasikan setiap file masuk — deteksi bahasa, perkiraan rasio sinyal terhadap derau, pemeriksaan apakah ada glosarium yang dilampirkan — lalu mengirimkannya ke checkpoint yang tepat mungkin hanya lima puluh baris kode dan memangkas tingkat kesalahan Anda pada kasus-kasus ekor tanpa membayar harga 2B untuk data massal.

Tahap klasifikasi itu adalah pemanggilan model kecil, dan itulah bagian yang layak dijalankan melalui satu endpoint alih-alih menyematkan SDK vendor kedua: OrcaRouter mengekspos 200+ model di balik satu API yang kompatibel dengan OpenAI dengan harga daftar penyedia tanpa markup tambahan, dan DSL routing-nya dapat menyatakan pengiriman berdasarkan bahasa dan kualitas sebagai aturan alih-alih kode aplikasi. Failover otomatis paling penting pada minggu setelah rilis seperti ini, ketika checkpoint berusia dua hari, belum ada yang diverifikasi secara independen, dan cara teraman untuk mencobanya adalah menjaga jalur kedua tetap siap. Tidak satu pun dari itu membantu Anda menjalankan Granite Speech itu sendiri untuk saat ini — tidak ada satu pun checkpoint yang kami layani hari ini, jadi model suara tetap di-host sendiri dan lapisan routing dimulai satu langkah di hilir.

Jika Anda hanya men-deploy satu model, deploy 2B. Model ini dapat melakukan semua yang bisa dilakukan 470M, dengan kecepatan yang masih tiga puluh lima kali lebih cepat daripada waktu nyata dan akurasi yang lebih baik pada setiap benchmark yang diterbitkan IBM, kecuali bahasa Jepang. 470M adalah spesialis yang Anda tambahkan ketika biaya atau profil latensi membenarkannya — bukan pilihan default untuk memulai.