Granite Switch 4.1 8B: Satu Checkpoint 8B yang Mengobrol, Memutuskan, dan Mentranskripsikan

Delapan miliar tiga ratus delapan puluh juta parameter masuk. Delapan miliar tujuh ratus tujuh puluh enam juta keluar. 4,72% itulah seluruh perbedaan antara model dasar IBM dan Granite Switch 4.1 8B, dan itu adalah angka paling menarik dalam rilis ini, karena terkemas di dalam irisan tipis itu sebuah pengklasifikasi keselamatan, mesin keputusan, dan pengenal ucapan — semuanya menjawab dari satu endpoint, semuanya membaca dan menulis KV cache yang sama yang akan dibangun model dasar itu sendiri.

Bobot-bobot itu mendarat di Hugging Face pada 14 Oktober 2026. Blog peluncuran IBM sendiri, Granite Switch 4.1: Obrolan, Keputusan, dan Ucapan dari Satu Endpoint, menyusul pada 15 Oktober, yang layak dinyatakan secara terus terang di awal: ini bukan peluncuran senyap yang ditemukan seseorang di cermin. Ini adalah rilis yang diumumkan yang berusia sekitar dua hari pada saat penulisan, dan versi cerita yang penting bukanlah "apa yang diklaim IBM" melainkan "apa yang benar-benar dapat Anda verifikasi dari checkpoint yang ada di Hub saat ini." Kedua hal itu tidak sama, dan tulisan ini menjaga keduanya tetap terpisah.

Apa isi checkpoint sebenarnya

Granite Switch bukan arsitektur baru. Ini adalah komposisi: model dasar yang dibekukan, sekumpulan adaptor low-rank yang dapat dinyalakan dan dimatikan per token, dan — dalam build khusus ini — sebuah encoder yang dipasang untuk audio. Komposer berada di granite-switch repositori dan manifes build untuk checkpoint ini di-check in di samping bobot, yang berarti setiap klaim struktural di bawah ini dapat dibaca langsung dari Hub alih-alih diambil dari siaran pers.

Model dasarnya adalah Granite 4.1 8B — dense decoder-only, grouped-query attention dengan 32 kepala query terhadap 8 kepala key/value, SwiGLU, RMSNorm, jendela 131.072 token, dan kosakata 100.352 token. Checkpoint gabungan mewarisi semua itu dan menambahkan dua adaptor LoRA yang diaktifkan:

• guardian-core — peringkat 16, alpha 64, hanya dilampirkan pada proyeksi atensi (k_proj, o_proj, q_proj, v_proj), diangkat dari rilis Guardian Library dan dideskripsikan sebagai pendeteksi bahaya, jailbreaking, kata kotor, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis.

• keputusan — rank 64, alpha 128, terpasang pada ketujuh proyeksi termasuk MLP (down_proj, gate_proj, up_proj), dan dilatih untuk melakukan sesuatu yang lebih sempit dan lebih aneh: dengan diberikan suatu keadaan dan sebuah pertanyaan dengan opsi berlabel, mengembalikan distribusi probabilitas terkalibrasi atas label opsi tersebut dalam satu forward pass.

Keduanya diaktifkan oleh token kontrol — <|guardian-core|> dan <|decision|> — yang disisipkan oleh template chat untuk Anda saat Anda meneruskan adapter_name sebagai argumen. Anda tidak menulis tokennya sendiri, dan detail itu lebih penting daripada yang terlihat: ini berarti pemilihan adapter adalah parameter permintaan, bukan model kedua yang perlu diterapkan.

Mengapa delta parameter begitu kecil

Aritmetika adalah inti ceritanya. Model dasarnya memiliki 8.380.551.168 parameter. Model gabungannya 8.776.400.896. Itu berarti +395,8 juta, atau +4,72%, untuk dua adapter. Alasan angka itu tetap rendah adalah keputusan desain yang disebut normalisasi KV-cache: setiap adapter melihat cache key/value milik model dasar alih-alih memelihara cache-nya sendiri. Dalam penyiapan multi-adapter konvensional, setiap adapter tambahan adalah kumpulan status atensi kedua, dan tagihan memorinya bertambah seiring jumlah adapter yang Anda gunakan secara bergantian. Di sini tidak demikian. Klaim IBM dalam posting peluncuran adalah bahwa model gabungan memakai "kurang lebih jumlah VRAM yang sama pada GPU seperti yang akan dipakai model dasar sendirian," dan meskipun belum ada pihak di luar IBM yang mengukurnya, delta bobot 4,72% konsisten dengannya — dan tidak seperti klaim VRAM, delta bobot hanyalah angka dalam manifes yang bisa Anda baca.

Adaptor keputusan adalah bagian yang menarik.

Membaca distribusi probabilitas dari model bahasa bukanlah hal baru; melakukannya dalam satu forward pass dengan kosakata tetap dari label opsi, dan mendapatkan angka yang cukup terkalibrasi untuk ditindaklanjuti, adalah bagian yang layak dipahami. Resep pemanggilannya didokumentasikan di kartu: prompt sistem mesin keputusan tetap, Status: giliran yang dievaluasi pada base yang dibekukan, lalu ### KEPUTUSAN giliran yang menyajikan pertanyaan dan opsi berlabel token tunggal. Anda kemudian meminta server untuk logprob dari id token label yang tepat itu — vLLM mengekspos ini melalui logprob_token_ids — dan mengeksponensiasikannya. Contoh yang didokumentasikan mengembalikan sesuatu seperti A: 0.982, B: 0.0035, C: 0.014.

Ada seluk-beluk rekayasa nyata di sini yang dilewatkan oleh versi pemasaran dari rilis ini. vLLM membatasi logprob_token_idspada 128 id per permintaan. Jika pertanyaan keputusan Anda memiliki lebih dari 128 opsi, Anda akan mendapatkan HTTP 400, dan solusinya adalah membagi id label menjadi potongan berisi 128, mengirimkan satu permintaan per potongan dengan prompt yang identik, lalu menggabungkannya — karena logprobs yang dikembalikan mencakup seluruh kosakata, nilai tiap label tidak bergantung pada potongan mana yang memintanya, sehingga satu softmax atas seluruh himpunan label secara matematis identik dengan panggilan tanpa batas. Itu berarti satu permintaan tambahan per 128 opsi. Ini detail yang benar-benar berguna, dan persis jenis hal yang hanya ada di repo.

Satu-satunya angka terpublikasi yang melekat pada adapter ini adalah Decision Index (JEV), edisi v0.3, subset cepat publik berisi 1,068 baris: Keseluruhan 42.9, Pengetahuan 29.1, Bahasa 48.9, Pencarian 49.8, Alat 59.8, Seni 18.0. Anggap itu sebagai laporan vendor, karena memang demikian: IBM yang menjalankannya, menerbitkannya, dan belum ada pihak ketiga yang mereproduksinya. Ada baiknya pula membaca bentuknya ketimbang angkanya saja — 59.8 pada Alat bersanding dengan 18.0 pada Seni adalah profil yang sangat tidak merata, dan kartunya sendiri memperingatkan bahwa probabilitas opsi tersebut adalah "prior untuk menginformasikan keputusan, bukan klasifikasi tersertifikasi" pada domain yang tidak dilatih untuk adapter ini.

Speech-to-text itu nyata, dan cakupannya lebih sempit daripada judul beritanya.

Jalur audio menyematkan Granite Speech 5.0 TurboCTC, encoder CTC conformer non-autoregresif dengan 470 juta parameter, dan mentranskripsikan audio yang masuk sebelum menyambungkan transkrip ke konteks chat sebagai pengganti bagian konten audio. Memanggilnya tidak mengubah bentuk permintaan: ini adalah input_audio bagian konten pada chat completion biasa, dan transkripsi berjalan pada endpoint yang sama dengan chat dan keputusan, sehingga tidak ada server suara kedua yang perlu disiapkan.

Peringatannya, semuanya dari kartu IBM sendiri, bukan dari seorang kritikus: encoder hanya untuk bahasa Inggris, outputnya berupa huruf kecil dan tanpa tanda baca, tidak ada pengarahan saat dekode, dan — yang seharusnya menghentikan Anda — encoder ucapan dan LLM tidak dilatih bersama-sama. Tidak ada proyeksi terlatih yang menghubungkan keduanya. Oleh karena itu, kesalahan transkripsi dapat secara diam-diam mengubah apa yang direspons oleh model, atau adaptor. Jika Anda membangun apa pun yang membuat kesalahan transkripsi berdampak, kalimat itu adalah keseluruhan tinjauan keamanannya.

Apa yang sudah terkonfirmasi, apa yang dilaporkan vendor, apa yang belum diperiksa oleh siapa pun

• Terkonfirmasi dari repo — identitas model dasar dan jumlah layer, dua rank adapter dan modul targetnya, id token kontrol, jumlah parameter gabungan, jendela 131.072 token, lisensi Apache-2.0, dan versi vLLM serta Transformers terdokumentasi yang diminta kartu tersebut.

• Dilaporkan vendor, tidak direproduksi — skor Decision Index, klaim bahwa Granite Speech 5.0 TurboCTC adalah model ASR tercepat di papan peringkat OpenASR, klaim "VRAM yang sama dengan model dasar", dan catatan sampingan di pos peluncuran bahwa model Granite Switch 3B kustom memainkan Doom pada 60–100 keputusan per detik dibandingkan dengan 10 per detik yang dilaporkan untuk model keputusan tertutup. IBM mengatakan akan menerbitkan lebih banyak data "dalam beberapa minggu mendatang," yang merupakan pengakuan bahwa bukti saat ini masih tipis.

• Belum ada yang memeriksa — semua hal lainnya. Tidak ada evaluasi independen, tidak ada entri papan peringkat pihak ketiga, tidak ada API yang dihosting dari IBM, dan tidak ada pengukuran latensi atau throughput yang dipublikasikan oleh siapa pun selain IBM. Repo Hub menunjukkan beberapa lusin unduhan dan segelintir suka: model ini berusia dua hari dan sebagian besar belum dibaca.

Berapa biayanya untuk menjalankannya, dan di mana OrcaRouter cocok

Granite Switch 4.1 8B saat ini adalah opsi self-host. Kartunya mencantumkan HuggingFace Transformers dan vLLM sebagai backend, menetapkan jendela dukungan yang cukup sempit (Transformers 5.16–5.17, vLLM 0.26–0.28), dan checkpoint-nya berfungsi dengan keduanya tanpa perubahan kode. Tidak ada endpoint terkelola yang bisa dituju, yang bagi sebagian besar tim berarti satu GPU dan sebuah container sebelum permintaan pertama.

Jujur saja soal sisanya: Granite Switch tidak ada di katalog OrcaRouter saat ini, dan tidak ada pula model Granite lainnya — jadi jika Anda menginginkan checkpoint ini, jalurnya adalah rilis resmi vendor dan perangkat keras Anda sendiri, bukan kami. Yang diberikan OrcaRouter kepada Anda adalah konteks pengambilan keputusannya. Platform ini merutekan lebih dari 200 model di balik satu kunci dengan failover otomatis, dan meneruskan harga daftar penyedia tanpa markup 0%, sehingga ketika model yang sedang Anda uji benchmark benar-benar mendapatkan endpoint terkelola, membandingkannya dengan pemain lama pada trafik Anda sendiri hanyalah perubahan konfigurasi, bukan kontrak kedua. Hal itu paling penting justru dalam situasi seperti ini: checkpoint berusia dua hari tanpa evaluasi independen adalah kandidat, bukan pemain lama, dan hal murah yang bisa dilakukan terhadap sebuah kandidat adalah menjaganya dalam perbandingan berdampingan alih-alih merombak jalur produksi untuk mengakomodasinya.

Pertanyaan terbuka

Granite Switch 4.1 8B adalah taruhan bahwa komposisi mengalahkan skala untuk kelas pekerjaan tertentu: aplikasi yang perlu menjawab, memutuskan, dan mentranskripsikan, di mana menjalankan tiga model berarti tiga deployment, tiga latensi, dan tiga tagihan. Rekayasa untuk membuat taruhan itu murah — KV cache bersama, pengalihan adaptor per token, token kontrol yang diselesaikan di templat chat — sungguh tidak biasa, dan itulah bagian dari rilis ini yang masih akan penting setahun lagi.

Yang belum dipastikan adalah apakah jawaban yang disusun itu baik. Profil publik dari decision adapter tidak merata, jalur speech-nya hanya bahasa Inggris dan tidak dilatih bersama, dan semuanya baru berusia dua hari tanpa ada independent run di belakangnya. Baca build manifest, jalankan sendiri perintah compose, dan benchmark decision adapter itu pada set label Anda sendiri sebelum Anda percaya angka 42,9 milik siapa pun.