Granite Switch 4.1 30B: IBM Pangkas Dua Belas Adaptor Menjadi Dua

Lima bulan lalu IBM menaruh pratinjau Granite Switch 30B di Hugging Face dengan dua belas adaptor di dalamnya dan tambahan parameter sebesar 11,68% di atas model dasar. Pada 14 Oktober 2026 model finalnya tiba — Granite Switch 4.1 30B — dan model itu hanya memiliki dua adaptor serta tambahan 3,89%. Angka utamanya turun dua pertiga, dan itulah rilisnya.

Untuk lebih tepat soal apa yang dimaksud dengan "tiba", karena di sinilah banyak liputan jadi serampangan: bobot-bobotnya tiba di Hub pada 14 Oktober 2026, dan postingan peluncuran IBM sendiri, Granite Switch 4.1: Obrolan, Keputusan, dan Ucapan dari Satu Endpoint, terbit pada 15 Oktober. Itu dua hari sebelum ini ditulis. Ini rilis yang diumumkan, bukan peluncuran senyap yang ditemukan seseorang di mirror, dan ini bukan pencantuman ulang pratinjau Mei — artefaknya berbeda, jumlah adapter berbeda, dan jalur audio sama sekali tidak ada dalam pratinjau. Uraian berikut memisahkan apa yang dapat Anda baca dari repositori dari apa yang hanya dikatakan IBM.

Apa yang sebenarnya ada di dalam checkpoint

Granite Switch 4.1 30B adalah komposisi, bukan arsitektur baru. Ia mengambil Granite 4.1 30B — transformer dense decoder-only, jendela 131.072 token, kosakata 100.352 token — membekukannya, lalu memasang dua adapter LoRA yang diaktifkan plus encoder ucapan. Manifes build di-commit ke dalam repositori di samping bobotnya, itulah sebabnya setiap klaim struktural di bawah ini dapat dibaca, bukan sekadar dilaporkan.

• guardian-core — aLoRA, rank 16, alpha 64, hanya dipasang pada proyeksi attention (k_proj, o_proj, q_proj, v_proj), diambil dari Guardian Library dan diarahkan ke bahaya, jailbreaking, kata-kata kotor, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis. Token kontrol <|guardian-core|>, id 100352.

• decision — aLoRA, rank 64, alpha 128, dipasang pada ketujuh proyeksi termasuk MLP, dan dilatih untuk melakukan hal yang lebih sempit daripada chat: dengan diberi sebuah state dan sebuah pertanyaan dengan opsi berlabel, mengembalikan distribusi probabilitas terkalibrasi atas label-label tersebut dalam satu forward pass. Token kontrol <|decision|>, id 100353.

• Ucapan — granite-speech-5.0-470m-turboctc, encoder CTC conformer non-autoregresif dengan 470M parameter, hanya untuk bahasa Inggris, diintegrasikan sebagai jalur masukan audio, bukan sebagai layanan kedua.

Aritmetika bobot adalah angka yang paling bersih dalam rilis ini. Basis: 28,865,728,512 parameter. Gabungan: 29,989,814,272. Selisihnya adalah 1,124,085,760 parameter, atau +3.89%. Anda tidak menulis token kontrolnya sendiri — template chat menyisipkannya saat Anda meneruskan adapter_name sebagai argumen, yang berarti mengganti kapabilitas hanyalah parameter permintaan, bukan penerapan kedua.

Pratinjau menyertakan dua belas adaptor. Rilis ini menyertakan dua.

Ini adalah keputusan yang layak dipahami, karena secara sekilas tampak seperti regresi. Checkpoint pratinjau — masih di Hub, masih Apache-2.0, tertanggal 5 Mei 2026 — membawa dua belas adaptor dari tiga Granite Libraries: citation, query rewrite, query clarification, hallucination detection, answerability, factuality detection, policy guardrails, factuality correction, guardian-core, uncertainty, requirement check dan context attribution. Itu adalah bundel yang benar-benar berguna, dan itu adalah bundel yang harus Anda pikirkan, karena dua belas adaptor berarti dua belas resep pemanggilan dan dua belas kontrak keluaran yang berbeda.

Granite Switch 4.1 30B mempertahankan dua di antaranya dan menambahkan encoder ucapan. Pertukaran yang dilakukan IBM adalah mengorbankan cakupan demi keterbacaan: model akhirnya adalah model obrolan yang juga dapat menjawab pertanyaan keputusan dengan probabilitas dan mentranskripsikan audio, dan ketiganya adalah hal yang dapat diingat oleh pemanggil sekaligus. Sepuluh adapter lainnya tidak hilang — semuanya masih diterbitkan, masih dapat dikomposisikan, dan komposer di granite-switch repositori akan membuatkan Anda checkpoint dengan subset apa pun yang Anda inginkan, termasuk semua dua belas. Yang berubah adalah apa yang datang dalam keadaan aktif secara default.

Itu adalah biaya yang nyata, dan hal itu layak disebutkan alih-alih ditutup-tutupi: jika Anda menunggu adapter deteksi halusinasi dan atribusi konteks milik pratinjau tersebut mencapai checkpoint 1.0, ini bukan itu. Ini adalah model yang lebih sempit dengan overhead yang lebih rendah, dan perkakas komposisi adalah hal yang menutup kesenjangan tersebut.

Adaptor keputusan adalah bagian yang bukan model chat.

Membaca distribusi probabilitas dari model bahasa bukanlah hal baru. Melakukannya dalam satu forward pass terhadap kumpulan label opsi yang tetap, dengan angka yang terkalibrasi cukup baik untuk dijadikan dasar perutean, adalah bagian yang perlu dijelaskan. Resep yang didokumentasikan adalah prompt sistem mesin keputusan tetap, State: giliran yang dievaluasi pada base yang dibekukan, lalu ### DECISION giliran yang menyajikan pertanyaan dan opsi berlabel token tunggal. Anda meminta logprob dari tepat id token label tersebut dan mengeksponensiasikannya. Contoh pada kartu itu sendiri mengembalikan sesuatu seperti A: 0.982, B: 0.0035, C: 0.014 — dan bagian yang menarik adalah bahwa itu berasal dari endpoint completion normal, bukan pengklasifikasi.

Ada seluk-beluk teknis yang tidak disebutkan dalam pengumuman itu. Mekanisme logprob-token-id dibatasi maksimal 128 id per permintaan, sehingga pertanyaan keputusan dengan lebih dari 128 opsi langsung gagal. Perbaikan yang didokumentasikan adalah memecah id label menjadi potongan berisi 128, mengirim satu permintaan per potongan dengan prompt yang identik, lalu menggabungkannya — yang secara matematis identik dengan panggilan tanpa batas, karena logprob yang dikembalikan mencakup seluruh kosakata dan nilai setiap label karenanya tidak bergantung pada potongan mana yang memintanya. Satu permintaan tambahan per 128 opsi. Ini jenis detail yang hanya ada di dalam repositori.

Satu-satunya angka terbitan yang melekat pada adapter ini adalah Decision Index, edisi v0.3, subset cepat publik dari 1.068 baris: Keseluruhan 50,1, dengan Pengetahuan 32,4, Bahasa 58,6, Pengambilan 49,8, Alat 76,5, dan Seni 26,4. Bacalah polanya, bukan angka utamanya — 76,5 pada Alat yang berdampingan dengan 26,4 pada Seni adalah profil yang sangat tidak merata, dan itu memberi tahu Anda lebih banyak tentang ke mana adapter ini aman diarahkan daripada angka keseluruhan. IBM juga melaporkan bahwa penyajian adapter secara lokal dan di belakang endpoint vLLM yang dihosting menghasilkan kecocokan dalam kisaran sekitar 0,6 poin, yang merupakan pemeriksaan kewajaran yang berguna pada jalur penyajian meskipun IBM menjalankan kedua bagiannya.

Speech-to-text, dan peringatan yang IBM tuliskan ke dalam kartunya sendiri

Jalur audio menjalankan transkrip melalui encoder tertanam dan menyisipkannya ke dalam konteks chat sebagai pengganti bagian konten audio, sehingga permintaan dengan audio terlihat seperti penyelesaian chat normal dengan bagian input_audio. Tidak ada server ucapan kedua, tidak ada anggaran latensi kedua.

Batasan-batasan itu semuanya berasal dari dokumentasi IBM sendiri, bukan dari seorang skeptis: hanya bahasa Inggris, keluaran huruf kecil dan tanpa tanda baca, tidak ada pengarahan pada waktu dekode, dan — yang seharusnya membuat Anda berhenti sejenak — encoder ucapan dan model bahasa tidak dilatih bersama-sama. Tidak ada proyeksi terlatih yang menghubungkan keduanya. Oleh karena itu, salah transkripsi dapat mengubah apa yang direspons oleh model, atau adaptor keputusan, dan tidak ada apa pun dalam pipeline yang akan menandainya. Jika Anda men-deploy apa pun yang dapat berdampak jika terjadi kesalahan transkripsi, kalimat itu adalah keseluruhan model ancaman Anda.

Terkonfirmasi, dilaporkan vendor, belum diverifikasi

• Terkonfirmasi dari repositori — identitas model dasar, kedua rank adaptor dan modul targetnya, id token kontrol, jumlah parameter gabungan dan delta +3,89%, jendela 131.072 token, lisensi Apache-2.0, serta jendela dukungan yang dipatok (Transformers 5.16–5.17, vLLM 0.26–0.28, PyTorch 2.11+).

• Dilaporkan vendor, tidak direproduksi — angka Decision Index, klaim bahwa Granite Speech 5.0 TurboCTC adalah model ASR tercepat di papan peringkat OpenASR, klaim bahwa model gabungan tersebut mengonsumsi VRAM yang kira-kira sama dengan model dasarnya, pernyataan bahwa adapter Guardian mengalahkan beberapa model keputusan tertutup yang disebutkan namanya pada tugas terkait keselamatan, dan catatan sampingan dalam pos peluncuran bahwa build Granite Switch 3B kustom memainkan Doom pada 60–100 keputusan per detik dibandingkan 10 per detik yang dilaporkan. IBM mengatakan lebih banyak data akan datang "dalam beberapa minggu mendatang", yang merupakan pengakuan bahwa bukti hari ini masih tipis.

• Belum ada yang memeriksa — segala hal lainnya. Tidak ada evaluasi pihak ketiga, tidak ada entri papan peringkat, tidak ada pengukuran latensi atau throughput independen, tidak ada endpoint IBM yang dihosting. Repositori ini menunjukkan beberapa suka dan, pada saat penulisan ini, praktis tidak ada unduhan. Baru berusia dua hari dan sebagian besar belum dibaca.

Di mana ini berada dalam sebuah stack

Granite Switch 4.1 30B adalah kisah self-host. Kartu tersebut mencantumkan Hugging Face Transformers dan vLLM, menentukan rentang versi yang sempit, dan checkpoint berjalan di keduanya tanpa konversi. Tidak ada endpoint terkelola, jadi langkah praktis pertama adalah satu GPU dan sebuah kontainer.

Jujur soal sisanya: tidak ada model Granite dalam katalog OrcaRouter saat ini, jadi jika Anda menginginkan checkpoint ini, jalurnya adalah rilis IBM dan perangkat keras Anda sendiri. Yang diberikan platform ini adalah keputusan di sekitarnya — lebih dari 200 model di balik satu kunci dengan failover otomatis, harga daftar penyedia diteruskan dengan markup 0% — yang paling penting justru dalam situasi seperti ini. Checkpoint berusia dua hari tanpa evaluasi independen adalah kandidat, bukan pemain utama, dan hal murah yang bisa dilakukan dengan kandidat adalah menyimpannya di samping model yang sudah ada di produksi dan membandingkannya pada trafik Anda sendiri alih-alih merombak jalur produksi untuk mengakomodasinya.

Pertanyaan terbuka

Pertaruhan di balik Granite Switch adalah bahwa komposisi mengalahkan skala untuk kelas pekerjaan tertentu — aplikasi yang menjawab, memutuskan, dan mentranskripsikan, di mana tiga model berarti tiga deployment, tiga latensi, dan tiga tagihan. Berbagi satu KV cache di antara adapter dan hanya membayar 3,89% untuk itu adalah capaian rekayasa yang sungguh tidak biasa, dan itulah bagian dari rilis ini yang masih akan tetap penting setahun dari sekarang.

Yang belum pasti adalah apakah jawaban yang disusun itu bagus. Profil terbitan decision adapter tidak merata, jalur ucapannya hanya bahasa Inggris dan tidak dilatih bersama, dan modelnya baru berusia dua hari tanpa ada run independen yang mendukungnya. Baca manifes build, susun subset Anda sendiri, dan benchmark decision adapter terhadap set label Anda sendiri sebelum Anda memercayai 50.1 milik siapa pun.