Granite Switch 4.1 8B vs Granite 4.2 3B: Lab yang Sama, Dua Taruhan yang Berbeda

Hal pertama yang perlu diketahui tentang Granite Switch 4.1 8B dan Granite 4.2 3B adalah bahwa keduanya sebenarnya bukan saingan. Keduanya adalah dua jawaban atas pertanyaan yang berbeda yang kebetulan berbagi laboratorium, lisensi, dan nomor versi, dan cara tercepat untuk membuang-buang waktu selama seminggu adalah memperlakukannya sebagai adu langsung dan memilih pemenang. IBM merilis Granite 4.2 3B pada 25 Agustus 2026 sebagai model penalaran kecil: tiga mode berpikir, pemanggilan alat, konteks 128K yang dapat diperluas hingga 512K. IBM merilis Granite Switch 4.1 8B pada 14 Oktober 2026 sebagai komposisi: model teks 8B yang dibekukan dengan dua adaptor yang dapat ditukar dan encoder suara yang dipasang padanya. Yang satu dirancang untuk berpikir lebih keras; yang lain dirancang untuk mengerjakan lebih banyak tugas dari satu checkpoint.

Hal kedua yang perlu diketahui lebih halus, dan itulah sebabnya pasangan ini sama sekali layak dibahas. Lini Granite Switch dibangun di atas 4.1, bobot generasi, sementara lini konvensional IBM sudah beralih ke 4.2. Baca manifes build untuk Granite Switch 4.1 8B dan basisnya adalah ibm-granite/granite-4.1-8b. Baca kartu model untuk Granite 4.2 3B dan model ini dilatih pasca-pelatihan dari ibm-granite/granite-4.1-3b-base. Kedua lini berdiri di atas generasi bobot pra-latih yang sama dan melakukan hal yang berlawanan dengannya: 4.2 melakukan pasca-pelatihan lebih keras untuk penalaran, Switch menyusun secara menyamping untuk keluasan. Tidak ada yang menggantikan yang lain, itulah sebabnya refleks "mana yang lebih baru" memberi Anda jawaban yang salah di sini.

Apa sebenarnya masing-masing itu

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B bukan model penalaran dan tidak berusaha menjadi salah satunya. Basisnya adalah Granite 4.1 8B — 40 lapisan, ukuran tersembunyi 4.096, 32 kepala kueri terhadap 8 kepala KV, jendela 131.072 token — dibekukan, dengan dua adaptor LoRA yang diaktifkan di atasnya. guardian-core memiliki rank 16 pada proyeksi atensi dan berfungsi untuk mendeteksi bahaya, jailbreak, kata kotor, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis. decision memiliki rank 64 pada ketujuh proyeksi dan berfungsi untuk mengembalikan distribusi probabilitas terkalibrasi atas opsi berlabel dalam satu lintasan maju. Tambahkan Granite Speech 5.0 TurboCTC, encoder conformer berparameter 470M, untuk transkripsi. Total gabungan: 8.776.400.896 parameter dibandingkan dengan basis 8.380.551.168 — peningkatan 4,72%.

Dimensi-dimensi di mana mereka sebenarnya berbeda

• Ukuran — Granite Switch 4.1 8B pada 8,78B disandingkan dengan Granite 4.2 3B pada sekitar 3B. Hampir tiga kali lipat bobotnya, yang pada satu GPU menjadi perbedaan antara lega dan mepet.

• Konteks — 131.072 token versus 128K native dengan jalur ekstensi hingga 512K. Sudah dekat pada basis, tidak dekat jika Anda memerlukan rezim konteks panjang.

• Penalaran — tidak ada mode berpikir sama sekali terhadap tiga di antaranya. Granite Switch 4.1 8B menjawab; Granite 4.2 3B menalar terlebih dahulu, secara opsional.

• Output terstruktur — softmax terkalibrasi atas opsi berlabel terhadap jawaban yang dihasilkan dari prompt. Hanya satu dari ini yang memberi Anda angka yang dapat Anda tetapkan ambang batasnya.

• Modalitas — teks plus audio masuk, teks keluar, dibandingkan dengan teks saja.

• Komposisi adapter — dua aLoRA yang dapat ditukar dan sebuah komposer publik dibandingkan dengan satu checkpoint monolitik.

• Rilis — 14 Oktober 2026 versus 25 Agustus 2026, selisih tujuh minggu, keduanya Apache-2.0.

Di mana Granite 4.2 3B adalah pilihan yang jelas

Apa pun yang perlu berpikir sebelum menjawab, dan apa pun yang harus berjalan dalam skala kecil. Model 3B yang bernalar dalam jumlah token yang terkendali adalah alat yang berbeda dari model 8B yang tidak bernalar sama sekali, dan pada matematika, logika multi-langkah, dan kode, mode berpikir benar-benar bekerja, bukan sekadar memperindah keluaran. Mode usaha rendah adalah bagian yang diremehkan: ia memberi Anda setelan tengah antara "bernalar penuh" dan "tidak bernalar," yang persis Anda inginkan saat kueri sederhana tetapi tidak sepele dan Anda membayar per token.

Ekstensi 512K penting karena alasan yang sama dalam arah yang berbeda. Pekerjaan dokumen panjang — kode berskala repositori, masukan ratusan halaman — adalah saat jendela 131K mulai memerlukan strategi pemotongan, dan Granite Switch 4.1 8B tidak mendokumentasikan jalur ekstensi di luar 131,072-nya.

Jejak adalah argumen ketiga, dan itu bukan hal kecil. Tiga miliar parameter adalah model kelas laptop. Anda dapat menjalankan Granite 4.2 3B di tempat-tempat di mana checkpoint 8.78B sama sekali bukan pilihan, dan itu adalah perbedaan kemampuan, bukan preferensi.

Ketika Granite Switch 4.1 8B adalah pilihan yang jelas

Ketika output yang Anda butuhkan adalah probabilitas, bukan paragraf. Model penalaran dapat diminta untuk memilih opsi B, dan model akan memberi Anda hurufnya. Namun, prompt bukanlah probabilitas: Anda tidak dapat menetapkan ambang batas pada sebuah huruf, Anda tidak dapat membandingkan huruf lintas giliran sebagai skor terkalibrasi, dan Anda tidak dapat mencatatnya sebagai nilai keyakinan. Adapter keputusan mengembalikan softmax atas token label secara langsung — panggilan yang terdokumentasi meminta vLLM untuk logprob dari id-id yang tepat tersebut dan mengeksponensiasikannya, menghasilkan output dengan bentuk seperti A: 0.982, B: 0.0035, C: 0.014. Itu adalah primitif perutean, bukan jawaban.

Ketika pemeriksaan keamanan perlu menjadi sebuah komponen, bukan sekadar kebijakan. guardian-core menggunakan checkpoint yang sama, diaktifkan oleh token kontrol yang disisipkan templat chat saat Anda meneruskan sebuah adapter_name. Anda tidak perlu menjalankan model kedua untuk menyaring input; pengklasifikasi adalah salah satu mode dari model yang sudah Anda muat.

Ketika Anda menginginkan satu endpoint, bukan dua, dan secara khusus ketika audio adalah salah satu dari keduanya. Transkripsi berbagi endpoint dengan chat dan decisions, jadi sebuah bagian konten input_audio pada chat completion biasa sudah cukup. Granite 4.2 3B tidak memiliki jalur audio.

Dan ketika Anda ingin menyusun varian Anda sendiri. Composer-nya bersifat publik, katalog adaptornya terbuka, dan manifes build untuk checkpoint ini disertakan di samping bobot — yang berarti rank, modul target, dan id token kontrol semuanya dapat dibaca, bukan disimpulkan.

Peringatan jujur di kedua sisi

Granite Switch 4.1 8B sama sekali tidak memiliki evaluasi independen. Satu-satunya skor yang dipublikasikan adalah Decision Index, edisi v0.3 subset cepat publik, dengan total 42,9 — Pengetahuan 29,1, Bahasa 48,9, Pengambilan 49,8, Alat 59,8, Seni 18,0 — dan uji coba itu milik IBM sendiri, dipublikasikan di kartu model IBM, tidak direproduksi oleh siapa pun. Tidak ada entri papan peringkat pihak ketiga. Model ini baru dua hari di Hub dengan beberapa lusin unduhan.

Jalur bicaranya lebih sempit daripada yang disiratkan judul berita, dan IBM sendiri mengatakan demikian: encoder-nya hanya untuk bahasa Inggris, transkripnya keluar dalam huruf kecil dan tanpa tanda baca, serta encoder dan model bahasanya tidak dilatih bersama — tidak ada proyeksi terlatih yang menghubungkan keduanya, sehingga kesalahan transkripsi dapat secara diam-diam mengubah apa yang direspons model. Sementara itu, Granite 4.2 3B berusia tujuh minggu, bukan dua hari, tetapi angka evaluasinya juga milik IBM, dan konteks 512K-nya adalah jalur ekstensi, bukan jendela bawaannya.

Tidak satu pun dari model-model ini memiliki entri papan skor independen. Itu adalah karakteristik dari seluruh lini Granite 4.x saat ini, bukan kritik terhadap checkpoint mana pun.

Menjalankan keduanya tanpa menjalankan dua stack

Pengamatan yang berguna tentang pasangan ini adalah bahwa kedua model tidak bersaing untuk permintaan yang sama, sehingga penerapan yang realistis adalah keduanya, secara berurutan: Granite 4.2 3B dalam mode berpikir di mana bagian yang sulit adalah penalaran, Granite Switch 4.1 8B di mana bagian yang sulit adalah memberi skor pada keputusan atau mentranskripsikan catatan suara. Itu adalah arsitektur dua kontainer, dan penting untuk tepat mengenai di mana lapisan perutean membantu dan di mana tidak: tidak ada model Granite dari generasi mana pun yang ada di katalog OrcaRouter saat ini, jadi kami bukan rute yang dihosting ke salah satu dari dua checkpoint ini — Granite Switch 4.1 8B dan Granite 4.2 3B keduanya adalah unduhan Hugging Face plus kontainer vLLM. Yang diubah oleh platform adalah lapisan di atas keduanya. Dua ratus lebih model berada di balik satu kunci, harga daftar penyedia diteruskan dengan markup 0% sehingga pemotongan harga vendor berlaku pada hari yang sama alih-alih pada penyegaran katalog berikutnya, dan failover otomatis berarti model yang sekadar Anda coba dapat berada di jalur aktif tanpa menjadi titik kegagalan tunggal. Intinya adalah bahwa dengan memiliki hal itu sudah siap sebelum salah satu Granite muncul di endpoint yang dihosting, perbandingannya kemudian hanya memerlukan satu string model alih-alih satu migrasi.

Jadi yang mana

Pilih Granite 4.2 3B ketika beban kerjanya adalah penalaran, ketika mesinnya kecil, atau ketika inputnya lebih panjang dari 131K token. Pilih Granite Switch 4.1 8B ketika beban kerja membutuhkan probabilitas keputusan yang terkalibrasi, penyaring keamanan in-line, atau ucapan pada endpoint yang sama dengan chat. Pilih keduanya jika Anda memiliki GPU, karena tumpang tindih di antara keduanya jauh lebih kecil daripada kesan yang diberikan oleh label "Granite 4.x" yang sama — dan jangan pilih salah satu pun hanya berdasarkan angka benchmark yang dijalankan IBM pada kartu IBM, karena itulah seluruh basis bukti publik untuk keduanya.