Granite Switch 4.1 8B vs Qwen3-8B: Apa yang Terjadi Ketika Pihak Lain Tidak Memiliki Penerus

Mulailah dari masalah penamaan, karena itu mengubah seperti apa artikel ini dapat dibuat secara jujur. Saat Anda mencari model 8B dalam generasi Qwen terbaru Alibaba, Anda tidak akan menemukannya: lini Qwen3.8 — Qwen3.8-27B, Qwen3.8-Max, varian Flash, mixture-of-experts 2.4T-A95B yang sangat besar — sama sekali tidak menyertakan anggota dense 8B. Slot 8B dalam keluarga Qwen masih ditempati oleh Qwen3-8B, yang dirilis 27 April 2025: 8,2 miliar parameter, pemikiran hibrida dan non-pemikiran dalam satu model, lebih dari 100 bahasa dan dialek, konteks asli 32.768 token yang diperluas hingga 131.072 dengan YaRN. Model itu berusia enam belas bulan dan masih salah satu checkpoint open-weights yang paling banyak diunduh yang pernah ada. Model itulah yang menjadi incumbent — dan yang membuat pertarungan ini layak ditulis adalah bahwa Granite Switch 4.1 8B, checkpoint gabungan IBM dari 14 Oktober 2026, sama sekali tidak menawarkan diri untuk menggantikannya dengan penerus. Ia menawarkan bentuk model yang berbeda dalam kelas parameter yang sama: model teks 8B yang dibekukan dengan dua adapter yang dapat dialihkan dan sebuah encoder ucapan yang dipasang padanya, mengerjakan tiga tugas dengan cara beralih alih-alih satu tugas dengan penalaran. Tidak ada yang menggantikan Qwen3-8B, dan pertanyaan yang lebih baik adalah apakah ada yang perlu melakukannya.

Yang menentangnya adalah Granite Switch 4.1 8B, checkpoint komposit IBM dari 14 Oktober 2026 — sebuah Granite 4.1 8B beku pada 8.380.551.168 parameter yang membawa dua adaptor activated-LoRA yang dapat dialihkan dan encoder ucapan 470M, untuk total komposit 8.776.400.896, naik 4,72%. Kelas parameter yang sama, gagasan yang sama sekali berbeda tentang apa itu model. Qwen3-8B adalah satu stack padat yang melakukan semuanya dengan menalar tentangnya. Granite Switch 4.1 8B adalah stack yang tidak melakukan apa pun dengan menalar dan tiga hal dengan pengalihan.

Slot 8B kosong, dan itulah cerita sebenarnya.

Ada baiknya berhenti sejenak pada ketidakhadirannya alih-alih menganggapnya sebagai celah dalam perbandingan ini. Alibaba merilis generasi Qwen3.8 dengan model dense 27B, Max, varian Flash, dan mixture-of-experts berparameter 2,4 triliun, serta melewatkan kelas ukuran yang membuat generasi sebelumnya menjadi pilihan default untuk penerapan single-GPU. Setiap tim yang memilih Qwen3-8B karena model itu muat di satu kartu dan bisa di-fine-tune dengan murah kini menghadapi jajaran penerus yang entah menggandakan kebutuhan memori atau mengubah persoalan serving sepenuhnya.

Itulah keputusan sebenarnya yang dibahas dalam artikel ini. Tidak ada yang memilih antara Qwen3-8B dan Granite Switch 4.1 8B berdasarkan kualitas — petahana berusia enam belas bulan melawan penantang berusia dua hari tanpa evaluasi independen bukanlah perbandingan kualitas, melainkan perbandingan pengetahuan. Pertanyaannya adalah apa yang Anda lakukan ketika model andalan Anda tidak memiliki penerus berukuran sama, dan dua jawaban kandidatnya adalah "pertahankan model andalan" dan "ubah bentuknya."

Qwen3-8B: apa yang diperoleh dari enam belas bulan produksi

Qwen3-8B adalah transformer kausal padat dengan 36 lapisan, ukuran tersembunyi 4.096, perhatian grouped-query dengan 32 head query terhadap 8 head KV, intermediate 12.288, RoPE theta 1e6, embedding tidak terikat, dan kosakata 151.936 token. Sekitar 8,2 miliar parameter, yang sekitar 6,95 miliar di antaranya non-embedding. Sakelar thinking adalah sebuah parameter — enable_thinking — dan pengaturan generasi berbeda menurut mode, dengan kartu memperingatkan secara eksplisit agar tidak melakukan greedy decoding dalam mode thinking karena menyebabkan pengulangan.

Apa yang dimilikinya yang tidak dapat diklaim oleh checkpoint baru mana pun: enam belas bulan lalu lintas produksi orang lain. Mode kegagalan yang sudah dialami orang lain dan dituliskan. Kuantisasi, fine-tune, resep LoRA, dan panduan deployment untuk setiap framework serving yang penting. Hampir sepuluh juta unduhan Hub dan lebih dari dua ribu suka, dengan lineage instruct di belakangnya. Ketika sebuah model telah publik selama itu, ekosistem di sekitarnya adalah bagian yang sesungguhnya dari kemampuannya, dan tidak ada tanggal rilis yang dapat dibuat bertanggal mundur untuk itu.

Granite Switch 4.1 8B: apa manfaat dari bentuk baru

Checkpoint IBM adalah komposisi, bukan model, dan bagian-bagiannya didokumentasikan dalam manifes build yang disertakan di samping bobot. Base: Granite 4.1 8B, 40 lapisan, ukuran hidden 4.096, 32 query head terhadap 8 KV head, jendela 131.072 token, kosakata 100.352 token. Adapter: guardian-core, rank 16, alpha 64, pada proyeksi atensi (k_proj, o_proj, q_proj, v_proj), mendeteksi bahaya, jailbreaking, kata-kata kotor, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis; dan decision, rank 64, alpha 128, pada seluruh tujuh proyeksi termasuk MLP, menghasilkan softmax terkalibrasi atas token opsi berlabel dalam satu forward pass. Encoder: Granite Speech 5.0 TurboCTC, 470M parameter, conformer CTC non-autoregresif, bahasa Inggris. Lisensi: Apache-2.0, sama seperti Qwen3-8B.

Kemampuan yang tidak memiliki padanan pada Qwen3-8B adalah adaptor keputusan. Anda memberikan keadaan dan pertanyaan dengan opsi berlabel kepadanya, dan ia mengembalikan distribusi, bukan jawaban — panggilan yang didokumentasikan meminta vLLM untuk logprob dari id token label yang tepat melalui logprob_token_ids dan mengeksponensiasikannya, menghasilkan output berbentuk seperti A: 0.982, B: 0.0035, C: 0.014. Anda dapat meminta Qwen3-8B memilih label dan ia akan melakukannya dengan kompeten, dan Anda akan mendapatkan sebuah huruf. Sebuah huruf tidak dapat diberi ambang batas sebagai skor terkalibrasi, dirata-ratakan lintas giliran, atau dicatat sebagai nilai keyakinan. Itulah perbedaannya, dan itu bukan perbedaan yang dapat diperbaiki oleh skala.

Hal kedua yang diperoleh dari komposisi adalah aritmetika. Setiap adapter berbagi cache key/value milik model dasar alih-alih memelihara cache-nya sendiri, sehingga beralih dari tanpa adapter menjadi dua adapter plus sebuah encoder ucapan memakan 4,72% parameter, bukan state atensi baru untuk setiap kemampuan. Postingan peluncuran IBM mengklaim model terkomposisi memakai VRAM yang kira-kira sama dengan model dasar saja; klaim spesifik itu belum direproduksi, tetapi delta parameter yang menjadi landasannya ada tepat di dalam manifes. Itulah juga sebabnya postingan peluncuran dapat menggambarkan perlombaan antara Granite Switch terkomposisi 30B dan model keputusan 27B sebagai keunggulan kecepatan alih-alih penalti memori.

• Parameter — 8,78B gabungan (basis 8,38B) vs 8,2B.

• Layers — 40 vs 36.

• Konteks — 131.072 native vs 32.768 native, 131.072 dengan YaRN.

• Kosakata — 100,355 vs 151,936.

• Bahasa — dua belas yang disebutkan (Inggris, Jerman, Spanyol, Prancis, Jepang, Portugis, Arab, Ceko, Italia, Korea, Belanda, Tionghoa) vs 100 lebih.

• Penalaran — tidak ada vs pemikiran hibrid dan non-pemikiran dalam satu checkpoint.

• Output terstruktur — softmax terkalibrasi atas token label vs pilihan melalui prompt.

• Audio masuk — encoder ASR 470M tertanam vs tidak ada.

• Ekosistem — baru berusia dua hari, tidak ada kuantisasi atau fine-tune yang berarti dibandingkan enam belas bulan kerja komunitas.

Di mana Qwen3-8B masih unggul

Bahasa, secara tegas. Dua belas bahasa bernama versus lebih dari seratus bukanlah galat pembulatan bagi siapa pun yang merilis ke audiens global, dan itu adalah hal pertama yang akan terdeteksi oleh uji migrasi. Kosakata menunjukkan hal yang sama: 151.936 token versus 100.355, dengan tiga ID adaptor cadangan milik Granite yang membulatkannya menjadi 100.355. Model yang dilatih pada seratus bahasa memang telah dilatih pada seratus bahasa.

Konteks native adalah yang kedua. 131.072 token secara bawaan, dibandingkan dengan 32.768 dengan jalur ekstensi YaRN. Granite Switch 4.1 8B kebetulan mencapai 131K yang sama, tetapi mencapainya secara native, dan ekstensi YaRN memiliki biaya pada perilaku konteks panjang yang tidak dimiliki jendela native.

Yang ketiga adalah yang menentukan sebagian besar migrasi nyata: tidak ada yang rusak. Tidak ada integrasi yang perlu ditulis ulang, tidak ada stack penyajian yang perlu diubah, tidak ada perilaku yang perlu dipelajari ulang. Setiap mode kegagalan telah dipetakan oleh orang lain, dan fine-tune yang mungkin sudah Anda miliki adalah milik Anda. Seorang penantang harus secara signifikan lebih baik agar sepadan untuk meninggalkan yang lama, dan pada usia dua hari tanpa evaluasi independen, Granite Switch 4.1 8B belum membuktikan bahwa dirinya lebih baik.

Di mana Granite Switch 4.1 8B unggul

Penilaian keputusan, dan bentuk operasional yang menyertainya. Jika aplikasi Anda membutuhkan nilai keyakinan atas opsi berlabel — merutekan tiket, memberi skor pada ambang eskalasi, memilih alat dengan angka yang melekat — itu adalah primitif yang tidak disediakan Qwen3-8B, dan prompting tidak dapat menciptakannya. Angka yang diterbitkan untuk adapter ini adalah Decision Index, edisi v0.3 subset cepat publik dari 1.068 baris: 42,9 secara keseluruhan, dengan Knowledge 29,1, Language 48,9, Retrieval 49,8, Tools 59,8 dan Arts 18,0. IBM menjalankannya, IBM menerbitkannya, tidak ada yang mereproduksinya, dan kartu itu sendiri menyatakan bahwa probabilitas tersebut merupakan prior, bukan klasifikasi tersertifikasi pada domain yang tidak dilatih untuk adapter tersebut.

Konsolidasi endpoint adalah yang kedua. Chat, keputusan, dan transkripsi pada satu endpoint, dengan transkripsi dipicu oleh input_audio sebagai bagian konten biasa, bukan layanan kedua. Peringatan dari kartu IBM berlaku dan layak diulang secara verbatim dalam semangat: hanya bahasa Inggris, keluaran huruf kecil dan tanpa tanda baca, serta encoder suara dan LLM tidak dilatih bersama, sehingga kesalahan transkripsi dapat secara diam-diam mengubah apa yang direspons model.

And komposabilitas adalah yang ketiga — komposernya bersifat publik, katalog adapter terbuka, dan Anda dapat membangun varian Anda sendiri alih-alih menerima pilihan dua adapter dari IBM.

Apa yang harus dilakukan saat slot 8B kosong

Langkah yang produktif bukanlah bermigrasi. Langkahnya adalah memperlakukan Granite Switch 4.1 8B sebagai kandidat untuk permintaan spesifik yang ditangani dengan buruk oleh Qwen3-8B — yaitu permintaan yang berakhir dengan nilai keyakinan, atau yang masuk sebagai audio — dan membiarkan semua yang lain tetap seperti adanya. Itu masalah perutean, bukan penulisan ulang: kirim panggilan berbentuk keputusan ke satu arah dan lalu lintas percakapan ke arah lain, serta pertahankan jalur fallback tetap utuh selagi Anda mencari tahu apakah bentuk baru itu benar-benar mampu menangani lalu lintas Anda.

Ini adalah lapisan yang ditempati OrcaRouter, dan ada baiknya kita tepat tentang apa artinya di sini: Qwen3-8B tidak ada dalam katalog kami hari ini dan begitu juga Granite Switch 4.1 8B, jadi kami bukan cara untuk mendapatkan salah satunya — Qwen3-8B adalah unduhan Hugging Face dan Granite Switch 4.1 8B adalah unduhan Hugging Face plus kontainer vLLM. Apa yang dilakukan platform ini adalah pekerjaan di sekitarnya: satu kunci API di lebih dari 200 model yang dihosting, failover otomatis sehingga kandidat dapat berada di jalur aktif tanpa menjadi titik kegagalan tunggal, DSL perutean untuk menggabungkan beberapa model menjadi satu panggilan, dan harga daftar penyedia diteruskan dengan markup 0% sehingga pemotongan harga vendor berlaku pada hari yang sama alih-alih pada penyegaran berikutnya. Jika Anda ingin melihat seperti apa Qwen generasi saat ini di endpoint yang dihosting sambil Anda mempertimbangkan ini, Qwen3.8-27B ada dalam katalog dan merupakan keluarga yang sama dengan incumbent dalam perbandingan ini.

Intinya

Pertahankan Qwen3-8B sebagai default. Enam belas bulan produksi, lebih dari seratus bahasa, dan kosakata 151,936 token bukanlah keunggulan yang bisa ditandingi checkpoint berusia dua hari hanya bermodal arsitektur, dan fakta bahwa Alibaba tidak merilis penerus 8B tidak menjadikan Granite Switch 4.1 8B sebagai penerus tersebut — itu menjadikannya alat yang berbeda yang kebetulan berada di kelas memori yang sama. Adopsi secara terbatas dan khusus: untuk permintaan yang memerlukan distribusi terkalibrasi atas opsi berlabel, untuk penyaringan keamanan in-line, dan untuk audio pada endpoint yang sama dengan chat. Uji pada kumpulan label Anda sendiri sebelum memercayai 42.9, karena angka itu milik IBM, dan IBM semata. Hal yang menarik dari pertandingan ini bukanlah bahwa satu model mengalahkan model lain — melainkan bahwa slot 8B tetap kosong, dan model yang mengisinya berikutnya mungkin sama sekali bukan 8B padat.