Granite Switch 4.1 30B vs Nemotron 3.5 Lightning 30B A3B: Apa Arti "Switch" dalam Masing-Masing Nama

Kedua model ini berukuran sekitar 30B, keduanya memiliki kata dalam namanya yang terdengar seperti routing, dan keduanya melakukan hal yang sepenuhnya berbeda dengannya. Granite Switch 4.1 30B — bobotnya ada di Hub sejak 14 Oktober 2026 — mengalihkan adapter: satu model dasar dense, dua lampiran LoRA yang diaktifkan, setiap token menjalankan jaringan penuh. Nemotron 3.5 Lightning 30B A3B, yang diterbitkan NVIDIA pada 11 Agustus 2026, mengalihkan expert: tumpukan hibrida Mamba-2 dan MoE di mana hanya sekitar 3 miliar dari 30 miliar parameter yang aktif per token. Belum ada yang membandingkan keduanya secara benchmark dan tulisan ini tidak akan berpura-pura sebaliknya. Perbandingan yang benar-benar berguna adalah berapa biaya yang harus Anda keluarkan per token untuk masing-masing desain dan apa yang diberikannya kembali.

Memahami perbedaannya dengan benar bukanlah sikap berlebihan, karena nama-namanya justru mengundang kesimpulan yang keliru. "Switch" dalam Granite Switch merujuk pada lapisan switch yang ringan yang membaca token kontrol pada input dan memberi tahu setiap lapisan decoder bobot LoRA mana yang harus diterapkan pada rentang token tersebut. Ini bukan perutean mixture-of-experts dan tidak mengurangi komputasi per token satu FLOP pun. "A3B" dalam nama NVIDIA adalah kebalikannya: ini adalah klaim eksplisit tentang betapa sedikit bagian model yang berjalan saat inferensi.

Papan skor, dimensi demi dimensi

• Parameter — Granite Switch 4.1 30B tersusun menjadi 29.989.814.272 di atas basis 28.865.728.512 (+3,89%); Nemotron 3.5 Lightning 30B A3B berjumlah total 30B dengan sekitar 3B aktif per token.

• Arsitektur — transformer decoder-only padat ditambah dua adapter LoRA yang diaktifkan versus hibrida Mamba-2, MoE, dan attention yang berselang-seling.

• Komputasi per token — forward pass dense 30B penuh versus kira-kira sepersepuluhnya dalam parameter aktif, yang justru merupakan inti dari sufiks A3B.

• Konteks — 131.072 token pada checkpoint Switch; hingga 1 juta pada Nemotron Lightning, dengan NVIDIA mendokumentasikan 256K sebagai angka praktis pada satu H100.

• Mode penalaran — tidak ada di templat chat Switch; enable_thinking toggle yang dapat dikonfigurasi di Nemotron.

• Input audio — encoder ucapan 470M tertanam pada model Switch; tidak ada di sisi NVIDIA.

• Lisensi — Apache-2.0 versus OpenMDW-1.1. Keduanya bukan dokumen yang sama dan ketentuan di hilirnya berbeda; bacalah lisensi yang sebenarnya Anda gunakan untuk merilis produk ini.

• Perangkat Keras — kartu Switch mencantumkan Transformers dan vLLM dalam jendela versi yang sempit; NVIDIA mendokumentasikan Nemotron Lightning pada satu H100 atau A100 80GB, dengan build NVFP4 yang ditujukan untuk penerapan.

Apa yang sebenarnya Anda dapatkan dari checkpoint Granite Switch

Komposisinya adalah produknya. Granite Switch 4.1 30B membekukan Granite 4.1 30B dan melampirkan dua adaptor — sebuah rank-16 guardian-core pengklasifikasi keamanan pada proyeksi attention dan rank-64 decision adaptor di seluruh tujuh proyeksi — plus encoder ucapan. Pemilihan adaptor terjadi melalui templat chat saat Anda meneruskan sebuah adapter_name, jadi ini adalah parameter permintaan, bukan layanan kedua.

Yang Anda dapatkan dari itu adalah kepadatan kapabilitas: sebuah putusan keselamatan, distribusi opsi yang terkalibrasi, dan transkrip dari satu proses, untuk tambahan 1,12 miliar parameter di atas basis yang memang akan Anda muat. Enam bulan lalu, proyek yang sama merilis checkpoint pratinjau dengan dua belas adapter dengan biaya tambahan sebesar 11,68%; versi finalnya memangkasnya menjadi dua dengan biaya tambahan 3,89%, yang merupakan cara IBM menukar cakupan dengan keterbacaan. Sepuluh adapter lainnya masih ada dan composer akan membuatkan checkpoint untuk Anda dengan subset apa pun.

Biaya-biaya itu berada tepat di tempat yang Anda duga. Tidak ada apa pun pada mesin adapter yang membuat model dasar lebih cepat, karena model dasarnya bersifat dense dan tidak disentuh — setiap token tetap menjalankan seluruh jaringan. Jalur ucapannya hanya bahasa Inggris, huruf kecil, tanpa tanda baca dan, dalam kata-kata IBM sendiri, tidak dilatih bersama dengan model bahasa, sehingga kesalahan transkripsi diam-diam mengubah pertanyaan yang dijawab model. Dan checkpoint dikirim dalam satu presisi tanpa build terkuantisasi resmi, dibandingkan dengan model NVIDIA yang varian NVFP4-nya direkomendasikan untuk deployment dan telah ada di Hub sejak awal Agustus.

Apa yang sebenarnya diukur oleh angka-angka Nemotron

Tabel benchmark NVIDIA untuk Nemotron 3.5 Lightning 30B A3B lebih lengkap daripada milik IBM untuk model Switch, dan ada baiknya membaca catatan kaki yang dilampirkan padanya. Angka-angkanya — MMLU-Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58, PinchBench 85.37, AA-LCR 52.00 pada konteks panjang — dijelaskan oleh NVIDIA sebagai diukur di bawah harness konsisten miliknya sendiri, dengan catatan bahwa angka-angka itu dapat berbeda dari angka yang dilaporkan sendiri oleh vendor lain. Itu adalah penyajian yang lebih jujur daripada yang mampu dilakukan sebagian besar kartu, dan itu tetap membuatnya dilaporkan oleh vendor. NVIDIA menerbitkan resepnya di NeMo Gym sehingga eksekusinya dapat direproduksi oleh pihak lain, yang tidak sama dengan pihak lain telah mereproduksinya.

Klaim yang lebih menarik adalah klaim tentang kecepatan, bukan akurasi. Model 30B dengan 3B parameter aktif adalah taruhan bahwa sebagian besar pekerjaan agentik tidak memerlukan seluruh jaringan untuk aktif pada setiap token, dan NVIDIA merilis speculative decoding bersamanya — kepala prediksi multi-token plus drafter DFlash dan DSpark — untuk mendorong throughput lebih jauh. Ini juga memposisikan Lightning sebagai lapisan eksekusi di bawah perencana yang lebih besar, bukan sebagai model yang Anda tanyai pertanyaan sulit. Positioning itu milik NVIDIA, dan itu juga lensa yang tepat untuk tabel benchmark: Efisiensi tingkat token adalah yang muncul di tagihan.

Jebakan dalam menggabungkan kedua papan skor ini

Ada satu angka yang dipublikasikan untuk kemampuan utama model Switch — Decision Index, edisi v0.3, subset cepat publik dari 1.068 baris, Keseluruhan 50.1, dengan Pengetahuan 32.4, Bahasa 58.6, Pengambilan 49.8, Alat 76.5, dan Seni 26.4 — dan ada tabel benchmark lengkap untuk Nemotron Lightning. Menempatkan 50.1 di samping 81.94 atau 51.56 akan menjadi kekeliruan kategori yang paling murni.

Decision Index menilai seberapa baik adaptor keputusan mengurutkan serangkaian opsi berlabel yang tetap. Ini bukan ukuran kualitas chat atau penalaran model dasar, dan model dasar tidak diubah oleh adaptor. Tabel Nemotron menilai seluruh model pada pengetahuan, penalaran, pemrograman, dan konteks panjang. Sumbu yang berbeda, perangkat uji yang berbeda, penulis yang berbeda, dan tidak ada tolok ukur bersama di antara keduanya. Keduanya dilaporkan oleh vendor. Keduanya tidak dapat dibandingkan satu sama lain, dan satu-satunya hal jujur yang dapat dilakukan dengan pasangan ini adalah menolak mengurangkan keduanya.

Yang secara sah dapat Anda lakukan adalah membaca bentuk dari masing-masing. Skor 76,5 Decision Index pada Tools dibandingkan 26,4 pada Arts menunjukkan bahwa adapter ini layak diarahkan pada keputusan pemilihan alat dan tidak boleh dipercaya untuk klasifikasi domain terbuka tanpa evaluasi Anda sendiri. Skor 51,56 Nemotron pada SWE-bench Verified dibandingkan dengan nilai terbaik 70,12 di tabel yang sama memberi tahu Anda bahwa Nemotron bukan agen coding terkuat dalam kumpulan perbandingannya sendiri — NVIDIA mencantumkan angka pesaing yang lebih tinggi di tabelnya sendiri, yang setidaknya merupakan sinyal yang patut dihormati.

Yang mana, untuk apa

Jika masalah Anda adalah loop agen panjang yang menjalankan ribuan keputusan alat singkat, ekonomi parameter menunjuk ke satu arah: MoE dengan 3B aktif di satu GPU akan melakukan pekerjaan itu dengan sebagian kecil biaya per token dibanding model dense 30B, dan model Switch tidak memiliki mekanisme untuk menutup kesenjangan itu, karena "switch"-nya tidak pernah mengurangi komputasi. Tambahkan konteks 1M dan tombol alih penalaran, dan model NVIDIA memang dibuat untuk beban kerja itu.

Jika masalah Anda adalah satu proses yang harus menjawab pengguna, mengeluarkan keputusan perutean yang terkalibrasi, dan mentranskripsikan apa yang dikatakan pengguna, aritmetikanya terbalik. Nemotron 3.5 Lightning tidak memiliki decision head dan sama sekali tidak memiliki jalur audio, dan meminta model chat untuk membalas dengan satu huruf bukanlah distribusi yang terkalibrasi. Granite Switch 4.1 30B memberi Anda ketiganya dari satu checkpoint dengan tambahan bobot kurang dari 4% dibandingkan basisnya, dan itu adalah kemampuan yang tidak dapat Anda beli hanya dengan memilih model yang lebih baik.

Kasus ketiga yang jujur adalah yang paling umum: Anda sama sekali tidak sedang memilih di antara keduanya. Keduanya adalah artefak self-host, keduanya berlisensi Apache-2.0 atau OpenMDW-1.1, bukan endpoint yang dihosting, dan tidak satu pun telah dievaluasi secara independen. Granite Switch 4.1 30B baru berusia dua hari dengan satu angka yang dipublikasikan; Nemotron 3.5 Lightning berusia dua bulan dengan tabel vendor dan resep yang dipublikasikan. Itu tidak cukup untuk dijadikan dasar merencanakan migrasi.

Mendapatkan jawaban nyata tanpa migrasi

Hari ini, tidak ada dari kedua model itu yang ada dalam katalog OrcaRouter, jadi keduanya berarti perangkat keras Anda sendiri dan saluran rilis milik vendor masing-masing — milik IBM untuk checkpoint Switch, milik NVIDIA untuk Lightning. Mengatakan sebaliknya berarti mengarang endpoint.

Nilai platform ini terletak pada kenyataan bahwa kandidat seharusnya murah untuk diuji. Satu kunci mencakup lebih dari 200 model dengan failover otomatis dan meneruskan harga daftar penyedia dengan markup 0%, jadi ketika rute yang dihosting ke salah satu model muncul, menempatkannya di samping model yang sudah ada di produksi hanyalah perubahan konfigurasi, bukan siklus pengadaan. Dihadapkan pada dua model open-weight 30B yang keduanya terlihat masuk akal di atas kertas dan tidak ada satu pun yang diukur oleh siapa pun di luar vendor masing-masing, keputusan yang penting bukanlah kartu mana yang Anda percaya. Melainkan seberapa murah Anda dapat mengetahuinya.

Intinya

Granite Switch 4.1 30B dan Nemotron 3.5 Lightning 30B A3B berbagi jumlah parameter dan hampir tidak ada kesamaan lain. Yang satu adalah basis dense dengan adapter yang dapat ditukar yang memberi Anda tiga pekerjaan per proses pada komputasi dense penuh per token; yang lain adalah hibrida sparse yang dibuat agar setiap token berbiaya seminimal mungkin dan agar dapat menjalankan loop panjang di satu GPU. Pilihlah berdasarkan bentuk beban kerja, bukan berdasarkan tabel benchmark — dan jika Anda hanya mengambil satu hal dari ini, ambillah koreksi pada namanya: pengalihan adapter memberi Anda kapabilitas, sparsitas expert memberi Anda throughput, dan tidak ada model di sini yang memberi Anda keduanya.