SubQ Snap 1.1 vs Gemma 4 12B: Juri Spesialis Melawan Generalis Terbuka

Tanyakan kepada keduanya SubQ Snap 1.1 dan Gemma 4 12B tiket dukungan mana di antara lima ratus tiket yang merupakan permintaan pengembalian dana, dan keduanya akan menghasilkan jawaban yang bisa digunakan. Hanya salah satunya yang juga akan memberi tahu Anda, untuk tiap tiket, seberapa yakin model itu — dan hanya salah satunya yang dapat diunduh dan dijalankan di perangkat keras milik Anda. Itulah keseluruhan perbandingannya, dan alasannya tidak menghasilkan satu pemenang adalah bahwa kedua model itu sebenarnya tidak berada dalam kategori produk yang sama. Snap 1.1 adalah model keputusan yang dirilis oleh Subquadratic pada 22 Oktober 2026: model ini memberi skor pada sekumpulan opsi tetap dan tidak menghasilkan teks. Gemma 4 12B adalah model generalis berbobot terbuka dari Google DeepMind, model dense sekitar 12 miliar parameter di bawah Apache 2.0 yang membaca teks, gambar, audio, dan video serta menulis prosa sebagai balasan.

Anggap keduanya sebagai pengganti, dan Anda akan membuat salah satu dari dua kesalahan: membayar tarif API untuk pengklasifikasi yang bisa Anda jalankan di laptop, atau mencoba mendapatkan perutean terstruktur dari model yang tidak pernah dilatih untuk abstain. Jika diperlakukan sebagai dua lapisan dari pipeline yang sama, keduanya cukup cocok satu sama lain.

Apa sebenarnya masing-masing itu

Gemma 4 12B adalah anak tengah keluarga Gemma 4, berada di antara model on-device E2B dan E4B serta tingkat 26B-A4B dan 31B. Klaim arsitekturalnya yang menonjol adalah bahwa model ini bebas encoder: patch gambar dan bentuk gelombang audio diproyeksikan langsung ke backbone bahasa alih-alih dilewatkan melalui encoder visi dan audio terpisah. Model ini berjalan dalam konfigurasi penalaran dan non-penalaran, dirilis di bawah Apache 2.0, dan merupakan jenis model yang dipilih sebuah tim karena dapat di-fine-tune, dikuantisasi, disematkan, dan dikirim tanpa meminta izin siapa pun. Pelacak tidak sepakat tentang tanggal rilis persisnya — Artificial Analysis dan BenchLM mengatakan 3 Juni 2026, llm-stats mengatakan 23 Mei — yang menjadi pengingat kecil bahwa bahkan fakta-fakta membosankan tentang rilis terbuka dinyatakan ulang secara berbeda tergantung pada siapa yang menghitung.

SubQ Snap 1.1 sengaja dibuat lebih sempit. Ia menerima hingga 384K token teks dan gambar plus kumpulan jawaban yang ditentukan aplikasi — satu hingga enam belas pertanyaan, dua hingga 255 alternatif per pertanyaan — dan mengembalikan suatu pilihan beserta probabilitasnya. Tidak ada output teks bebas untuk diurai, tidak ada skema JSON untuk ditegakkan, dan tidak ada cara bagi model untuk menjawab pertanyaan yang tidak Anda tawarkan. Argumen Subquadratic adalah bahwa ini merupakan pekerjaan komputasional yang berbeda dari generasi, dan bahwa arsitektur sparse-attention dapat melakukannya dengan komputasi konstan per token alih-alih membayar attention kuadratik di seluruh dokumen 300K token.

Spesifikasi secara berdampingan

• Konteks — SubQ Snap 1.1 menerima 384K token dalam satu proses; Gemma 4 12B menerima 256K (262,144).

• Modalitas input — Snap 1.1 menerima teks dan gambar; Gemma 4 12B menerima teks, gambar, audio, dan video.

• Keluaran — Snap 1.1 mengembalikan pilihan atau skor dari daftar Anda, beserta probabilitasnya; Gemma 4 12B menghasilkan teks dengan panjang berapa pun.

• Harga — Snap 1.1 adalah $0,04 per 1 juta token input dengan output gratis; median Gemma 4 12B di antara para penyedia adalah $0,10 per 1 juta input dan $0,30 per 1 juta output.

• Bobot — Snap 1.1 tidak mempublikasikan apa pun; Gemma 4 12B menyertakan bobot Apache 2.0 yang dapat Anda unduh, kuantisasi, dan host sendiri.

• Kalibrasi — Snap 1.1 melaporkan kesalahan kalibrasi yang diharapkan sebesar 0.014 dan tingkat abstensi 86% pada pertanyaan yang tidak dapat dijawabnya; Gemma 4 12B tidak menerbitkan angka kalibrasi yang sebanding.

• Acuan benchmark — Snap 1.1 mendapat skor 65 pada Artificial Analysis Decision Index v1.0, berbagi posisi pertama; Gemma 4 12B mendapat skor 14 pada Artificial Analysis Intelligence Index, angka perkiraan untuk kelas ukurannya.

Dua baris terakhir itu tidak dapat dibandingkan dan tidak boleh ditempatkan bersebelahan tanpa peringatan. Decision Index mengukur kualitas keputusan pada tugas dengan jawaban tetap; Intelligence Index mengukur penalaran umum. Angka 65 dan 14 menjawab pertanyaan yang berbeda.

Tugas yang bisa dilakukan keduanya, dan berapa biayanya

Ambil contoh panggilan perutean yang realistis: utas tiket 8,000 token, lima antrean kandidat, satu jawaban. Snap 1.1 mengenakan biaya $0.04 per juta token masukan dan tidak mengenakan biaya untuk keluaran, sehingga panggilan tersebut berbiaya sekitar $0.00032. Gemma 4 12B pada harga penyedia median mengenakan biaya $0.0008 untuk 8,000 token masukan yang sama, ditambah keluaran — label polos mungkin lima token, atau $0.0000015, tetapi konfigurasi penalaran yang berpikir sebelum menjawab dapat dengan mudah menghabiskan 200 hingga 400 token, yang merupakan tambahan $0.00006 hingga $0.00012.

Jadi, dengan tarif API, Snap dua hingga tiga kali lebih murah per panggilan, dan selisihnya melebar seiring dokumen menjadi lebih panjang, karena harga input Gemma dua setengah kali lipat Snap. Pada 100K token, perbandingannya adalah $0.004 versus $0.010 sebelum Gemma menulis apa pun sama sekali.

Sekarang self-host Gemma 4 12B di GPU yang sudah Anda miliki. Biaya marginal per panggilan turun menjadi hanya listrik, dan perbandingannya berbalik sepenuhnya. Inilah hal paling penting dari pertarungan ini: Snap 1.1 hanya lebih murah jika Anda membeli inferensi per token. Jika Anda memiliki kapasitas menganggur, Gemma gratis secara marginal dan Snap tidak akan pernah bisa demikian.

Di mana Gemma 4 12B unggul

Jawaban yang jelas adalah keterbukaan, tetapi versi yang berguna lebih spesifik. Apache 2.0 berarti tidak ada vendor yang dapat menghentikan dukungan endpoint yang Anda gunakan, tidak ada batas laju yang dapat memperlambat pekerjaan batch pada pukul 2 pagi, dan tidak ada data yang keluar dari jaringan Anda. Untuk alur kerja yang diatur regulasi — triase klaim, pengodean klinis, tinjauan kontrak — poin terakhir biasanya sudah menyelesaikan perdebatan sebelum harga dibahas.

Gemma juga melakukan hal-hal yang secara struktural tidak dapat dilakukan Snap. Ia menulis ringkasan eskalasi setelah router memutuskan untuk melakukan eskalasi. Ia membaca formulir hasil pindai, mentranskripsikan rekaman panggilan, dan menjawab pertanyaan tentang keduanya dalam satu proses. Ia dapat disetel secara khusus pada data berlabel Anda sendiri, yang untuk tugas klasifikasi sempit sering mengalahkan perilaku zero-shot model umum mana pun. Pada angka yang diterbitkan vendor sendiri, ia mencetak skor 77,2 pada MMLU-Pro, 78,8 pada GPQA, dan 72,0 pada LiveCodeBench v6 — tergolong sederhana untuk model frontier, tetapi sangat terhormat untuk sesuatu yang muat pada satu akselerator.

Kelemahannya sama spesifiknya: skor 5.2 pada Humanity's Last Exam tanpa alat bantu, 43.4 pada pengambilan konteks panjang MRCRv2, dan latensi token pertama sekitar 2,4 hingga 2,6 detik pada kecepatan penyedia layanan yang umum, yang tergolong lambat untuk sebuah hop perutean dalam loop agen.

Di mana SubQ Snap 1.1 unggul

Tiga hal, menurut urutan kepentingannya. Pertama, abstensi yang terkalibrasi. Snap 1.1 melaporkan angka 86% dalam mengatakan "Saya tidak tahu" pada pertanyaan yang tidak dapat dijawabnya dengan benar, dibandingkan 0,7% pada rilis 1.0 miliknya sendiri di proksi kemahatahuan vendor — peningkatan ini menjadi sorotan utama versi ini. Membuat LLM umum menolak menjawab secara andal memerlukan prompt engineering, heuristik keyakinan, atau model kedua untuk menilai model pertama, dan tidak satu pun dari itu sebersih model yang dilatih dengan abstensi sebagai target eksplisit.

Kedua, konteks. 384K dalam satu lintasan dibandingkan dengan 256K, dan — yang lebih relevan — tidak ada strategi chunking yang perlu dirancang. Model umum pada 256K secara teknis dapat menampung dokumen itu; apakah model tersebut mengambil kalimat yang tepat dari tengahnya adalah pertanyaan lain, dan angka 43,4 Gemma pada MRCRv2 menunjukkan bahwa jawaban jujurnya adalah "kadang-kadang".

Ketiga, bentuk keluarannya. Probabilitas atas kelima antrean Anda dapat langsung digunakan sebagai ambang perutean. Kalimat yang dihasilkan tidak bisa, dan kode perekat yang mengubah yang satu menjadi yang lain adalah tempat sebagian besar bug klasifikasi di produksi berada.

Yang tidak dimiliki Snap adalah verifikasi independen apa pun atas 1.1. Evaluasi pihak ketiga yang ada menguji model pratinjau, dan salah satunya — studi penilaian relevansi dokumen oleh 95pctai yang membandingkan Snap dengan Gemma 4 31B — menemukan Snap kira-kira dua kali lebih cepat dan setengah harga per eksekusi, tetapi melewatkan 21 jawaban yang ditangkap baseline Gemma. Penulis studi tersebut menyoroti bahwa baik penilai maupun baseline adalah model Google, yang mungkin menguntungkan Gemma, dan bahwa Snap hanya dijalankan sekali.

Realita Deployment

Gemma 4 12B tidak ada dalam katalog OrcaRouter. Kami menyediakan varian 26B-A4B dan 31B dari keluarga yang sama, dan 12B tersedia melalui saluran Google sendiri serta sejumlah platform pihak ketiga. Snap 1.1 juga bukan milik kami: layanan itu berjalan melalui API Subquadratic di console.subq.ai.

Pertanyaan praktis bagi sebagian besar tim bukanlah yang mana yang harus dijadikan standar, melainkan apakah lapisan keputusan dan lapisan generasi harus berbagi dependensi. Kegagalannya berbeda. Router yang mati menghentikan pipeline Anda sebelum pekerjaan apa pun terjadi; generator yang mati menghentikannya di tengah jalan. Menempatkan keduanya pada vendor yang terpisah — satu kunci untuk 200+ model generasi di OrcaRouter dengan 0% markup di atas daftar harga penyedia dan failover otomatis, satu kontrak untuk model keputusan — berarti sore yang buruk di salah satu vendor membuat pipeline terdegradasi, bukan menghentikannya.

Cara memutuskan dalam satu kali proses

Jika keputusannya adalah {{1}}label atas kumpulan opsi tetap{{/1}}, dokumennya {{2}}panjang{{/2}}, dan Anda tidak dapat menghosting bobot: {{3}}Snap 1.1{{/3}}, dan anggarkan untuk membangun harness evaluasi Anda sendiri karena {{4}}belum ada yang menerbitkannya untuk versi ini{{/4}}.

Jika keputusannya adalah label tetapi panggilan yang sama juga harus menghasilkan teks, atau data tidak dapat meninggalkan jaringan Anda, atau Anda memiliki kapasitas GPU cadangan: Gemma 4 12B, yang di-fine-tune pada beberapa ribu contoh Anda sendiri, biasanya akan mengalahkan model keputusan serba guna pada tugas spesifik Anda.

Jika Anda benar-benar tidak yakin, eksperimen murahnya adalah menjalankan keduanya pada 2.000 kasus berlabel yang sama dan membandingkan bukan akurasi, melainkan biaya dari kesalahan yang dibuat masing-masing. Snap akan lebih sering abstain. Gemma akan lebih sering menjawab dan lebih sering salah tanpa mengatakannya. Mana yang lebih buruk adalah sifat bisnis Anda, bukan sifat salah satu model.