UserRepGen-4B vs Gemma 4 12B: Spesialis Sempit 4B Melawan Generalis 12B, dan Mengapa Ukurannya Menipu

Jika diletakkan berdampingan, microsoft/UserRepGen-4B dan Gemma 4 12B tampak seperti pasangan yang tidak sepadan yang hasilnya sudah bisa ditebak sebelum dimulai. Model 11,95 miliar parameter milik Google ini membaca teks, gambar, dan audio, menampung konteks 256K token, dilengkapi laporan teknis dan blog peluncuran, serta telah diunduh sekitar 79.000 kali sejak Mei 2026. Model Microsoft adalah LoRA rank-64 pada Qwen3.5-4B, diunggah pada 14 Oktober 2026 tanpa pengumuman, dan hanya melakukan satu hal: membaca percakapan pengguna-asisten yang sudah selesai lalu menuliskan deskripsi JSON dua bidang tentang orang di dalamnya. Model ini tidak bisa mengobrol, menjawab pertanyaan, atau melihat gambar. Menimbang keduanya berdasarkan kemampuan bukanlah sebuah perbandingan, melainkan kesalahan kategori — dan kesalahan kategori itulah bagian yang menarik, karena justru model yang lebih kecil inilah yang mengalahkan generalis terdepan pada tugas yang memang dirancang untuknya.

Apa sebenarnya kegunaan masing-masing

Cara paling jelas untuk mengingat keduanya adalah bahwa Gemma 4 12B adalah asisten dan UserRepGen-4B adalah instrumen pengukuran.

• Gemma 4 12B — anggota multimodal tanpa encoder dari keluarga Gemma 4. Teks, gambar, dan audio masuk; teks keluar. Kartu Google sendiri menggambarkannya sebagai "Unified" karena ia menghilangkan encoder visi dan audio khusus yang digunakan anggota keluarga lainnya, dengan memproyeksikan patch gambar mentah dan bentuk gelombang langsung ke ruang embedding decoder melalui lapisan linear yang ringan. 48 lapisan, jendela geser 1.024 token, kosakata 262K, konteks 256K token. Apache 2.0, varian yang disetel dengan instruksi diterbitkan bersama versi dasar.

• UserRepGen-4B — generator representasi. Masukan: percakapan multi-giliran yang diotorisasi, hingga 8.192 token. Keluaran: objek JSON dengan bidang task dan bidang user_behavior, dibatasi maksimum 1.024 token, ditinjau oleh manusia lalu diserahkan kepada LLM terpisah yang memerankan pengguna dalam simulasi. MIT untuk kontribusi Microsoft, Apache 2.0 diwarisi dari tulang punggung Q​wen. Hanya teks, meskipun checkpoint tetap mempertahankan menara visi yang tidak pernah digunakannya.

Gemma 4 12B dapat diminta melakukan apa yang dilakukan UserRepGen-4B — membaca percakapan dan mendeskripsikan penggunanya di dalamnya. Itulah precisely? no. Need Indonesian: "Itulah justru cara yang jujur untuk masuk ke perbandingan ini, karena kartu Microsoft mengukur model umum yang melakukan hal itu, dan model itu kalah." Hmm "Microsoft's card" -> "kartu milik Microsoft" or "kartu dari Microsoft". "measures a general model doing exactly that" -> "mengukur model umum yang melakukan hal persis itu". Good. Final.

Satu-satunya bilangan real yang menghubungkan mereka.

Tidak ada perbandingan langsung yang dipublikasikan antara keduanya, dan mengarangnya akan menjadi kegagalan yang mudah terjadi pada halaman seperti ini. Yang dipublikasikan oleh kartu UserRepGen-4B adalah evaluasi kesetiaan 700 percakapan pada skala 1 hingga 10, di mana setiap generator dinilai dengan panggilan yang identik. Dalam tabel itu, GPT-5.5yang digunakan apa adanya sebagai generator representasi mendapat skor 3,90 best-of-1 dan 4,90 best-of-3. UserRepGen-4B mendapat skor 4,95 dan 6,02. Spesialis 4B yang dilatih mengalahkan generalis terdepan yang beberapa orde lebih besar pada pekerjaan spesifik ini.

Gemma 4 12B tidak ada dalam tabel itu, jadi tidak ada yang tahu di mana posisinya. Namun baseline yang akan menjadi tolok ukurnya membuat bentuk jawabannya menjadi jelas: model umum yang diminta mendeskripsikan pengguna menghasilkan sesuatu yang masuk akal dan generik, dan metode pelatihan dalam UserRepGen-4B ada khusus untuk melampaui itu. Model 12B kemungkinan besar akan mengalahkan 4B dalam penalaran umum dan dikalahkan olehnya dalam tugas sempit ini.

Yang menimbulkan pertanyaan jelas mengapa Anda tidak sekadar meminta Gemma 4 12B melakukan hal yang sama dan menyimpan satu model di disk Anda. Dua alasan, dan yang kedua adalah yang paling penting.

Yang pertama adalah biaya pada volume besar. Menghasilkan representasi per percakapan adalah pekerjaan batch, dan 12B parameter memakan biaya sekitar tiga kali lipat dibandingkan 4B parameter untuk proses yang sama. Yang kedua adalah kesenjangan fidelitas bukanlah masalah penyetelan — ablasi milik kartu itu sendiri menunjukkan penyetelan halus terawasi biasa pada 4.64/5.68 sementara baik OPSD maupun GRPO, dua metode pembelajaran penguatan yang pertama kali akan dipilih tim yang kompeten, berada di bawah itu pada 4.46/5.60 dan 3.57/4.59. Membuat model umum mencapai perilaku ini bukanlah soal prompt yang lebih baik atau menjalankan RL yang lebih berat. Itulah tujuan loop pelatihan itu dirancang.

Keduanya dapat diunduh, dan hanya satu di antaranya yang dapat di-deploy

Di sinilah kerangka 4B versus 12B sepenuhnya buyar, karena kedua rilisan itu berada di ujung yang berlawanan dari spektrum pengemasan.

• Gemma 4 12B — produk yang telah dirilis dengan ekosistem yang berfungsi. Dukungan Transformers, varian yang disetel dengan instruksi, format terkuantisasi dan edge yang diterbitkan di seluruh keluarga, blog peluncuran, laporan teknis di arXiv, dan jalur yang terdokumentasi dari unduhan hingga penyajian.

• UserRepGen-4B — sebuah file bfloat16 safetensors tunggal berukuran 9,078,620,536 byte. Tidak ada GGUF, tidak ada ONNX, tidak ada MLX, tidak ada kuantisasi dalam bentuk apa pun. Kartu tersebut menyatakan hal itu secara langsung: "Saat ini tidak tersedia format yang dioptimalkan atau khusus perangkat."

Kesenjangan itu bukan kebetulan. Gemma 4 12B dibangun untuk dijalankan oleh orang lain, dan sebelas setengah miliar parameter dirilis sebagai sebuah produk. UserRepGen-4B dibangun untuk menghasilkan hasil bagi sebuah makalah, dan kartunya masih menyatakan bahwa sitasi "menunggu konfirmasi" dan merujuk pada autentikasi "selagi repositori bersifat privat" — baris yang tersisa dari unggahan bertahap yang belum diperbarui. Yang satu sudah selesai; yang lain sudah cukup selesai.

Jika yang sebenarnya Anda inginkan adalah Gemma 4 melalui API

Perlu dikatakan terus terang, karena di sinilah sebagian besar pembaca perbandingan Gemma sebenarnya berada: OrcaRouter tidak menyediakan Gemma 4 12B — tidak ada halaman model untuk itu di katalog kami — dan juga tidak menyediakan UserRepGen-4B. Namun, dua anggota lain dari keluarga Gemma 4 yang sama ada di katalog, dan keduanya mencantumkan harga daftar dari penyedia tanpa tambahan apa pun: Gemma 4 26B A4B, varian mixture-of-experts 25,2B dengan 3,8B parameter aktif pada konteks 262.144 token, seharga $0,06 per juta token input dan $0,33 per juta token output; dan Gemma 4 31B, varian multimodal dense 30,7B, seharga $0,13 dan $0,38. Jika Anda menginginkan 12B secara khusus untuk pekerjaan lokal, unduhan adalah jawabannya dan tidak ada API yang mengubahnya.

Untuk sisi simulasi, posisi jujurnya sama. UserRepGen-4B adalah checkpoint dan file prompt — Anda menjalankannya sendiri, di lingkungan Anda sendiri, terhadap percakapan yang Anda berwenang untuk memproses. Akan lebih praktis jika itu berupa panggilan ke endpoint yang dihosting. Namun hari ini, tidak demikian, baik di milik kami maupun di mana pun.

Yang mana yang harus diunduh

Jika Anda membutuhkan asisten multimodal kecil yang membaca dokumen, mendengar audio, dan menjawab pertanyaan di laptop, Gemma 4 12B adalah pilihannya, dan perbandingannya dengan UserRepGen-4B bahkan tidak cukup dekat untuk relevan. Jika Anda sedang membangun simulator pengguna dan pendekatan Anda saat ini adalah memberi prompt kepada model umum untuk mendeskripsikan pengguna, UserRepGen-4B adalah satu-satunya di sini yang dilatih untuk itu, dan buktinya — dilaporkan vendor, satu lab, dinilai oleh GPT-5.4 mini sepanjang proses — menunjukkan bahwa pelatihan mengalahkan pemberian prompt. Yang akan mengubah gambaran adalah makalahnya, atau satu evaluasi independen atas angka 4,95 itu dari luar Microsoft. Keduanya belum ada, dan keduanya layak ditunggu sebelum siapa pun menggantikan pipeline yang sudah berfungsi dengan itu.

Perbandingan seperti ini juga menjadi tempat mode kegagalan muncul: insiden AI dan kegagalan agen yang terdokumentasi di balik model di kelas ini dikumpulkan dalam Arsip Insiden AI OrcaRouter, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan tanda sengketa.