UserRepGen-4B vs Qwen 3.8: Fine-Tune 4B Berusia Tujuh Bulan Melawan Produk Unggulan Alibaba Saat Ini

Mulailah dari fakta yang membuat pasangan ini terasa aneh. microsoft/UserRepGen-4B, diunggah pada 14 Oktober 2026 tanpa pengumuman, adalah fine-tune dari Qwen3.5-4B — checkpoint Februari 2026, tertinggal satu generasi penuh dari model yang dibandingkan dengannya di sini. Qwen 3.8 adalah generasi Agustus 2026 milik Alibaba, dan anggota yang tersedia mencakup Qwen3.8-Max, model unggulan dengan tarif $2,00 per juta token masukan dan $6,00 per juta token keluaran untuk konteks satu juta token, Qwen3.8-27B dengan $0,33 dan $2,40 untuk 262.144 posisi, serta Qwen3.8-Flash dengan $0,15 dan $0,47. Microsoft melihat keluarga itu dan mundur satu generasi untuk basis 4B. Lalu mereka menerbitkan tabel yang menunjukkan model hasilnya mengalahkan GPT-5.5 dalam satu hal yang memang dilakukannya. Kombinasi itulah isi keseluruhan artikel ini: apa yang bisa diberikan oleh fine-tune yang ditargetkan yang tidak diberikan oleh model unggulan yang lebih baru, dan berapa biaya yang harus Anda keluarkan untuk mendapatkannya.

Pertama, "Qwen 3.8" adalah nama untuk apa

Sebaiknya dipastikan sebelum perbandingan apa pun, karena nama keluarga ini mencakup beberapa artefak yang sangat berbeda dan rentang harganya lebih dari tiga belas kali lipat. Tiga anggota yang disajikan adalah yang penting untuk pengambilan keputusan:

• Qwen3.8-Max — produk unggulan, multimodal asli di seluruh teks, gambar, dan video, konteks 1 juta token, disajikan dalam tiga format wire termasuk yang kompatibel dengan Anthropic. Tingkat premium, untuk saat akurasi pada masalah sulit lebih penting daripada biaya.

• Qwen3.8-27B — model padat berbobot terbuka di bawah Apache 2.0, konteks 262.144 token, masukan teks, gambar, dan video. Kartu resmi Alibaba melaporkan 90,3 pada LiveCodeBench v6, 89,2 pada GPQA Diamond, 84,3 pada OSWorld-Verified, dan 79,0 pada QwenSWEBench — angka yang dilaporkan vendor, bukan hasil reproduksi independen.

• Qwen3.8-Flash — jalur volume, konteks 1 juta token, dengan harga untuk tugas pendek yang dijalankan sejuta kali. Ada juga snapshot Qwen3.8-Max (0902) bertanggal di katalog dengan tarif yang sama, yang Anda pin saat membutuhkan perilaku yang dapat direproduksi, bukan tepi yang terus bergerak.

Tidak ada dari semua itu yang baru, dan halaman ini tidak melaporkan peluncuran Qwen. Generasi ini berusia lima bulan. Ia ada di sini karena ia adalah sisi perbandingan yang lebih baru, lebih besar, dan lebih baik hasil tolok ukurnya, dan karena klaim menarik itu hanya masuk akal bila dibandingkan dengan sesuatu yang sekuat itu.

Klaim tersebut, dinyatakan secara tepat

Kartu model Microsoft melaporkan evaluasi fidelitas atas 700 percakapan yang disisihkan, dinilai 1 hingga 10 oleh juri LLM, di mana setiap generator representasi disambungkan ke dalam loop simulasi yang sama:

• Qwen3.5-4B, tulang punggung yang belum tersentuh — 3,41 best-of-1, 4,42 best-of-3.

• GPT-5.5, dengan prompt siap pakai untuk mendeskripsikan pengguna — 3,90 dan 4,90.

• UserRepGen-4B, setelah fine-tuning terawasi secara daring melalui distilasi hindsight — 4,95 dan 6,02.

Setiap angka adalah milik Microsoft sendiri, dinilai oleh GPT-5.4 mini, dan tidak ada satu pun yang telah direproduksi di luar laboratorium. Bacalah ini sebagai klaim terarah, bukan hasil yang mapan. Tetapi arahnya tidak ambigu dan ini bukan tentang jumlah parameter: metode pelatihan menggerakkan backbone sebesar 1,54 poin best-of-1, dan ia melampaui seorang generalis terdepan dalam perjalanannya. Pembacaan yang dimaksud bukanlah "model kecil mengalahkan model besar" — melainkan bahwa basis 4B dari Februari, yang di-fine-tune secara intensif pada satu perilaku sempit, dapat mengalahkan model yang jauh lebih besar yang hanya diminta untuk melakukan perilaku itu.

Qwen3.8-Max tidak ada dalam tabel itu. Kemungkinan besar ia akan tampil lebih baik daripada GPT-5.5, karena ia adalah model umum yang lebih kuat. Ia tetap akan menebak-nebak perilaku tersebut, karena tidak ada apa pun dalam pelatihannya yang dioptimalkan untuk itu.

Mengapa basis berusia tujuh bulan adalah pilihan yang tepat

Kesenjangan generasi tampak seperti sebuah kesalahan sampai Anda memahami apa yang sebenarnya dibutuhkan oleh fine-tune dari backbone-nya. Fine-tune memerlukan model yang kira-kira fasih, murah untuk dijalankan, dan cukup stabil sehingga LoRA rank-64 dapat mengubahnya tanpa menghancurkannya. Fine-tune tidak memerlukan penalaran tingkat terdepan, karena tugasnya bukan penalaran — tugasnya adalah mendeskripsikan percakapan yang telah diberikan kepadanya.

Dua rincian di dalam kartu mengonfirmasi pembacaan itu. Yang pertama adalah plafon keluaran: 1.024 token untuk representasi, versus 8.192 untuk percakapan. Yang kedua adalah anggaran pelatihan — Juli hingga Agustus 2026, dua bulan — dan fakta bahwa kedua metode yang lebih berat sama-sama kalah. OPSD mencetak 4,46/5,60 dan GRPO 3,57/4,59, keduanya di bawah supervised fine-tuning biasa pada 4,64/5,68. Ketika sebuah metode murah mengalahkan dua metode mahal, penghambatnya tidak pernah terletak pada kemampuan backbone-nya. Beralih ke base model unggulan 2026 hanya akan memberi Anda model yang lebih mahal per pass untuk melakukan pekerjaan yang sama dengan plafon yang sama.

Ada biaya dari pilihan itu, dan kartu ini jujur mengungkapkannya alih-alih menyembunyikannya. Karena vision tower ikut bersama checkpoint induknya, model dimuat melalui AutoModelForImageTextToText dan membawa jalur kode gambar dan video yang tidak pernah digunakannya — input gambar dan video secara eksplisit tidak didukung dalam rilis ini. Anda mewarisi beban arsitektur itu bersama kelancarannya.

Aritmetika biaya, yang tidak berjalan seperti yang orang duga

Refleksnya adalah bahwa inferensi lokal lebih murah. Pada skala yang dirancang untuk model ini, biasanya tidak demikian, dan menghitung angkanya secara jujur akan mengubah keputusan. Ambil batch 700 percakapan — ukuran yang sama dengan evaluasi Microsoft sendiri — dengan sekitar 2.000 token prompt dan 400 token output per panggilan.

• Melalui Qwen3.8-27B dengan $0.33 dan $2.40 per juta: sekitar $1.13 total pengeluaran token untuk seluruh batch.

• Melalui Qwen3.8-Max dengan harga $2.00 dan $6.00: sekitar $4.48.

Sebaliknya, UserRepGen-4B memerlukan unduhan 9,1 GB, GPU dengan memori yang cukup untuk menampungnya dalam bfloat16, dan rekayasa untuk merangkai kelas Python. Microsoft melaporkan bahwa model ini dilayani dengan vLLM pada perangkat keras H100, A100, RTX A6000, dan B200, serta mencatat bahwa inferensi CPU membutuhkan float32 dan "memori yang jauh lebih besar daripada file bobot sekitar 9,1 GB." Jika satu-satunya pertimbangan adalah dolar per token, akses API ke model yang lebih kuat menang pada volume ini, dan kemenangannya tidak tipis.

Yang berarti alasan sebenarnya untuk menjalankan UserRepGen-4B sendiri adalah alasan-alasan yang tidak muncul di lembar harga: percakapan yang Anda berikan kepadanya. Kartunya sendiri menyatakan untuk hanya memproses percakapan yang Anda berwenang untuk proses, meminimalkan dulu informasi yang dapat mengidentifikasi, dan bahwa representasi bukanlah data anonim — deskripsi perilaku model mengidentifikasi seseorang dari empat kandidat sebanyak 51,02% dari waktu, lebih baik daripada percakapan mentah yang diringkasnya sebesar 44,22%. Komponen yang mengubah percakapan menjadi profil portabel yang dapat dibaca manusia adalah komponen yang mungkin ingin Anda simpan di dalam jaringan Anda sendiri terlepas dari berapa biaya panggilan API.

Di mana lapisan perutean masuk ke dalam pipeline seperti ini

Ini lebih sering berbentuk dua model daripada satu model: generator representasi di perangkat keras Anda sendiri, dan model umum yang menjalankan sisi asisten, penilaian, atau loop evaluasi di sekitarnya. Paruh kedua adalah bagian yang berjalan melalui API.

Ketiga anggota Qwen 3.8 yang dilayani semuanya ada di OrcaRouter dengan harga daftar penyedia tanpa tambahan apa pun — $2,00 dan $6,00 untuk Max, $0,33 dan $2,40 untuk 27B, $0,15 dan $0,47 untuk Flash — dengan satu kunci, dengan failover otomatis lintas penyedia sehingga panggilan penilai dalam loop evaluasi tidak mati karena satu upstream. Jika Anda menjalankan sekumpulan ratusan percakapan melalui beberapa simulator dan penilai, failover itu lebih penting daripada tarif per token, karena proses yang mati pada percakapan 400 menyia-nyiakan 399 percakapan sebelumnya. DSL perutean memungkinkan Anda menyusun asisten dan penilai menjadi satu panggilan alih-alih merangkai dua. Yang tidak kami lakukan adalah melayani UserRepGen-4B: katalog kami tidak memiliki entri untuknya, dan tidak ada apa pun di sini yang boleh dibaca sebagai klaim ketersediaan untuk checkpoint Microsoft.

Keputusan itu, tanpa ragu-ragu.

Jika Anda menginginkan model umum yang bernalar, menulis kode, membaca gambar, dan menangani satu juta token, tidak ada apa pun dalam artikel ini yang menentang Qwen3.8-Max — UserRepGen-4B tidak dapat melakukan semua itu, dan perbandingan dengan model unggulan bukanlah perbandingan yang ia masuki. Jika Anda menginginkan simulator pengguna yang dikondisikan pada perilaku percakapan nyata, tidak ada anggota Qwen 3.8 yang dilatih untuk itu juga, dan pilihannya adalah antara fine-tune lokal kecil dengan keunggulan yang terukur dan model API besar tanpa keunggulan sama sekali.

Pertanyaan terbuka itu sama dengan yang membayangi seluruh rilis ini: tidak ada makalah. Kartu tersebut menyatakan sitasi "menunggu konfirmasi," sebuah baris tentang repositori yang bersifat privat masih ada di bagian penggunaan setelah repositori itu menjadi publik, dan setiap angka dalam tabel fidelitas dapat dilacak kembali ke penilai milik satu lab itu sendiri. Microsoft membangun model yang mengalahkan baseline terkuat yang diujinya. Apakah model itu mengalahkan baseline Anda adalah sesuatu yang hanya dapat dijawab oleh evaluasi yang Anda jalankan sendiri.

Fine-tune berusia tujuh bulan yang diukur terhadap model unggulan saat ini juga menjadi tempat yang tepat untuk menanyakan apa yang pernah gagal sebelumnya: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan dalam Arsip Insiden AI OrcaRouter, di mana setiap entri memuat sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda sengketa.