“3B Parameter Aktif” milik MiniCPM-V 4.7 Tidak Tercantum di Kartu Model — Saya Mengukurnya dari Bobot

Angka yang paling sering diulang tentang MiniCPM-V 4.7 35B-A3B tidak tercetak di mana pun dalam dokumentasinya sendiri. Klaim — "hanya 3B parameter aktif (!) — model ini bahkan berjalan di iPhone" — berasal dari unggahan pihak ketiga pada 13 Oktober 2026, dan kartu model vendor, README repositori, serta catatan peluncurannya sama sekali tidak menyebutkan angka parameter aktif. Ini bukanlah kritik terhadap klaim tersebut, melainkan sebuah celah yang layak ditutup: checkpoint-nya menyandikan jawabannya sendiri. Jadi, sebelum hal lain di sini, saya mengambil indeks safetensors dan setiap header shard untuk openbmb/MiniCPM-V-4.7-35B-A3B dan menghitungnya. Sebagai perbandingan, model lain dalam unggahan yang sama — Qwen3.8-27B, dirilis 13 Agustus 2026 — adalah dense 27B dan tidak memiliki ambiguitas semacam itu untuk diselesaikan: setiap parameter aktif pada setiap token. Pertanyaan yang menarik adalah apakah "3B aktif" bertahan saat bersentuhan dengan bobotnya, dan jawabannya adalah: ia bertahan, tetapi hanya jika Anda mendefinisikan kata "aktif" dengan cara vendor, dan angka yang jujur lebih dekat ke 4B setelah Anda menghitung bagian-bagian yang tidak dapat dihindari untuk dijalankan.

Buku besar, dibaca dari titik pemeriksaan itu sendiri

File indeks mencantumkan 40 lapisan bahasa ditambah menara visi dan proyektor, total 35.212.875.824 parameter dalam BF16 — 70,43 GB bobot untuk diunduh. Itu cocok dengan "35B" pada namanya. Pertanyaan MoE adalah berapa fraksi dari itu yang disentuh per token:

• Total tersimpan — 35,21B parameter, 70,43 GB pada BF16. Setiap expert berada di disk, baik digunakan maupun tidak.

• Anggaran Router — 8 pakar dipilih per token, dari 256, per lapisan MoE. Dikonfigurasi di config.json sebagai num_experts_per_tok: 8. Setiap pakar berukuran kecil: 3,15M parameter.

• Jalur MoE per lapisan — 8 pakar (25,17M) + pakar bersama (3,15M) + gerbang router (0,52M) ≈ 28,83M.

• Jalur atensi per lapisan — arsitekturnya hibrida: 30 dari 40 lapisan menggunakan atensi linear (masing-masing 33.72M), 10 menggunakan atensi penuh (masing-masing 27.26M). Total ≈ 2.44B di seluruh 40 lapisan untuk atensi ditambah aritmetika MoE, diulang per token.

• Ditambah apa yang tidak dapat Anda lewatkan — token embeddings 508,2M, LM head 508,2M, vision tower 522,3M, projector 30,7M.

• Dua jawaban yang dapat dipertahankan — ~2,44B aktif hanya pada jalur attention dan MoE; ~4,01B jika Anda menghitung embeddings, output head, vision tower dan projector, yang memang digunakan oleh permintaan visi.

Jadi "3B active" tidak salah. Itu adalah pembulatan ke atas dari 2.44B, dan jatuh di celah antara dua angka di atas. Hanya saja itu bukan angka yang diterbitkan OpenBMB, dan itu bukan hal yang sama dengan akhiran "A3B" — akhiran itu adalah bagian dari nama model, dan materi milik vendor sendiri tidak pernah mengubahnya menjadi suatu pengukuran.

Mengapa sufiks dan angka bukanlah hal yang sama

Konvensi penamaan di seluruh ekosistem open-weights menyiratkan jumlah parameter aktif: model yang disebut 30B-A3B, atau 235B-A22B, memberi tahu Anda bahwa ia mengaktifkan kira-kira sebanyak itu parameter per token. Implikasi itu biasanya dapat diandalkan — tetapi ini adalah konvensi, bukan kontrak, dan MiniCPM-V 4.7 adalah kasus di mana tidak ada apa pun di kartu, README, atau posting peluncuran yang mengubah "A3B" menjadi angka yang bisa Anda jadikan dasar untuk merencanakan memori. Sampai seseorang menghitungnya, sufiks itu hanyalah label.

Angka di atas adalah aritmetika, bukan inferensi dari label itu. Itu juga alasan angka ~2,44B dan ~4,01B berbeda: apakah tabel embedding dan head keluaran dihitung atau tidak merupakan keputusan nyata, bukan pedanteri. Pada model dense, embedding hanyalah bagian kecil dari anggaran 27B. Pada model sparse yang jalur komputasi per token-nya hanya beberapa miliar parameter, tabel embedding 508M dan LM head 508M bukan lagi noise — bersama-sama keduanya sekitar seperlima dari jalur aktif, dan keduanya disimpan pada lebar penuh sementara para expert-nya dikuantisasi.

Satu konsekuensi yang layak dinyatakan secara gamblang: rasio parameter tersimpan terhadap parameter aktif di sini sekitar 8,8 banding 1 dalam tafsiran sempit. Itulah alasan utama sebuah model 35B dapat dipasarkan sebagai model ponsel, dan itu juga alasan model ini bukan model ponsel seperti halnya model padat 3B. Penyimpanan tidak menyusut ketika router mengabaikan sebuah expert.

Klaim iPhone adalah klaim terpisah dengan basis bukti yang terpisah

Segala hal konkret tentang performa di perangkat dalam rilis ini dilaporkan vendor dan belum direproduksi. Angka spesifiknya adalah 13+ token per detik pada sekitar 3 GB memori di iPhone 17 Pro Max, dengan checkpoint yang sama didemonstrasikan di iPad M4. OpenBMB mengaitkannya dengan tiga teknik yang bekerja bersama — Lookahead Expert Scheduling, yang memprediksi routing lintas lapisan dan melakukan prefetch expert, kuantisasi per lapisan yang terperinci, dan DSpark speculative sampling — dan menggambarkan hasilnya sebagai model MoE open-source pertama yang berjalan lancar di perangkat tanpa kehilangan kemampuan. Tidak ada pengukuran independen atas throughput tersebut dalam catatan publik, tidak ada reproduksi pihak ketiga, dan tidak ada rincian yang diterbitkan tentang kuantisasi mana yang diasumsikan oleh angka 3 GB itu.

Ini penting karena alasan tertentu: 3 GB adalah angka yang menentukan apakah klaim itu menarik bagi Anda, dan itulah angka yang paling sedikit kita ketahui. 35B MoE yang bobot pakarnya sebagian besar berada di penyimpanan flash bukanlah model 3 GB, melainkan model yang working set residennya kebetulan muat dalam 3 GB setelah prediksi routing, prefetch, dan cache pakar terkuantisasi semuanya menjalankan tugasnya. Itulah tepatnya kondisi ketika throughput benchmark dan throughput dunia nyata menyimpang — prompt pertama menghangatkan cache, dan perilaku yang memberi Anda 13 token per detik pada demo adalah jadwal, bukan properti dari bobot.

Anggap 13 token per detik sebagai klaim tentang suatu teknik, bukan tentang checkpoint. Checkpoint adalah yang dapat Anda verifikasi hari ini: 35,21B tersimpan, 8 dari 256 expert dirutekan per token, ~2,44B hingga ~4,01B aktif tergantung pada apa yang Anda hitung, Apache-2.0, kuantisasi day-0 dalam GGUF, AWQ, GPTQ, int4 dan FP8, serta daftar vendor chip yang didukung yang mencakup Rockchip, Houmo, Intel, AMD dan Arm.

Apa yang ditentukan dan tidak ditentukan oleh jumlah aktif

Jumlah parameter aktif adalah proksi komputasi. Angka ini memberi tahu Anda berapa banyak perkalian matriks yang terjadi per token, yang berkorelasi dengan seberapa cepat decode yang dibatasi GPU berjalan. Angka ini tidak memberi tahu Anda berapa banyak memori yang dibutuhkan untuk menampung model, yang ditentukan oleh totalnya — 70,43 GB bobot BF16, atau sekitar seperempatnya pada 4-bit, sebelum Anda memperhitungkan cache KV. Pada model dengan konteks 256K, cache itu juga bukan kesalahan pembulatan.

• Kecepatan dekode — ditentukan oleh parameter aktif (~2.44B–4.01B di sini). Inilah yang dimaksud dengan klaim 13 token/dtk.

• Memori residen — ditentukan oleh total parameter (35.21B tersimpan), lalu dipangkas oleh kuantisasi dan oleh kumpulan expert mana pun yang tetap residen.

• Penyimpanan dan pemuatan — ditentukan oleh 70,43 GB penuh pada BF16. Perutean sparse tidak mengurangi unduhan.

• Bandwidth, bukan flops — di ponsel, kendala yang mengikat adalah mengalirkan para expert melalui bus memori, itulah sebabnya teknik penjadwalan ini ada dan mengapa jumlah aktif saja tidak memprediksi apa pun tentang latensi seluler.

Intinya: jika Anda memiliki GPU dengan memori yang cukup untuk menampung bobot terkuantisasi, jumlah aktif itulah yang menentukan throughput Anda dan "3B active" adalah hal yang baik. Jika Anda adalah alasan frasa "runs on an iPhone" muncul dalam sebuah pos, jumlah total adalah angka yang menentukan kelayakan, dan kerja penjadwalan vendor adalah bagian yang membuat jumlah total itu dapat dijalankan. Kedua pembacaan atas judul yang sama sama-sama benar dan keduanya bukan pembacaan yang sama.

Perbandingan dalam postingan itu membutuhkan dua label, bukan satu.

Kerangka berpikir yang membuat ini beredar adalah lokal versus perangkat keras mahal: MiniCPM-V 4.7 35B-A3B sebagai model yang memberi Anda kemampuan yang sama tanpa rig, melawan Qwen3.8-27B sebagai model yang lebih pintar tetapi membutuhkan rig. Sisi kemampuan dari hal itu berasal dari kartu model Qwen sendiri, dan itu dilaporkan vendor seperti semua hal lain di halaman ini. Angka-angka yang dipublikasikan Qwen untuk Qwen3.8-27B meliputi 90,3 pada LiveCodeBench v6, 89,2 pada GPQA Diamond, 84,3 pada OSWorld-Verified, dan 79,0 pada QwenSWEBench, dan entri katalog kami sendiri untuk model itu mencatatnya sebagai hasil agentik dan pengodean yang luar biasa kuat untuk model dense 27B. Apakah model itu "lebih pintar dari Opus 4.6" merupakan klaim dari postingan media sosial tersebut, dan saya tidak memiliki evaluasi independen di hadapan saya yang memastikannya — jadi saya tidak akan menyatakannya kembali sebagai fakta.

Perbedaan struktural adalah hal yang sebenarnya dapat diperiksa: Qwen3.8-27B bersifat dense, jadi seluruh 27B parameternya aktif dan jejak memorinya serta biaya komputasinya adalah angka yang sama. MiniCPM-V 4.7 35B-A3B memisahkan kedua angka itu sekitar sembilan kali lipat. Itulah keseluruhan argumen arsitekturalnya, dan itu nyata. Hanya saja, itu tidak sama dengan perbandingan benchmark, dan postingan yang membuatnya terkenal mencampuradukkan keduanya.

Di mana router mengubah keputusan, dan di mana tidak

Ada dua hal yang benar di sini dan layak dipisahkan, karena keduanya mengarah ke arah yang berlawanan.

Yang pertama adalah bahwa kami tidak menyediakan MiniCPM-V 4.7. Model itu tidak ada dalam katalog kami. Jika Anda menginginkannya, jalurnya adalah perangkat keras Anda sendiri — karena untuk itulah rilis ini dirancang, dengan bobot, kuantisasi, dan panduan penerapan di perangkat yang diterbitkan bersama rilis tersebut. API yang dihosting sama sekali tidak membantu Anda menjalankan model di ponsel, dan akan menyesatkan jika menyiratkan sebaliknya.

Yang kedua adalah bahwa model yang dijadikan tolok ukur bagi yang satu ini tidak berada pada posisi tersebut. Qwen3.8-27B tersedia melalui API kami, di-hosting sendiri di infrastruktur kami, dengan $0,33 per juta token masukan dan $2,40 per juta token keluaran. Jika pertanyaan yang sebenarnya Anda ajukan adalah "apakah saya mengganti panggilan Qwen3.8-27B yang di-hosting dengan MiniCPM-V 4.7 yang diterapkan secara lokal," jawaban yang jujur adalah Anda sebaiknya menjalankan eksperimennya sebelum berkomitmen: angka throughput on-device itu belum direproduksi, dan perbandingan kapabilitasnya berasal dari kartu milik pihak lain sendiri. Itulah situasi yang membuat failover ada — arahkan sebagian kecil lalu lintas ke jalur baru, pertahankan jalur yang sudah terbukti di belakangnya, dan biarkan satu minggu yang buruk membuat Anda kehilangan sebagian kecil dari beban kerja, bukan seluruh beban kerja. Model dengan markup 0% juga menjaga aritmetikanya tetap jujur: ketika vendor mengubah harga, angka yang Anda bayar berubah pada hari yang sama, karena tidak ada lapisan margin antara harga daftar mereka dan tagihan Anda.

Yang tidak bisa dilakukan sebuah router adalah menghilangkan pertanyaan soal lokal versus yang dihosting. Hal itu ditentukan oleh perangkat keras Anda, batasan privasi Anda, dan apakah unduhan sebesar 70 GB dapat diterima — dan jumlah parameter aktif, bagaimanapun Anda membulatkannya, tidak mengubah satu pun dari ketiga hal tersebut.

Apa yang bisa menyelesaikannya

Tiga hal, dalam urutan menurun berdasarkan kegunaannya. Sebuah angka parameter aktif yang diterbitkan oleh OpenBMB, sehingga angka yang semua orang ulangi berhenti menjadi aritmetika pihak ketiga — termasuk milik saya, dan milik saya dapat direproduksi dari header shard jika Anda tidak setuju dengannya. Pengukuran independen atas 13 token per detik di ponsel, dengan pengaturan kuantisasi yang dinyatakan, karena angka yang bergantung pada skedul tanpa pengaturannya bukanlah spesifikasi. Dan evaluasi nyata yang membandingkan MiniCPM-V 4.7 35B-A3B dengan Qwen3.8-27B pada tugas yang sama, karena perbandingan yang membuat model ini menonjol saat ini adalah grafik satu vendor versus kartu vendor lain.

Sampai saat itu, ringkasan amannya lebih sempit daripada postingan: bobotnya nyata, sparsitasnya nyata, unduhannya 70,43 GB, dan per token model ini melakukan pekerjaan setara antara 2,4 dan 4 miliar parameter, tergantung pada bagaimana Anda menghitung bagian-bagian yang tidak dapat dihindari dengan routing. Itu adalah hasil rekayasa yang nyata. Namun itu belum menjadi tolok ukur ponsel yang terukur, dan bukanlah kemenangan tolok ukur atas model dense 27B.

Sumber: parameter, jumlah expert, tipe layer, panjang konteks, dan ukuran unduhan dibaca langsung dari config.json dan header shard safetensors milik openbmb/MiniCPM-V-4.7-35B-A3B pada 13 Oktober 2026. Kecepatan di perangkat, angka memori, hasil benchmark, dan angka evaluasi Qwen3.8-27B dilaporkan vendor dan belum direproduksi. Klaim "3B parameter aktif" dan "lebih pintar daripada Opus 4.6" berasal dari unggahan media sosial pihak ketiga, bukan dari kedua vendor tersebut.

Tidak ada dari itu yang hipotetis: semua kegagalan AI dan insiden agen terdokumentasi yang di dalamnya angka seperti ini dikutip terhimpun dalam Arsip Insiden AI OrcaRouter, di mana setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.