Moondream 3 vs MiniCPM-V 4.7: Tagihan Penyimpanan MoE yang Tidak Dibicarakan Siapa Pun

Keduanya Moondream 3 Preview dan MiniCPM-V 4.7 adalah model visi-bahasa mixture-of-experts, dan keduanya dipromosikan dengan angka parameter aktif yang kecil sehingga terdengar seperti cocok untuk perangkat keras sederhana. Moondream 3 Preview mengaktifkan 2B dari 9B parameternya per token. Varian unggulan MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, mengaktifkan sekitar 3B dari 35B. Baca dua kalimat itu dan Anda akan menduga checkpoint Moondream lebih mudah diterapkan. Apakah memang demikian sepenuhnya bergantung pada pertanyaan yang tidak dijadikan pembuka oleh kedua postingan peluncuran: di mana para expert yang tidur berada?

Pertanyaan itu adalah titik ketika kedua model ini benar-benar berbeda, dan jawabannya adalah alasan utama MiniCPM-V 4.7 ada dalam bentuknya yang sekarang. Peluncurannya — MiniCPM-V 4.7 35B-A3B dan MiniCPM-V 4.7 1B, dari OpenBMB, diposting 6 Oktober 2026 — dibangun untuk menjalankan MoE 35B dengan lancar di ponsel tanpa menurunkan kualitasnya. Moondream 3 Preview, yang dirilis Moondream pada 18 September 2025 dan kini menjadi bagian dari Prime Intellect setelah akuisisi Oktober 2026, mengambil jalur sebaliknya: menjaga MoE tetap kecil dan menjalankannya di GPU dengan Photon, mesin inferensi milik Moondream sendiri. Tidak ada pilihan yang salah. Keduanya adalah jawaban atas kendala yang berbeda, dan kendala yang Anda hadapi menentukan perbandingannya bagi Anda.

Parameter aktif adalah angka komputasi, bukan angka penyimpanan.

Inilah aritmetika yang membuat MoE di perangkat menjadi sulit, dan OpenBMB menjelaskannya secara gamblang di kartu modelnya sendiri: model MoE dapat memiliki total parameter yang jauh lebih banyak daripada yang diaktifkannya untuk satu token, tetapi kebutuhan penyimpanan di perangkatnya tidak terbatas pada parameter aktif tersebut. Token yang berbeda memilih pakar yang berbeda di lapisan yang berbeda, dan memori perangkat sering kali tidak dapat menampung semuanya.

• Moondream 3 Preview — total 9B, 2B aktif. 24 lapisan, empat lapisan pertama padat, sisanya blok feed-forward MoE dengan 64 ahli dan 8 yang diaktifkan per token. Dimensi tersembunyi 2048, dimensi inner/gate GeGLU 1024.

• MiniCPM-V 4.7 35B-A3B — total 35B, sekitar 3B aktif. MoE pertama dalam seri MiniCPM-V. Varian 1B dalam rilis yang sama bersifat dense, bukan MoE, yang penting untuk pembahasan di bawah ini.

• Ketidakcocokan — bagi aktif dengan total dan Moondream 3 Preview tampak seperti model yang lebih ringan dengan selisih yang besar. Bagi byte dengan byte dan MiniCPM-V 4.7 35B-A3B-lah yang membawa bobot empat kali lipat.

• Mengapa itu tidak menyelesaikan apa pun — resident set adalah yang membatasi perangkat, dan resident set lebih dekat ke total daripada jumlah aktif. MoE 9B tidak muat dalam memori yang bisa ditempati model dense 2B, tidak peduli apa pun yang dipicu router.

Jadi, "2B active" adalah pernyataan tentang komputasi per token. Itu bukan pernyataan tentang memori yang Anda butuhkan, dan memperlakukannya sebagai pernyataan tentang memori adalah cara paling umum tim salah menentukan ukuran deployment MoE.

OpenBMB menyerang masalah penyimpanan secara langsung

Desain MiniCPM-V 4.7 paling tepat dibaca sebagai tiga teknik yang ditujukan tepat pada celah tersebut. Lookahead Expert Scheduling menggunakan prediksi perutean lintas lapisan untuk memuat di muka expert yang kemungkinan dibutuhkan lapisan berikutnya, dan memprioritaskan expert yang berhasil dimuat di muka di antara expert yang dipilih oleh router aktual — prediksi hanya memandu pemuatan di muka dan penjadwalan, sedangkan komputasi tetap mengikuti perutean tingkat token asli model dan expert apa pun yang diperlukan yang terlewat oleh prediksi akan dimuat dan dievaluasi seperti biasa. Kuantisasi per lapisan yang terperinci memangkas jejak penyimpanan dan lalu lintas memori bobot expert. DSpark speculative sampling diintegrasikan ke dalam jalur on-device untuk meningkatkan efisiensi dekode di atas keduanya.

Hasil yang dinyatakan adalah 13-plus token per detik dengan sekitar 3 GB memori pada iPhone 17 Pro Max, yang OpenBMB gambarkan sebagai model MoE open-source pertama yang berjalan lancar di perangkat tanpa mengorbankan performa. Perbandingannya eksplisit dan patut dicatat sebagaimana adanya: dalam mode Instruct, MiniCPM-V 4.7 35B-A3B mencapai skor keseluruhan yang lebih tinggi dalam waktu inferensi yang lebih singkat daripada Qwen3.6 35B-A3B. Itu adalah klaim kelas ukuran yang sama yang dilaporkan vendor, dan itu adalah jenis yang lebih berguna karena kedua model diukur pada harness yang sama.

Sisa kisah penerapan ini luar biasa luas. iOS, Android, dan HarmonyOS didukung, dengan dukungan day-0 untuk platform chip dari Rockchip, Houmo, Intel, AMD, dan Arm. Inferensi berjalan di SGLang, vLLM, llama.cpp, dan Ollama; fine-tuning di SWIFT dan LLaMA-Factory. Kuantisasi GGUF, BNB, AWQ, dan GPTQ tersedia, ditambah FP8. Varian 1B adalah proposisi terpisah lagi — dense, bukan MoE, dan OpenBMB memposisikannya sebagai model yang terus menyempurnakan MiniCPM-V 4.6 sekaligus secara substansial mengungguli Qwen3.5 0.8B baik pada skor keseluruhan maupun efisiensi inferensi, yang merupakan perbandingan jujur untuk model di bawah 1B.

Jawaban Moondream adalah memindahkan perangkat kerasnya, bukan bobotnya.

Moondream tidak mencoba membuat MoE 9B muat di ponsel. Arsitekturnya tetap dipertahankan dan yang diubah adalah tempat menjalankannya: Photon, mesin inferensinya, mengompilasi setiap model menjadi satu program GPU dengan kernel kustom, dan berjalan secara lokal di GPU NVIDIA dari generasi Ampere dan seterusnya serta di Mac Apple Silicon, dengan API yang sama seperti Moondream Cloud.

Ini adalah strategi yang dapat dipertahankan dan pengumuman akuisisi Prime Intellect menjelaskan mengapa hal itu menarik: tim Moondream membangun Photon dan kompilator megakernel di baliknya, dan alasan Prime membeli perusahaan itu adalah bahwa serving, bukan arsitektur, yang menentukan kegunaan sebuah model. Angka throughput dalam tulisan itu — lebih dari 60 inferensi Moondream per detik pada satu H100, jawaban dalam puluhan milidetik, Moondream 3.1 pada 34 permintaan per detik — adalah milik Prime sendiri dan kini menjadi materi penjualan, jadi beri label yang sesuai. Namun arahnya tidak ambigu: taruhan Moondream adalah bahwa Anda lebih memilih model cepat yang didukung GPU daripada model seukuran ponsel.

Ada perbedaan kedua, dan sama sekali tidak ada di kartu model. Endpoint yang dihosting dari Moondream 3 Preview, yaitu Moondream Cloud, akan ditutup pada 13 November 2026 setelah akuisisi, dengan kredit yang dibeli namun belum terpakai dikembalikan. MiniCPM-V 4.7 tidak memiliki ketergantungan seperti itu, karena ia tidak pernah terutama menjadi produk yang dihosting — ia adalah sekumpulan bobot dengan narasi penerapan di perangkat yang luas. Jika evaluasi Anda mencakup kemudahan memanggil endpoint, kemudahan itu akan berakhir di salah satu sisi perbandingan ini.

Kapabilitas tugas: kedua kartu itu jujur tentang hal yang berbeda.

Empat keterampilan bawaan Moondream 3 Preview adalah query, caption, point, dan detect, yang semuanya menghasilkan keluaran terstruktur, dan tulisan peluncurannya mengedepankan deteksi dan pointing. Keterampilan query berjalan dalam mode penalaran secara default, dengan flag reasoning=False yang didokumentasikan untuk pertanyaan sederhana, dan jejak penalarannya berpijak pada gambar — jejak itu merujuk pada bagian-bagian tertentu dari gambar, itulah sebabnya Moondream menyebutnya penalaran visual dengan grounding, bukan penalaran secara umum. Konteksnya 32K token, naik dari sekitar 2K pada generasi sebelumnya, menggunakan tokenizer SuperBPE khusus; tulisan peluncurannya jujur menyatakan bahwa post-training tidak sepenuhnya memanfaatkan jendela panjang tersebut dan bahwa 32K penuh sebagian besar ada untuk fine-tuning.

Kartu MiniCPM-V 4.7 justru unggul dalam hal efisiensi dan cakupan: pemahaman gambar tunggal, multi-gambar, dan video, dengan kompresi token visual campuran 4x/16x yang memungkinkan Anda menukar detail visual dengan biaya inferensi per tugas, serta kompresi awal intra-ViT dari LLaVA-UHD v4 yang mengurangi komputasi pada lapisan-lapisan encoder berikutnya. Ini juga menyertakan metode fine-tuning — Self-Replay Fine-Tuning, yang bertujuan memperluas kemampuan model dengan murah sekaligus mengurangi lupa terhadap apa yang sudah diketahuinya.

• Deteksi dan penunjukan yang berlandas — Moondream 3 Preview: kemampuan bawaan dalam arsitektur, koordinat terstruktur, jejak penalaran yang berlandas. MiniCPM-V 4.7: pemahaman multi-gambar dan video adalah keunggulan yang dinyatakan; kartu ini tidak mengedepankan deteksi kosakata terbuka.

• Video — MiniCPM-V 4.7 mendukung input video, dengan contoh terdokumentasi yang menggunakan 128 frame. Kartu Moondream 3 Preview mendokumentasikan kemampuan gambar dengan caching pengodean gambar untuk kueri berulang pada gambar yang sama.

• Detail yang dapat dikontrol — MiniCPM-V 4.7: parameter downsample_mode, 16x secara default dan 4x untuk detail lebih halus, dipilih per panggilan. Moondream 3 Preview: penggabungan saluran multi-crop di encoder visi, dengan postingan peluncuran menyebutkan bahwa encoder dapat terganggu oleh font yang sangat kecil.

• Lisensi — MiniCPM-V 4.7: Apache 2.0, kedua varian. Moondream 3 Preview: Business Source License 1.1 dengan Hibah Penggunaan Tambahan, yang mengizinkan penggunaan komersial dan produksi serta melarang penawaran Moondream yang dihosting untuk tujuan umum. Moondream 3.1 beralih ke Moondream Model License 1.0 dengan pembatasan inti yang sama yang dirumuskan lebih jelas.

Perbedaan lisensi bukanlah catatan kaki untuk perbandingan ini. Jika Anda berniat menghosting model tersebut untuk orang lain, Apache 2.0 dan ketentuan source-available milik Moondream sama sekali bukan titik awal yang sama, dan itu tetap berlaku terlepas dari mana yang hasil benchmark-nya lebih baik pada tugas Anda.

Fine-tuning adalah arah yang dituju kedua kartu, dengan alasan yang berlawanan.

Kedua vendor memberi tahu Anda bahwa model dasar bukanlah produknya, yang menyegarkan dan juga petunjuk tentang di mana letak nilainya.

Postingan peluncuran Moondream mencantumkan kemampuan untuk dilatih sebagai salah satu dari empat tujuan, dengan alasan bahwa tugas penglihatan yang nyata memerlukan spesialisasi — menafsirkan sinar-X, mengenali orang yang kesulitan di tengah keramaian — dan bahwa bahkan manusia pun memerlukan pelatihan untuk itu. Perusahaan merilis Lens untuk itu, dan peluncuran Moondream 3.1 melangkah lebih jauh: skor benchmark 3.1 yang dipublikasikan dihasilkan dengan melakukan fine-tuning LoRA per tugas pada split pelatihan milik masing-masing benchmark melalui Lens, lalu melipat kembali apa yang dipelajarinya ke dalam bobot dasar melalui distilasi on-policy sehingga checkpoint yang dapat diunduh memperoleh skor baik tanpa penyetelan apa pun. Itu layak dibaca dua kali. Ini adalah alur kerja yang sah dan pengungkapan yang luar biasa transparan, dan itu juga berarti angka-angka tersebut bukanlah angka mentah yang langsung siap pakai — tugas-tugas yang dimaksud telah diberi umpan split pelatihannya ke model.

Padanan dari OpenBMB adalah Self-Replay Fine-Tuning, yang menyasar masalah berbeda: menambahkan kemampuan tanpa melupakan kemampuan yang sudah ada, dengan biaya rendah. Klaim utamanya adalah soal retensi, bukan skor puncak.

Jika Anda akan melakukan fine-tuning pada salah satu model, perbedaan praktisnya adalah perbedaan yang sama yang membentang di seluruh perbandingan ini. Jalur Moondream mengasumsikan adanya GPU dan layanan yang dihosting. Jalur MiniCPM-V 4.7 mengasumsikan Anda dapat melakukan fine-tuning pada kerangka kerja yang sudah Anda jalankan lalu men-deploy-nya ke perangkat yang sudah Anda targetkan, dengan narasi kuantisasi on-device yang dipublikasikan untuk mengantarkannya ke sana.

Di mana lapisan routing membuktikan kegunaannya

Tidak ada model di sini yang dilayani melalui OrcaRouter — keduanya adalah checkpoint open-weight yang Anda host sendiri, dan salah satunya akan kehilangan endpoint yang dihosting bulan depan. Itu membuat pertanyaan yang menarik justru menjadi pertanyaan yang dihindari kedua kartu: apa yang terjadi pada permintaan yang ditangani dengan buruk oleh model pilihan Anda?

Jawaban standarnya adalah model kedua, dan biaya standar dari model kedua adalah integrasi: SDK lain, skema autentikasi lain, kebijakan percobaan ulang lain. Ini adalah jenis pekerjaan yang diam-diam menghabiskan satu sprint lalu menjadi pemeliharaan permanen. Fusi model OrcaRouter ada untuk versi yang lebih sempit dari masalah itu — panel model yang menjawab bersama pada panggilan di mana jawaban satu model saja tidak cukup dapat dipercaya — dan DSL perutean untuk versi yang lebih luas, memungkinkan Anda menyusun beberapa model menjadi satu panggilan sehingga model lokal yang murah menangani mayoritas yang mudah dan model yang lebih besar mengambil sisanya.

Di balik satu kunci terdapat lebih dari 200 model dengan harga daftar penyedia tanpa tambahan markup, yang berarti pemotongan harga vendor sampai kepada Anda pada hari yang sama alih-alih pada siklus penagihan berikutnya, dan failover antar penyedia bersifat otomatis ketika upstream mengalami degradasi. Untuk VLM yang di-self-host, lapisan perutean berada di atas model alih-alih menggantikannya. Itu adalah deskripsi jujur tentang posisinya dalam perbandingan ini, dan untuk sistem di mana MiniCPM-V 4.7 35B-A3B ada di perangkat dan model yang dihosting menutupi kekurangannya, itulah bagian yang menjaga keduanya agar tidak menjadi dua sistem.

Yang mana, ditentukan oleh kendala yang benar-benar Anda miliki

Jika model harus berjalan di perangkat, MiniCPM-V 4.7 35B-A3B adalah jawabannya dan tidak ada yang mendekati. OpenBMB membangun seluruh rilis ini di sekitar masalah penyimpanan yang menghalangi MoE 35B berjalan di ponsel — penjadwalan pakar, kuantisasi per lapisan, dekode spekulatif — dan menerbitkan angka yang mengikutinya: lebih dari 13 token per detik dalam sekitar 3 GB. Tidak ada apa pun di Moondream 3 Preview yang membahas masalah itu, karena Moondream memilih untuk tidak memilikinya.

Jika ada GPU dalam skenario dan tugasnya adalah deteksi ter-grounding, Moondream 3 Preview adalah instrumen yang lebih terspesialisasi. Deteksi dan penunjukan native dengan koordinat terstruktur serta jejak penalaran ter-grounding yang dapat diperiksa adalah produk yang berbeda dari model multimodal umum yang juga membaca teks dalam gambar, dan jika manusia meninjau outputnya, jejak itulah fiturnya.

Jika Anda berada di antara keduanya, jangan memutuskan dari tabel benchmark. Jalankan gambar Anda sendiri melalui keduanya dengan prompt Anda sendiri dan nilai outputnya, karena satu-satunya angka dalam perbandingan ini yang akan bertahan saat bersentuhan dengan beban kerja Anda adalah angka yang Anda hasilkan sendiri. Dan periksa lisensinya sebelum modelnya, karena Apache 2.0 dan lisensi source-available dengan pembatasan layanan hosting adalah keputusan yang sama sekali berbeda — salah satunya dapat mengakhiri evaluasi sebelum angka akurasi menjadi penting.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI dan kegagalan agen yang terdokumentasi di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan tanda perdebatan.