MiniCPM-V-4.7-1B-DSpark: Model Draf 213M yang Dirilis Tanpa Pengumuman

MiniCPM-V-4.7-1B-DSpark adalah checkpoint 213.547.777 parameter yang tidak dapat menjawab pertanyaan. Ia tidak membaca gambar, tidak melakukan percakapan, dan jika dijalankan sendiri ia tidak menghasilkan apa pun yang layak dibaca. Tugasnya sepenuhnya adalah berdiri di depan satu model — MiniCPM-V-4.7-1B — dan menebak lima belas token berikutnya sehingga model vision-language kecil sekelas ponsel dapat memverifikasi satu blok token tersebut dalam satu forward pass alih-alih menghasilkannya satu per satu.

File ini berukuran 0,85 GB di bawah Apache-2.0, dan file ini muncul di Hugging Face pada 04:26 UTC tanggal 8 Oktober 2026, dalam batch yang sama dengan draf untuk saudara 35B-A3B yang lebih besar. Empat hari kemudian, kartu induknya masih memperlakukannya sebagai catatan kaki: draf tersebut muncul sekali, sebagai baris dalam tabel bobot dan di balik tombol "Speculative decoding (DSpark)" yang terlipat. Tidak ada pos blog OpenBMB untuknya, tidak ada laporan teknis, dan tidak ada entri dalam dokumentasi GitHub proyek itu sendiri.

Diamnya itu adalah bagian yang menarik, karena apa yang dimungkinkan oleh berkas khusus ini. Ini adalah artefak pertama dalam keluarga MiniCPM-V 4.7 yang klaim utamanya — bahwa model visi 1B dapat berjalan dengan layak di ponsel — dapat diperiksa oleh seseorang di luar OpenBMB. Semua yang di bawah ini menjaga dua tumpukan tetap terpisah: apa yang merupakan berkas di disk yang dapat Anda buka, dan apa yang merupakan angka yang dicetak vendor di sebelahnya.

Apa yang sebenarnya ada di dalam repositori

Empat file. Itulah keseluruhannya: .gitattributes, README.md, config.json, dan satu model.safetensors yang berisi 854.204.052 byte bobot BF16. Tidak ada tokenizer di repositori, karena memang tidak perlu ada — model draf meminjam milik target, dan kosakata dalam konfigurasinya persis 248.094 token milik induknya. Model draf yang tokennya tidak berkorespondensi satu-ke-satu dengan token target tidak dapat mengusulkan apa pun yang akan diterima target, jadi berbagi kosakata adalah keharusan, bukan kemudahan.

Hub API mencatat repositori tersebut sebagai dibuat pada 2026-10-08T04:26:19Z dan terakhir dimodifikasi 2026-10-12T14:29:57Z, ditandai untuk bahasa Inggris dan Tionghoa, berlisensi Apache-2.0, dengan tiga suka dan satu unduhan pada saat penulisan. Angka terakhir itulah yang perlu dipegang. Satu unduhan, setelah empat hari, pada file yang cukup kecil untuk diambil lewat koneksi ponsel.

Bidang architecture berisi Qwen3DSparkModel dengan model_type bernilai qwen3, yang koheren, bukan aneh: tulang punggung bahasa MiniCPM-V 4.7 berasal dari lini Qwen3, jadi stub lima lapis yang dipotong dari keluarga yang sama adalah apa yang semestinya Anda harapkan. Yang bukan salinan lebih kecil dari induknya adalah cara stub itu berkomunikasi dengannya. Konfigurasi ini membekali dflash_config dengan projector_type: "dspark", enable_confidence_head: true, confidence_head_alpha: 1.0, confidence_head_with_markov: true, markov_head_type: "vanilla" dan markov_rank: 256. Head keyakinan itu adalah bagian yang diambil dari metode DSpark: itulah mekanisme untuk memperkirakan seberapa besar bagian dari blok yang diusulkan yang layak diverifikasi, yang justru menjadi alasan utama konfigurasi serving menyediakan sakelar untuk mematikan verifikasi adaptif.

Spesifikasinya, dan mengapa setiap angka ada di sana

Sisi draf, dari kartu dan konfigurasi, yang keduanya sepakat:

• Parameter draf — 213.547.777, semuanya BF16, dalam checkpoint satu file berukuran 0,85 GB

• Kedalaman draf — 5 lapisan, semuanya full attention, ukuran tersembunyi 1.024, ukuran perantara 3.584, aktivasi SiLU

• Geometri atensi — 8 kepala kueri berbanding 2 kepala kunci/nilai, dimensi kepala 256, atensi kueri berkelompok

• Token per forward pass — 15, dibawa dalam config sebagai block_size: 15

• Rentang posisi — RoPE theta 10.000.000 dengan rotary embedding 256 dimensi, dan max_position_embeddings diatur ke 262.144, sesuai dengan jendela 256K milik induknya

• Lapisan ketuk — [3, 7, 11, 15, 19], dari 24 milik induk (num_target_layers: 24)

• Kosakata — 248.094, terikat pada tokenizer target, dengan token mask khusus pada 248.076 untuk langkah penyusunan draf semi-autoregresif

Dua dari baris-baris itu layak diperhatikan lebih dari sekilas. Yang pertama adalah lapisan tap. Draft tidak membaca lapisan terakhir induknya; ia membaca hidden state dari lima lapisan yang tersebar di sepanjang kedalaman induk dan memproyeksikannya melalui dspark proyektor. State di tengah jaringan lebih murah untuk diselaraskan dan tetap membawa informasi yang sudah diruntuhkan oleh lapisan terakhir menjadi logit token berikutnya. Yang kedua adalah dimensi head 256 terhadap ukuran tersembunyi 1.024. Itu head yang sengaja dibuat lebar pada model yang sempit, dan konfigurasi menetapkan tie_word_embeddings: false — matriks embedding dijaga tetap terpisah alih-alih dibagikan dengan proyeksi output, sehingga jumlah parameter mencakup keduanya.

Intinya, ini adalah sebuah drafter yang berukuran kira-kira seperlima dari ukuran target dengan bentuk yang sama sekali berbeda. Sebagai perbandingan, draf milik kerabat 35B-A3B memiliki 389,223,169 parameter yang memanfaatkan lapisan [3, 11, 19, 27, 35] dari 40. Dua draf, satu untuk setiap target, karena sebuah draf hanya berlaku untuk kosakata dan representasi perantara yang menjadi acuan pelatihannya.

Tabel penerimaan adalah kartu model, bukan pengukuran

Berikut semua data numerik yang dipublikasikan OpenBMB tentang seberapa baik pasangan ini berkinerja, dinyatakan sebagai token yang diterima per langkah verifikasi, diukur dengan penghentian EOS alami dan max_new_tokens=8192:

• Visi, MMMU — 3.452 token diterima per langkah

• Visi, MathVista — 4.333

• Visi, penalaran CharXiv (validasi) — 4.452

• Vision, OCRBench — 4.752

• Teks, matematika — 5.891

• Teks, kode — 5.347

• Teks, umum — 3.370

Rentangnya menurun dari 5,891 ke 3,370, faktor sekitar 1,75 antara kategori termudah dan tersulit. Urutan itu tidak mengejutkan sekaligus memberi tahu sesuatu tentang angka-angka tersebut: matematika adalah permukaan paling teratur yang dihasilkan model bahasa, teks umum paling tidak teratur, dan tingkat keberhasilan drafter mengikuti prediktabilitas keluaran target, bukan kualitasnya.

Tiga peringatan seharusnya tercantum di tabel itu, dan kartu tersebut tidak menyebutkan satu pun di antaranya dengan sukarela.

Itu dilaporkan sendiri, dan hanya ada satu unduhan pada repositori tersebut. Tidak seorang pun di luar OpenBMB telah menghasilkan angka penerimaan untuk checkpoint ini yang bisa dilihat orang lain. Angka-angka itu milik vendor, diukur dalam harness vendor, pada kumpulan tugas vendor.

Acceptance length adalah properti dari pasangan, bukan dari model. Target yang mengulang dirinya sendiri memberi drafter-nya kemenangan mudah, jadi angka yang lebih tinggi di sini bukanlah bukti bahwa MiniCPM-V 4.7-1B bagus dalam hal apa pun. Itu adalah bukti tentang seberapa dapat diprediksi keluarannya, yang merupakan pertanyaan berbeda dengan jawaban berbeda.

Dan ini bukanlah sebuah percepatan. Seorang drafter yang mengusulkan 15 token dan mendapatkan 3,4 di antaranya terverifikasi masih memproses beberapa token per lintasan maju target, tetapi memverifikasi blok 15 token lebih mahal daripada menghasilkan satu token, dan setiap proposal yang ditolak tetap dihitung dan dibuang. Mengonversi panjang penerimaan menjadi angka waktu nyata memerlukan biaya verifikasi, ukuran batch, dan perangkat keras, yang tidak satu pun disediakan oleh kartu ini. Satu-satunya resep serving yang memang disediakannya menetapkan --max-num-seqs 1, yang merupakan konfigurasi yang disetel agar berfungsi, bukan yang disetel agar cepat.

Jika dibaca dengan membandingkannya dengan saudaranya, tabel menjadi lebih berguna. Draft 35B-A3B mencatat 7,387 pada kode dan 5,098 pada MMMU; draft 1B ini mencatat 5,347 dan 3,452. Target yang lebih kecil dengan drafter yang lebih kecil menerima jauh lebih sedikit token per langkah, sebuah detail lintas keluarga yang tidak dapat ditunjukkan oleh satu kartu dan dapat ditunjukkan oleh dua kartu.

Pelatihan, dan detail yang menjelaskan keseluruhan desain

Resepnya terdiri dari empat baris: dua juta sekuens pelatihan, enam epoch, AdamW, dan objektif gabungan dari entropi silang, suku L1, dan loss keyakinan. Baris yang penting adalah baris tentang dari mana data pelatihan berasal — respons dihasilkan oleh MiniCPM-V-4.7-1B sendiri, dari campuran prompt visi dan teks.

Itu adalah self-distillation, dan itu menetapkan batas bawah biaya untuk membangun drafter seperti ini. Anda tidak dapat membuat satu pun tanpa menjalankan model target dalam volume besar terlebih dahulu, di keduanya, yang berarti artefak 0,85 GB yang dapat Anda unduh adalah residu murah dari proses yang mahal. Ini juga menjelaskan mengapa drafter dipasangkan satu-ke-satu alih-alih dibagikan: perilaku yang ditirunya adalah perilaku model ini, dan keluaran dari target yang berbeda akan melatih drafter yang berbeda.

Makalah metode itu sendiri, arXiv 2607.05147, bukan milik OpenBMB. Itu adalah makalah dengan 33 penulis yang dikirimkan pada 6 Juli 2026 yang mendeskripsikan DSpark sebagai kerangka speculative decoding yang memasangkan tulang punggung paralel dengan modul sekuensial yang ringan dan menjadwalkan panjang verifikasi dari perkiraan probabilitas kelangsungan prefiks. Makalah itu melaporkan penerapan di dalam sistem peladen DeepSeek-V4, mengambil baseline produksi yang disebut MTP-1, dan mengklaim generasi per pengguna 60 hingga 85 persen lebih cepat pada throughput yang setara. Klaim-klaim itu milik makalah tersebut dan penerapan itu. Tidak ada yang dipublikasikan yang menghubungkannya dengan draf lima lapis berukuran 213M pada model visi 1B, dan tabel penerimaan di atas adalah satu-satunya jembatan yang pernah ditawarkan siapa pun.

Mengapa file ini lebih penting daripada yang terlihat dari ukurannya

Klaim utama dalam keluarga MiniCPM-V 4.7 adalah klaim on-device. Kartu 1B menyertakan bagan performa versus waktu inferensi, bagan performa keseluruhan untuk build instruct 1B, rekaman layar tanpa edit yang direkam di iPhone 17 Pro Max, dan satu kalimat kualitatif yang menyatakan varian 1B secara substansial mengungguli Qwen3.5 0.8B baik pada skor keseluruhan maupun efisiensi inferensi. Kartu ini juga mencantumkan keluarga kuantisasi — int4, AWQ, GPTQ, GGUF, plus dukungan FP8 — dan target perangkat keras day-0 yang mencakup iOS, Android, HarmonyOS, Rockchip, Houmo, Intel, AMD, dan Arm.

Semua itu adalah klaim vendor tanpa angka dari luar yang dilampirkan, dan salah satunya tidak rapi secara internal: teks kartu menyebutnya model 1B, sementara bilah sisi Hub melaporkan ukuran model 2B parameter. Checkpoint DSpark berbeda jenis dari semuanya. Ukurannya 0,85 GB, Apache-2.0, dan disertai perintah serving — yang berarti pihak luar dengan GPU konsumen dapat menjalankannya minggu ini dan menghasilkan angka pertama keluarga ini yang diukur secara eksternal. Bukan skor benchmark, melainkan sesuatu yang hampir sama bergunanya: panjang penerimaan yang direproduksi.

Jika seseorang berhasil menyamai 3,45 pada MMMU dan 3,37 pada teks umum, kartu ini kredibel dan narasi di perangkat memiliki titik data eksternal pertamanya. Jika penerimaannya ternyata jauh lebih rendah, tabel itu diukur dalam kondisi yang tidak dapat direproduksi oleh resep yang dipublikasikan, dan grafik performa per waktu inferensi mewarisi keraguan tersebut. Hasil mana pun lebih bernilai daripada grafik vendor lain, dan ini satu-satunya bagian dari keluarga ini di mana mendapatkannya murah.

Menjalankannya, dan berapa biaya untuk mencobanya

Kartu ini menyertakan satu resep dan itu adalah pemanggilan vllm serve, bukan sekadar isyarat. Ia memuat target openbmb/MiniCPM-V-4.7-1B, menyajikannya dengan nama MiniCPM-V-4.7-1B, menetapkan --max-model-len 40960 dan --max-num-batched-tokens 40960, menyetel --attention-backend FLASH_ATTN dan --mm-encoder-attn-backend FLASH_ATTN, meneruskan kwarg prosesor multimodal berupa {"downsample_mode": "4x"}, memercayai kwarg multimodal per permintaan, dan mengarahkan konfigurasi spekulatif ke checkpoint DSpark dengan "method": "dspark", "num_speculative_tokens": 15 dan verifikasi adaptif dimatikan. Kwarg template obrolan default membuat thinking dinonaktifkan.

Ada dua detail di baris itu yang layak dibaca dua kali. --max-num-seqs 1berarti penyiapan yang dipublikasikan melayani satu sekuens pada satu waktu, jadi resep ini menggambarkan konfigurasi latensi aliran tunggal, bukan konfigurasi throughput. Dan mode downsample visual 4x adalah yang lebih murah di antara dua opsi yang diiklankan kartu induknya — kartu yang sama menawarkan skema campuran 4x/16x yang menukar detail demi kecepatan, dan resep ini memilih sisi pertukaran yang mengutamakan kecepatan.

Selubung perangkat kerasnya justru kebalikan dari pemasaran keluarga ini. Target 1B kira-kira 2 GB dalam BF16 ditambah cache KV, dan draft menambahkan 0,85 GB di atasnya, jadi ini pekerjaan satu GPU — kartu konsumen, atau workstation dengan memori terpadu yang cukup — bukan pekerjaan ponsel. Jalur on-device dalam dokumentasi induk berjalan melalui build terkuantisasi dan framework yang tidak ada dalam resep ini, dan checkpoint DSpark sebagaimana dipublikasikan adalah artefak BF16 sisi server.

Itu meninggalkan celah yang akan dihadapi sebagian besar tim: versi menarik dari MiniCPM-V 4.7-1B adalah versi di perangkat, dan versi yang dapat Anda jalankan hari ini tanpa memiliki toolchain ponsel adalah versi sisi server. Jika yang sebenarnya Anda butuhkan sekarang adalah inferensi multimodal kecil, padanan hosted terdekat adalah model yang berbeda — Qwen3 VL 8B Instruct tersedia di OrcaRouter dengan harga $0.18 per juta token input dan $0.70 per juta output, dengan jendela konteks 128K serta input teks, gambar, dan video, tanpa bobot lokal dan tanpa resep serving yang harus terus dijaga agar tetap berfungsi. MiniCPM-V 4.7 bukan model hosted di OrcaRouter dan tulisan ini tidak akan berpura-pura sebaliknya; kerangka yang jujur adalah bahwa ini adalah dua cara untuk melakukan satu pekerjaan, dan hanya satu di antaranya yang dapat diukur dari katalog sore ini.

Di sinilah hal seperti DSpark berguna, yakni pada kasus model yang belum terbukti, dan itu pertanyaan routing, bukan pertanyaan model. Model penyusun draf yang belum direproduksi siapa pun adalah persis jenis komponen yang Anda inginkan di balik endpoint yang bisa Anda jadikan fallback. Menjalankan 200+ model di balik satu kunci, harga daftar penyedia diteruskan dengan markup 0%, dengan failover otomatis saat sebuah rute menurun, berarti eksperimen penyajian yang salah langkah hanya membuat Anda mengulang, bukan mengalami gangguan — dan karena tidak ada markup, perubahan harga vendor pada model mana pun di katalog langsung berlaku di hari yang sama, bukan pada siklus penagihan berikutnya.

Apa yang akan membuat ini dapat diperiksa?

Tiga hal yang hilang, dan hanya satu di antaranya yang memerlukan OpenBMB.

Vendor belum mengumumkan apa pun. Repositori ini memiliki kartu model, lisensi, dan resep pelatihan, tetapi tidak ada posting blog, tidak ada laporan teknis, dan tidak ada satu baris pun dalam dokumentasi GitHub proyek — yang, pada minggu pertama keluarga ini, masih mendeskripsikan generasi sebelumnya sebagai generasi terkini. Empat hari setelah checkpoint itu mendarat, kartu induk 1B menautkannya sebagai satu baris tabel dan tidak lebih.

Tidak ada yang mereproduksi angka penerimaan, dan jumlah unduhannya satu. Itu adalah celah termurah untuk ditutup dan yang paling penting, karena hanya di situlah pengukuran dari luar akan secara berarti mengubah kisah keluarga tersebut.

Dan pertanyaan kualitas sama sekali tidak tersentuh. Tidak ada skor MMMU, tidak ada hasil OCRBench, tidak ada angka pemahaman dokumen, dan tidak ada angka grounding untuk MiniCPM-V 4.7-1B di mana pun dalam rilis ini — tabel acceptance adalah tabel tentang decoding, dan menafsirkan panjang acceptance yang tinggi sebagai sinyal kualitas justru merupakan kesalahan yang diundang oleh angka-angka tersebut.

Jadi: artefak nyata, lisensi permisif, perintah serving yang berfungsi, dan satu bukti yang benar-benar baru tentang model yang sebelumnya tidak punya. File berikutnya yang layak diperbarui tetap kartu model induknya.