Moondream 3.1 9B A2B vs North Micro Vision Instruct: Vendor Mana yang Sebenarnya Memungkinkan Anda Memeriksa Nomor Tersebut

Dua model visi terbuka, berjarak empat bulan, dengan hampir tidak ada kesamaan tentang bagaimana mereka meminta untuk dinilai. M​oondream 3.1 9B A2B diluncurkan pada 7 Juli 2026 dengan tabel benchmark, footer metodologi yang menyebut satu H100 SXM5 dan ukuran batch 16, serta argumen yang mengalir di seluruh postingan yang sama bahwa benchmark tidak mengukur apa yang sebenarnya dibutuhkan pelanggannya. North Micro Vision Instruct hadir pada 12 Agustus 2026 dari C​ohere Labs dengan 2,4B parameter di bawah Apache 2.0, dan postingan rilisnya menghabiskan seluruh isinya untuk kurikulum pelatihan dan pengaturan evaluasinya — harness yang digunakan, dan parameter sampling persis yang digunakan untuk menghasilkan angka-angkanya.

Itu adalah perbedaan yang nyata dalam jenisnya, dan itu lebih berguna bagi pembeli daripada jumlah parameter masing-masing model. Satu vendor memberi tahu Anda cara mereproduksi tabelnya. Vendor lainnya memberi tahu Anda untuk tidak memercayai tabel, lalu mencetak satu. Sejauh yang dapat kami temukan, tidak ada yang telah dievaluasi secara independen, jadi pertanyaan yang benar-benar menentukan kumpulan angka mana yang harus diandalkan adalah seberapa banyak yang telah diberikan masing-masing vendor untuk Anda periksa.

Apa itu masing-masing

Moondream 3.1 9B A2B adalah model visi-bahasa sparse mixture-of-experts: 9B parameter total, 2B aktif per token, 64 expert dengan 8 aktif, encoder visi SigLIP dengan konkatenasi kanal multi-crop, konteks 32K token dan tokenizer SuperBPE. Empat kemampuannya — query, detect, point dan caption — dilatih, bukan di-prompt, dan jalur deteksi dan pointing mengembalikan geometri terstruktur, bukan deskripsi. Model ini berjalan di Photon, mesin inferensi vendor, menargetkan GPU NVIDIA dari Ampere ke atas dan Apple Silicon.

North Micro Vision Instruct adalah model padat 2,4 miliar yang dibangun dari tiga bagian: encoder visi resolusi native 400 juta yang menjalani pra-pelatihan lanjutan dari checkpoint SigLIP 2 SO400M milik Google, sebuah proyektor yang mengikuti pola DeepStack dalam menyuntikkan patch embedding dari beberapa lapisan encoder ke lapisan awal model bahasa, dan model bahasa 2 miliar bernama North Micro LLM yang mengikuti arsitektur Command A+ milik Cohere. Model ini menerima teks dan gambar yang berselang-seling — satu atau beberapa — dan menghasilkan teks. Kosakata tokenizer-nya adalah 262.144, dan bahasa yang terdaftar mencapai sebelas ditambah "dan lainnya".

Perbedaan jenis keluaran perlu dinyatakan secara gamblang karena hal itu membentuk apa yang menyusul: M​oondream adalah model persepsi yang menjawab dengan kotak dan koordinat, North Micro Vision adalah model pemahaman yang menjawab dengan bahasa. Apa pun yang diterbitkan oleh masing-masing vendor adalah pengukuran atas salah satu dari dua tugas itu, dan keduanya bukan tugas yang sama.

Angka 8K yang bukan jendela konteks model

Mulailah dengan jebakannya, karena jebakan itu berada di tengah kartu model North Micro Vision dan itulah jenis hal yang akhirnya masuk ke keputusan arsitektur secara tidak sengaja.

• North Micro Vision Instruct — jendela konteks tulang punggung bahasa 128.000 token; rentang operasi multimodal tervalidasi hingga 8.000 token. Kartu tersebut menyatakan secara tegas bahwa konteks multimodal yang lebih panjang mungkin mengandalkan ekstrapolasi dan belum diuji tolok ukur.

• M​oondream 3.1 9B A2B — 32.000 token, satu angka, tidak ada pengecualian modalitas yang dipublikasikan.

Jadi angka utama mengunggulkan North Micro Vision dengan faktor empat, dan angka yang sebenarnya berlaku untuk beban kerja gambar Anda mengunggulkan M​oondream dengan faktor empat. Jika Anda memperkirakan berapa halaman dokumen hasil pindaian yang muat dalam satu panggilan, 128K adalah angka yang salah dan 8K adalah angka yang benar, dan 8K token gambar dan teks yang berselang-seling bukanlah banyak halaman setelah encoder resolusi native mulai mengeluarkan token sebanding dengan luas piksel. Vendor itu patut mendapat pujian karena menerbitkan catatan peringatan itu — sebagian besar kartu tidak akan melakukannya — tetapi catatan itu terkubur di bawah tabel spesifikasi dan tabel itulah yang disalin.

Bagaimana kedua vendor melaporkan, secara berdampingan

Ini adalah bagian dari perbandingan yang sama sekali tidak ada hubungannya dengan model dan sepenuhnya berkaitan dengan mana yang dapat Anda audit.

Postingan Moondream 3.1 menyatakan baseline-nya (Qwen3.5 9B, SAM 3, LocateAnything, Gemma 4 12B), metriknya (F1@0.5 untuk deteksi), perangkat kerasnya (satu H100 SXM5), ukuran batch-nya (16), dan fakta bahwa setiap model dilayani oleh engine-nya sendiri — vLLM untuk LocateAnything, Qwen3.5, dan Gemma 4; Photon untuk Moondream; Hugging Face Transformers untuk SAM 3. Postingan itu juga menyebutkan bahwa pengaturan akurasi dan penalaran tertinggi dipilih per model, dan bahwa LocateAnything dijalankan dalam mode lambat untuk memaksimalkan akurasi. Hasil yang dipublikasikannya adalah 81,46 F1@0.5 pada COCO val, 93,94 pada ODinW-13, 67,4 pada LVIS, 74,61 pada Dense200, 52,77 pada SKU-110K, 74,5 pada CrowdHuman, 87,1 pada RefCOCO-M, 70,39 pada HumanRef, 59,63 pada DOTA-v2, 90,35 pada CountBench, 74,86 pada TallyQA, 88,68 pada PixMo-Count, 86,01 pada ChartQA dan 88,6 pada DocVQA, dengan klaim state-of-the-art pada lima dari keluarga benchmark.

Apa yang tidak ada di footer itu adalah hal yang membuat suatu hasil dapat direproduksi: prompt-nya. Deteksi adalah tugas kosakata terbuka, dan frasa yang Anda gunakan untuk meminta suatu objek akan mengubah apa yang dikembalikan. Pihak yang menjalankan ulang memiliki metrik, perangkat keras, dan ukuran batch, tetapi tetap tidak dapat mereproduksi angka tersebut tanpa mengetahui teks apa yang menghasilkan setiap kotak.

Pos C​ohere Labs mengambil pendekatan lain. Pos itu menyebut harness (VLMEvalKit), menyatakan model dievaluasi dengan implementasi vLLM internal, mencantumkan komposisi benchmark untuk setiap kelompok kemampuan — General VQA adalah rata-rata dari MMBench, MMStar, RealWorldQA, dan GQA; kelompok chart, dokumen, dan OCR mencakup ChartQA, DocVQA, InfoVQA, OCRBench, OCRBench v2, dan AI2D; grounding dan counting adalah rata-rata RefCOCO dan CountBench — dan mempublikasikan parameter sampling yang digunakan untuk menghasilkan angka-angka tersebut: temperature 0.7, top_p 0.8, top_k 20, min_p 0.0, presence_penalty 1.5, repetition_penalty 1.0. Pos itu juga menandai bahwa dukungan vLLM publik "segera hadir", yang merupakan pengungkapan jujur yang paling penting bagi siapa pun yang berencana mereproduksi: model diuji pada fork.

Yang tidak dipublikasikan oleh postingan itu adalah tabel per benchmark. Hasilnya adalah rata-rata per kelompok kemampuan dan klaim relatif — dalam mode Instruct, 35B-A3B mendapat skor lebih tinggi dengan waktu inferensi lebih singkat daripada Qwen3.6 35B-A3B, dan varian 1B mengungguli Qwen3.5 0.8B baik pada skor maupun efisiensi — yang tidak begitu langsung dapat dikutip dan lebih tahan terhadap cherry-picking. Tidak ada dokumen yang memungkinkan Anda menghitung ulang angka vendor lain. Keduanya memungkinkan Anda melihat seberapa banyak yang mereka sembunyikan.

Di mana perbedaan arsitektur terlihat dalam praktik

Resolusi native adalah satu keputusan desain di North Micro Vision yang mengubah pekerjaan sehari-hari, dan layak dipahami sebelum tabel benchmark. Sebagian besar encoder visi mengubah ukuran apa pun yang Anda berikan ke bentuk persegi tetap, itulah sebabnya tangkapan layar spreadsheet yang lebar tiba di model bahasa dengan kolom-kolomnya terjepit. Encoder North Micro Vision dilatih untuk menerima gambar pada resolusi dan rasio aspeknya sendiri, sehingga mempertahankan detail halus dokumen, tabel, bagan, dan formulir. Kurikulum yang dipublikasikan bergerak dari tahap tetap 384×384 pada 10 juta contoh ke tahap 1024×1024 pada 13 juta contoh dan seterusnya.

Encoder Moondream justru didasarkan pada multi-crop: gambar diperlakukan sebagai sekumpulan crop yang fitur-fiturnya digabungkan, yang juga merupakan cara untuk mempertahankan detail pada input berukuran besar dan terkait dengan cara head deteksinya menghasilkan kotak. Keduanya adalah jawaban yang sah untuk masalah yang sama dan tidak ada vendor yang menerbitkan perbandingan langsung pada resolusi yang cocok, jadi hal berguna yang bisa diambil dari diskusi arsitektur lebih sempit daripada sebuah putusan: jika pekerjaan Anda adalah dokumen padat dan tangkapan layar UI yang lebar, resolusi native adalah properti yang perlu diuji, dan pengujiannya adalah tangkapan layar Anda sendiri, bukan baris benchmark.

Perbedaan struktural lainnya adalah multi-gambar dan video. North Micro Vision Instruct menangani input multi-gambar yang berselang-seling dan mencantumkan tolok ukur multi-gambar di antara kelompok yang dievaluasinya. M​oondream 3.1 9B A2B dibatasi pada satu gambar per pemanggilan — tidak ada jalur video, tidak ada jalur multi-gambar. Hal itu konsisten dengan desainnya: tulisan rekayasa M​oondream sendiri tentang video langsung berargumen bahwa masalahnya adalah perpipaan inferensi, bukan kemampuan model, dan jawaban perusahaan untuk beban kerja temporal adalah mesin yang mengikuti aliran, bukan checkpoint yang mencerna satu gambar. Apakah itu jawaban yang lebih baik daripada model yang menerima 128 bingkai sekaligus merupakan pertanyaan terbuka yang jujur, dan kedua vendor tidak mengukur hal yang sama.

Penyebaran dan lisensi, dengan cepat.

• Ukuran — total 9B / 2B aktif dibandingkan 2,4B dense. Dalam hal penyimpanan, selisihnya lebih besar daripada yang disiratkan oleh rasio parameter aktif, karena jejak model sparse mengikuti totalnya.

• Skala penyetelan halus — model dense 2,4B cukup kecil untuk disetel halus di satu perangkat; model sparse 9B membutuhkan penyiapan pelatihan sungguhan untuk apa pun di luar LoRA, itulah sebabnya jalur penyetelan Moondream sendiri berjalan melalui produk yang dihosting.

• Runtime — North Micro Vision Instruct meminta Transformers 5.16.0 dengan accelerate dan Pillow; kuantisasi komunitas tersedia dalam MLX, LiteRT, dan format yang berdekatan dengan ONNX. M​oondream 3.1 9B A2B berjalan di Photon, dengan pengemasan GGUF pihak ketiga pertama dari checkpoint tersebut yang muncul pada 15 Oktober 2026.

• Lisensi — Apache 2.0 untuk North Micro Vision Instruct, tanpa ambang batas dan tanpa pembatasan untuk meng-hostingnya bagi orang lain. Lisensi Model M​oondream 1.0 untuk M​oondream 3.1 9B A2B: penggunaan komersial, self-hosting, fine-tuning, kuantisasi, dan redistribusi semuanya diizinkan, dengan satu larangan — Anda tidak boleh menawarkan inferensi atau fine-tuning M​oondream untuk tujuan umum sebagai layanan yang dihosting.

• Churn — North Micro Vision Instruct tetap statis sejak dirilis; tambahan terbaru yang mencolok adalah kuantisasi pihak ketiga. Ketentuan Moondream berubah di bawahnya dalam dua minggu terakhir: Prime Intellect mengakuisisi perusahaan tersebut pada 13 Oktober 2026, dan Moondream Cloud, termasuk produk fine-tuning Lens, akan ditutup pada 13 November 2026. Bobot dan Photon tidak terpengaruh; jalur yang dihosting tidak.

Model kedua dalam pipeline, dan siapa yang merutekannya

Tidak satu pun dari checkpoint ini disediakan di OrcaRouter, jadi anggap ini sebagai catatan integrasi. Keduanya adalah komponen satu tahap: yang satu mengembalikan kotak, yang lain mengembalikan teks, dan sistem produksi memerlukan model di belakangnya untuk memutuskan apa arti observasi tersebut dan menuliskannya. Tahap itu adalah tahap teks, biasanya biayanya lebih mahal per panggilan daripada tahap visi, dan tahap itulah yang pertama ingin Anda ganti ketika model penalaran yang lebih murah atau lebih baik muncul. Melakukan penggantian itu melalui satu endpoint yang kompatibel dengan OpenAI untuk lebih dari 200 model — dengan harga daftar penyedia diteruskan pada markup 0% dan failover otomatis antar penyedia ketika upstream sedang bermasalah — berarti mengubah pengenal model alih-alih merombak alur kamera. Ketika satu pendapat tidak cukup, model fusion menjalankan panel model pada input yang sama, dan DSL routing menggabungkan beberapa model menjadi satu panggilan.

Ada satu tempat kita bisa lebih spesifik, dan patut jujur soal ke arah mana hal itu berdampak. North Micro Vision Instruct berlisensi Apache 2.0 dan cukup kecil untuk dijalankan di perangkat keras yang Anda miliki, yang berarti argumen biasa untuk merutekan model visi melalui endpoint yang dihosting — bahwa Anda tidak dapat menghostingnya sendiri — tidak berlaku. Argumen yang tersisa adalah argumen biasa: model kedua di dalam loop, dengan kunci yang sama, dengan satu tagihan dan satu set kredensial.

Mana yang harus dipilih, dan apa yang akan mengubah jawabannya

Pilih North Micro Vision Instruct jika Anda membaca dokumen, tabel, diagram, atau layar, jika Anda memerlukan beberapa gambar dalam satu panggilan, jika Apache 2.0 penting karena Anda berniat menghosting model untuk orang lain, atau jika Anda menginginkan checkpoint 2.4B yang dapat Anda fine-tune dengan data Anda sendiri. Kartu model Cohere menunjuk fine-tuning sebagai penggunaan yang dimaksudkan dan lisensinya tidak menimbulkan hambatan.

Pilih M​oondream 3.1 9B A2B jika keluaran Anda berupa geometri — kotak, koordinat, jumlah dengan instance yang dilampirkan — dan deployment Anda adalah mesin CUDA dengan Photon di dalamnya. Model ini terspesialisasi dan klaim kecepatannya ditujukan tepat untuk beban kerja tersebut.

Yang akan mengubah jawaban untuk keduanya adalah evaluasi independen, dan itulah hal yang perlu terus diperhatikan. Angka dari kedua vendor belum direproduksi di luar vendor tersebut, dan masing-masing mempublikasikannya dalam kondisi yang membuat reproduksi lebih sulit daripada yang seharusnya: yang satu menyembunyikan prompt-nya, yang lain menjalankannya pada implementasi penyajian internal dari sebuah kerangka kerja yang dukungan publiknya masih tertunda. Ketika pihak ketiga menjalankan salah satu checkpoint pada kumpulan dokumen yang sama, model mana pun yang tabelnya bertahan utuh setelah kontak itu adalah yang layak dipercaya — dan sampai saat itu, vendor yang memberi tahu Anda bagaimana ia mengukur adalah yang lebih mudah untuk diajak berdebat.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, dengan setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda yang disengketakan.