NVIDIA Nemotron Labs Dory 1.0 4B vs MiniCPM5 2B: Runtime Kustom Melawan LlamaForCausalLM Biasa

Hal paling berguna untuk diperhatikan tentang NVIDIA Nemotron Labs Dory 1.0 4B dan MiniCPM5-2B bukanlah tabel benchmark salah satu model — melainkan apa yang muncul di baris pertama bagian arsitektur MiniCPM5-2B. Kartunya menyatakan dengan gamblang bahwa arsitekturnya adalah standar, yakni LlamaForCausalLM: 42 lapisan, grouped-query attention dengan 16 head kueri dan 2 head KV, tanpa kernel khusus, tanpa perlu fork kode model. Kartu Dory menyatakan kebalikannya dalam segala pengertian praktis. Arsitekturnya adalah jaringan latent-recurrent berulang yang blok lapisannya diterapkan sejumlah kali yang bervariasi, dan untuk melayaninya saat ini Anda memasang vLLM dari pull request terbuka atau membangun llama.cpp dari commit yang dipin. Salah satu model ini langsung masuk ke stack yang sudah Anda miliki. Model lainnya mengharuskan Anda mengubah stack terlebih dahulu. Perbedaan itu akan menentukan lebih banyak deployment daripada skor apa pun yang diterbitkan oleh kedua vendor.

Dua model kecil, dua taruhan yang sepenuhnya berbeda

N​VIDIA N​emotron Labs Dory 1.0 4B adalah model looped dense 4B milik N​VIDIA, yang diterbitkan ke Hugging Face dalam BF16, MXFP8, NVFP4, dan Q5_K_M GGUF di bawah lisensi OpenMDW 1.1, dengan kartunya bertuliskan "GA (10/16/2026)". Model ini hanya teks dan hanya bahasa Inggris, mendukung hingga 256K token, dan memasukkan sekitar 6 triliun token pra-pelatihan ke dalam stack yang dilatih secara native dalam NVFP4 untuk ~4,5T pertama sebelum beralih ke BF16, lalu diperluas ke konteks panjang selama 300B token dan diselesaikan dengan SFT plus pembelajaran penguatan GRPO multi-lingkungan. Model ini diterbitkan tanpa pengumuman apa pun.

MiniCPM5-2B adalah model dense 2,5B milik OpenBMB — total 2.516.756.480 parameter, dengan 1.981.982.720 di antaranya non-embedding — di bawah Apache 2.0, dengan jendela konteks 131.072 token dan dukungan dwibahasa Inggris serta Tionghoa. Ini adalah entri kedua dalam lini MiniCPM5 setelah 1B, dibangun untuk meningkatkan skala dari apa yang disebut kartu model sebagai resep pelatihan yang sama, dan secara eksplisit ditujukan untuk penerapan di perangkat, lokal, dan dengan sumber daya terbatas. Pasca-pelatihan menjalankan penyempurnaan terawasi (supervised fine-tuning), pembelajaran penguatan (reinforcement learning), dan distilasi on-policy. Kartu model tersebut mengklaim state of the art open-source kelas 2B dengan rata-rata 53,9 di seluruh rangkaian tolok ukurnya.

Keduanya cukup kecil untuk dijalankan pada satu akselerator. Keduanya dapat diunduh hari ini. Setelah itu, semuanya bercabang berbeda.

Kontrasnya, dimensi demi dimensi

• Arsitektur — Dory 1.0 4B adalah GPT ternormalisasi berulang dengan rekurensi laten, attention jendela geser dan attention penuh berselang-seling, blok masukan 8 lapis, blok rekuren 20 lapis, dan blok keluaran 8 lapis. MiniCPM5-2B adalah transformer kausal padat konvensional, 42 lapis, GQA 16 kepala dengan 2 kepala KV, standar LlamaForCausalLM.

• Biaya masuk untuk penyajian — inilah sorotan utamanya. MiniCPM5-2B tidak memerlukan kernel khusus dan tidak memerlukan mesin hasil fork; jika stack Anda menjalankan model berbentuk Llama, ia dapat menjalankan ini. Dory memerlukan vLLM yang dibangun dari pull request yang belum di-merge atau llama.cpp yang dibangun dari commit yang di-pin, dengan override runtime untuk jumlah loop dan mode KV-cache.

• Parameter — 4B dense dibandingkan dengan total 2.516B (1.98B non-embedding). Dory kira-kira 60% lebih besar, dan blok rekurennya diterapkan berulang kali, sehingga komputasi efektif per token pada empat loop melebihi apa yang tersirat oleh jumlah parameter.

• Konteks — Dory mencapai 256K token dengan 262.144 posisi yang divalidasi di vLLM. MiniCPM5-2B mendukung 131.072. Jendela Dory dua kali lipat; apakah Anda ingin membayarnya adalah pertanyaan KV-cache yang dibahas di bawah.

• Bahasa — Dory hanya bahasa Inggris, dengan 43 bahasa pemrograman dalam campuran pra-pelatihannya. MiniCPM5-2B bersifat bilingual Inggris dan Tionghoa. Untuk beban kerja berbahasa Tionghoa, dimensi ini menentukan hasil perbandingan tanpa mengacu pada baris mana pun lainnya.

• Lisensi — OpenMDW 1.1 untuk Dory, Apache 2.0 untuk MiniCPM5-2B. Keduanya mengizinkan penggunaan komersial; Apache 2.0 adalah yang sudah disetujui oleh sebagian besar tinjauan hukum.

• Fleksibilitas komputasi — kedalaman Dory adalah parameter runtime: satu loop untuk latensi, dua sebagai default yang direkomendasikan, empat saat akurasi agentic lebih penting, semuanya dari satu checkpoint. MiniCPM5-2B memiliki kedalaman tetap, dan pengungkit performanya adalah kuantisasi — keluarga ini menyediakan build GGUF, MLX, GPTQ, dan LiteRT plus model draft DSpark untuk decoding spekulatif.

• Ekosistem — MiniCPM5-2B telah tersedia untuk publik sejak awal September 2026 dan telah diunduh lebih dari satu juta kali serta memiliki beragam build terkuantisasi dan turunan. Empat repositori Dory diisi dalam semalam dan penghitung unduhan mereka berada di nol saat tulisan ini dibuat.

Angka-angka itu, dan mengapa Anda tidak boleh menguranginya

Kedua kartu mempublikasikan tabel benchmark, dan tabel-tabel tersebut tumpang tindih pada cukup banyak tugas sehingga perbandingan berdampingan dapat dilakukan. Ada baiknya melakukannya dengan hati-hati, karena pengurangan yang naif akan menyesatkan dengan cara yang spesifik dan dapat diprediksi.

Baca Dory pada ketiga pengaturan loop-nya terhadap satu angka yang dilaporkan MiniCPM5-2B:

• SciCode — 27.3 / 34.94 / 35.11 dibandingkan 26.3. Pada dua loop ke atas, Dory memimpin.

• SWE-bench Verified — 50.3 / 59.5 / 61.8 dibandingkan 46.4.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 dibandingkan 8.6.

• GPQA Diamond — 69.19 / 72.41 / 72.16 dibandingkan dengan 70.2. Bahkan pada satu loop, Dory secara nominal tertinggal; pada tiga loop atau lebih, Dory sedikit unggul.

• HLE, hanya teks — 8.25 / 10.89 / 10.43 dibandingkan 8.9.

• IFBench — 74,29 / 77,94 / 79 dibandingkan dengan 66,3.

• AA-LCR — 63 / 71 / 73 dibandingkan dengan 59,0.

Dory tampak lebih kuat pada sebagian besar dari ini, kadang jauh lebih kuat. Sekarang alasan untuk tidak memercayai aritmetika itu: ini adalah dua harness berbeda yang mengukur dua kumpulan prompt yang berbeda, dan tidak ada vendor yang menjalankan model milik vendor lain. N​VIDIA mengukur Dory pada NeMo Gym dan Nemo Evaluator SDK, dengan jumlah pengulangan per-benchmark yang diungkapkan kartu tersebut — SciCode delapan kali, AA-LCR enam belas kali, beberapa benchmark tepat satu kali. OpenBMB mengukur MiniCPM5-2B pada setup-nya sendiri dan melaporkan satu rata-rata 53,9 di seluruh suite-nya. Selisih dua atau tiga poin antara kedua setup itu adalah noise, bukan putusan akhir. Tidak ada apa pun di kedua kartu itu yang merupakan reproduksi independen, dan tidak ada pihak ketiga yang menerbitkan perbandingan head-to-head dari kedua model ini.

Ada satu alasan struktural untuk menduga bahwa keunggulan Dory yang terlihat itu nyata pada tugas agentik dan menguap di tempat lain. Kartunya menunjukkan bahwa looping memberikan keuntungan paling besar pada SWE-bench dan Terminal-Bench, paling kecil pada recall pengetahuan — AA-Omniscience nyaris tidak berubah di berbagai jumlah loop. Kekuatan MiniCPM5-2B sendiri tersebar secara berbeda: model ini melaporkan 97,1 pada τ²-Bench Telecom dan 88,7 pada GAIA Text-103, hasil agentik yang tidak diukur oleh kartu NVIDIA dalam bentuk yang sebanding. Jika tugas Anda adalah penggunaan alat di domain sempit, angka-angka pada kartu MiniCPM adalah yang pertama harus diuji, dan tidak satu pun dari angka itu muncul di lembar Dory.

Perhatikan juga apa yang kedua kartu itu menolak untuk dibandingkan. MiniCPM5-2B membandingkan dirinya dengan Qwen3.5-4B pada 51,1, granite-4.2-3B pada 42,7 dan LFM2.5-2.6B pada 33,2 berdasarkan rata-ratanya sendiri. Dory membandingkan dirinya dengan Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B dan Qwen3.6-35B-A3B. Satu-satunya model yang diberi angka oleh kedua kartu adalah Qwen3.5-4B, dan keduanya menilainya secara berbeda — yang lebih banyak memberi tahu Anda tentang harness daripada tentang Qwen.

Berapa biaya yang harus Anda keluarkan untuk mengoperasikan masing-masing

Kisah operasional MiniCPM5-2B adalah yang membosankan, dan membosankan justru pujian di sini. Arsitektur standar, tanpa kernel khusus, beragam kuantisasi siap pakai, dan keluarga yang sudah mencakup build MLX untuk Apple Silicon, GPTQ untuk inferensi GPU, LiteRT untuk perangkat seluler, serta model draf untuk decoding spekulatif. Model berbentuk LLaMA berukuran 2,5B pada konteks 128K muat dalam memori yang tidak besar dan berjalan di mesin yang sudah Anda gunakan. OpenBMB membingkai seluruh lini sebagai on-device dan terbatas sumber daya sejak desain, dan tidak ada apa pun di kartu model itu yang mengharuskan Anda mengadopsi hal baru.

Kisah operasional Dory adalah yang menarik dan belum selesai. Dukungan vLLM sedang ditinjau dalam pull request 60149; sampai pull request itu di-merge, kartu tersebut memberi tahu Anda untuk memasang vLLM dari branch itu dengan flag precompiled-kernel yang diaktifkan, lalu menjalankannya dengan override yang mengonfigurasi jumlah loop rekuren dan mode KV-cache. Dukungan llama.cpp ada di pull request 30306, dengan revisi yang dipin alih-alih head yang bergerak, dan instruksi build yang menargetkan macOS ARM64 native di Apple Silicon. Satu-satunya angka kecepatan Dory yang dipublikasikan NVIDIA adalah percepatan kuantisasi pada DGX Spark — 1,69× dan 1,84× untuk MXFP8 dibanding BF16 bergantung pada campuran input/output, 2,17× dan 2,44× untuk NVFP4 — bukan angka throughput. Tidak ada endpoint yang dihosting untuk Dory di mana pun yang dapat kami verifikasi.

Satu-satunya bagian rekayasa yang benar-benar baru di sisi Dory adalah desain memorinya, dan itulah klaim yang paling layak diuji sebelum Anda berkomitmen. Perulangan rekuren standar menyimpan cache KV terpisah per loop, sehingga memori naik dengan setiap pass tambahan. Dory mendukung mode cache KV loop terakhir yang menyimpan satu cache per lapisan attention rekuren dan menimpanya pada setiap pass, menjaga jejak memori sekitar ukuran satu loop tidak peduli berapa banyak loop yang Anda jalankan. N​VIDIA mengatakan akurasi tetap dekat dengan mode per-loop dengan panjang output yang hampir tidak berubah. Jika itu bertahan, kedalaman elastis adalah kemampuan nyata; jika akurasinya melenceng, fitur ini memakan biaya lebih besar daripada yang tersirat dari kartu. Belum ada pihak di luar N​VIDIA yang memeriksanya.

Di mana router membuktikan nilainya — dan di mana tidak

MiniCPM5-2B tidak ada dalam katalog OrcaRouter, dan N​VIDIA N​emotron Labs Dory 1.0 4B juga tidak. Dory tidak memiliki endpoint hosted di mana pun yang dapat kami konfirmasi; MiniCPM5-2B adalah model on-device yang kartunya ditulis untuk penerapan lokal, bukan untuk platform inferensi. Mengatakan itu secara gamblang lebih penting daripada mencari sudut pandang, karena efek praktisnya adalah kedua sisi perbandingan ini berjalan pada perangkat keras yang Anda miliki.

Itulah saat baseline yang dihosting menjadi bagian yang janggal dari eksperimen. Sebagian besar tim yang mengevaluasi model 2B atau 4B tidak mengevaluasinya dalam ruang hampa — mereka bertanya apakah model itu dapat menggantikan panggilan yang dihosting dengan sebagian kecil biaya dan sebagian kecil kemampuan, dan menjawab pertanyaan itu berarti menjalankan model yang dihosting pada set tugas yang sama. Satu kunci OrcaRouter menjangkau model-model yang dihosting tersebut dengan harga daftar penyedia dengan markup 0%, tidak perlu kontrak kedua dan tidak perlu SDK kedua, sehingga perbandingan tidak memerlukan pengadaan sendiri. Failover otomatis penting karena alasan yang berbeda di sini: evaluasi lokal yang panjang pada satu GPU akan terinterupsi, dan memiliki jalur fallback yang sudah terhubung di belakang endpoint yang sama membuat proses tetap berjalan. DSL routing memungkinkan endpoint lokal dan endpoint yang dihosting berbagi satu titik panggilan, sehingga dua bagian dari deployment hibrida tidak bercabang menjadi dua basis kode. Tidak ada dari ini yang memilih pemenang antara Dory dan MiniCPM5-2B. Ini membuat yang kalah menjadi murah untuk dikesampingkan.

Putusan

Pilih MiniCPM5-2B jika hambatan deployment lebih penting daripada skor agentik puncak. Model ini berlisensi Apache 2.0, berukuran separuhnya, bilingual, berarsitektur standar, dan dikelilingi oleh berbagai kuantisasi termasuk runtime seluler. Jika tim Anda harus merilisnya bulan ini dan alternatifnya adalah berjuang dengan build kernel, 2.5B menang hanya dari segi logistik — dan hasil τ²-Bench serta GAIA yang dilaporkan menunjukkan bahwa model ini tidak banyak kehilangan performa pada tugas penggunaan alat yang sebenarnya menjadi tujuan deployment model kecil.

Pilih N​VIDIA N​emotron Labs Dory 1.0 4B jika yang Anda inginkan bukan model, melainkan eksperimen: satu checkpoint yang meningkatkan akurasinya sendiri seiring komputasi inferensi, jendela 256K dengan desain caching yang dimaksudkan untuk membuatnya terjangkau, dan lisensi yang mengizinkan penerapan komersial. Ketahuilah sejak awal bahwa Anda akan membangun mesin serving Anda dari sebuah branch, bahwa setiap angka yang dipublikasikan adalah milik vendor sendiri pada harness vendor dengan jumlah pengulangan yang diungkapkan dalam catatan kaki, dan bahwa penghitung unduhan masih nol. Sisi positifnya adalah Anda akan menjadi salah satu orang pertama di luar N​VIDIA yang menguji cara yang benar-benar berbeda untuk membelanjakan komputasi pada model kecil. Biayanya adalah Anda akan melakukan pekerjaan verifikasi N​VIDIA untuknya.

Hal yang paling cepat mengubah perbandingan ini bukanlah benchmark. Melainkan vLLM dan llama.cpp yang menggabungkan pull request Dory mereka. Begitu Dory dimuat dari biner yang telah dirilis, argumen hambatan yang saat ini menguntungkan MiniCPM5-2B sebagian besar hilang, dan kedua model akhirnya bersaing berdasarkan ketentuan yang tersirat dalam tabel benchmark, bukan berdasarkan ketentuan yang dipaksakan oleh sistem build Anda.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.