NVIDIA Nemotron Labs Dory 1.0 4B Hadir di Hugging Face dengan Empat Checkpoint dan Tanpa Pengumuman

NVIDIA Nemotron Labs Dory 1.0 4B sudah ada di Hugging Face saat ini, dalam empat kuantisasi, dan NVIDIA belum mengatakan sepatah kata pun tentangnya. Checkpoint nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 diunggah dengan kartu model yang mencap build tersebut "GA (10/16/2026)"; tiga saudaranya — NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16, NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 dan NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — dipublikasikan dalam jendela 36 menit yang sama di kedua sisi tengah malam UTC pada 16–17 Oktober 2026. Tidak ada kiriman yang bersesuaian di blog pengembang NVIDIA, tidak ada entri di halaman landing riset Nemotron, dan tidak ada rujukan ke model bernama Dory di mana pun di kedua halaman itu. Kartunya sendiri luar biasa lengkap — tabel benchmark penuh, instruksi penyajian untuk dua mesin, sebuah checksum — tetapi perancah pemasaran di sekitarnya, hal yang biasanya memberi tahu Anda bahwa sebuah model ada, sepenuhnya absen.

Jadi, penting untuk bersikap tepat tentang apa yang boleh dan tidak boleh Anda katakan berdasarkan hal itu. Apa yang dapat diketahui: bobotnya ada, dapat diunduh, lisensinya dinyatakan, arsitekturnya dijelaskan dengan cukup rinci untuk direproduksi, dan vendor menerbitkan angka-angkanya sendiri disertai catatan bahwa mereka mengukurnya sendiri. Apa yang belum dikonfirmasi: apakah ini awal dari keluarga N​emotron Labs atau eksperimen sekali jalan, apakah akan ada makalah atau postingan blog, dan apakah angka-angka itu tetap terbukti benar di bawah harness orang lain. N​VIDIA tidak membingkai ini sebagai peluncuran, begitu pula tulisan ini. Ini adalah pembacaan atas sebuah repositori yang muncul dalam semalam.

Apa yang sebenarnya ada di dalam repositori

Artefaknya adalah empat checkpoint dan satu kartu model. Kartu itu adalah dokumen substantif, dan dari sanalah hampir semua hal di bawah ini berasal.

• Format — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16), dan ekspor Q5_K_M GGUF untuk llama.cpp. Checkpoint MXFP8 menjadi subjek tulisan ini hanya karena itulah yang membawa id repositori kanonis; tolok ukur di kartu diukur pada BF16.

• Ukuran dan bentuk — total 4B parameter, sebuah tumpukan padat alih-alih campuran pakar, terbagi menjadi blok masukan 8 lapis, blok rekuren 20 lapis, dan blok keluaran 8 lapis.

• Konteks — hingga 256K token, dengan 262.144 posisi yang divalidasi di vLLM di bawah perintah peluncuran yang disertakan NVIDIA pada kartu.

• Lisensi — OpenMDW 1.1, lisensi model yang permisif dan dapat didistribusikan ulang dengan teks yang ditautkan dari kartu. Kartu tersebut menyatakan secara jelas bahwa model tersebut "siap untuk penggunaan komersial atau non-komersial".

• Bahasa — hanya bahasa Inggris, meskipun data pra-pelatihan mencakup 43 bahasa pemrograman.

• Anggaran pelatihan — 6 triliun token pra-pelatihan, yang mana kira-kira 4,5 triliun pertama dijalankan secara native dalam NVFP4 sebelum sisanya beralih ke BF16, diikuti fase perluasan konteks 300 miliar token. Data mencakup 2013 hingga Desember 2025. Pasca-pelatihan adalah fine-tuning terawasi pada kumpulan yang dikurasi NVIDIA, lalu pembelajaran penguatan multi-lingkungan dengan GRPO.

• Aktivitas repositori — delapan commit di `main` dan dua kontributor pada saat penulisan, yang terbaru di antaranya adalah suntingan README. Yang pertama, "Upload Dory 4B MXFP8 checkpoint and tokenizer", baru berumur beberapa jam. Ini bukan repositori yang telah berdiam diri di hadapan publik selama berbulan-bulan dan baru saja diperhatikan; repositori ini baru diisi hari ini.

Satu detail yang benar pada kartu ini dan tidak pada sebagian besar kartu: kartu ini mencantumkan ukuran byte yang tepat dan SHA-256 dari ekspor GGUF sehingga Anda dapat memverifikasi apa yang Anda unduh. 3.673.288.864 byte, dengan hash yang tercetak dalam petunjuk menjalankan.

Arsitekturnya adalah satu-satunya alasan untuk peduli

Kesampingkan tabel benchmark, fakta menarik tentang NVIDIA Nemotron Labs Dory 1.0 4B adalah bahwa model ini bukan satu model tetap. Ini adalah jaringan yang di-loop, atau latent-recurrent: blok rekuren 20 lapis diterapkan berulang kali di antara blok input dan output, dan input disuntikkan kembali pada setiap loop. Checkpoint yang sama karena itu berperilaku berbeda bergantung pada berapa banyak loop yang Anda minta, dan Anda memilihnya pada waktu serving, bukan pada waktu training.

Tiga konsekuensi menyusul, semuanya berasal dari kartu model, bukan dari pengujian siapa pun:

• Komputasi inferensi elastis — satu file bobot melayani beberapa anggaran komputasi. Jumlah loop 1 untuk latensi, 2 sebagai default yang direkomendasikan, 4 saat akurasi pada tugas agentik lebih penting daripada token per detik. Tanpa pelatihan ulang, tanpa checkpoint kedua untuk diunduh dan dijaga tetap sinkron.

• Efisiensi token — NVIDIA mengklaim komputasi tambahan per token masuk ke penalaran laten, bukan ke rantai pemikiran yang terlihat lebih panjang, sehingga jumlah loop yang lebih tinggi dapat menghasilkan lebih sedikit token output untuk tugas yang sama. Kartu ini menyertakan bagan faktor token output untuk mendukung argumen itu. Klaim tersebut memiliki konsekuensi biaya langsung, dan itulah alasan klaim itu layak ditandai, bukan diabaikan.

• Perulangan yang hemat memori — inilah yang menjawab keberatan yang jelas. Perulangan standar menyimpan cache KV terpisah per loop, sehingga memori bertambah dengan setiap pass tambahan. Dory mendukung mode caching KV loop terakhir yang menyimpan satu cache per lapisan attention rekuren dan menimpanya setiap pass, menjaga jejak memori tetap sekitar ukuran satu loop tidak peduli berapa banyak loop yang Anda jalankan. NVIDIA menyatakan akurasi dengan caching loop terakhir tetap mendekati caching per loop dengan panjang output yang hampir tidak berubah, dan menggambarkannya sebagai hasil eksperimennya sendiri.

Tumpukan atensinya hibrida: lapisan sliding-window dan full-attention yang diselang-seling, pola umum yang sama yang telah menjadi titik konvergensi generasi 2026 model kecil berkonteks panjang. Tidak ada satu pun dari ini yang eksotis dengan sendirinya. Yang lebih jarang adalah menyertakan jumlah loop sebagai knob deployment pada model 4B dengan jendela 256K.

Tabel benchmark, dibaca sebagai tabel vendor

Setiap angka di sini dihasilkan oleh N​VIDIA berdasarkan apa yang disebut oleh kartu tersebut sebagai "harness yang konsisten (NeMo Gym / Nemo Evaluator SDK)". Tidak ada pihak luar yang mereproduksi satu pun darinya, model ini baru berusia sekitar satu hari, dan penghitung unduhan di keempat repositori menunjukkan angka nol. Anggap angka-angka itu sebagai klaim tentang arah, bukan sebagai papan skor.

Kumpulan pembanding yang dipilih N​VIDIA itu sendiri sudah mengungkap banyak hal: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B dan Qwen3.6-35B-A3B. Menariknya, dua pembanding kelas 4B berasal dari generasi Q​wen sebelumnya, dan setiap pembanding lainnya jauh lebih besar. Bacalah pada ketiga pengaturan loop:

• SWE-bench Verified — 50,3 pada satu loop, 59,5 pada dua, 61,8 pada empat, dibandingkan dengan 54,7 untuk Qwen3.5-4B, 61,0 untuk Qwen3.5-9B, 57,40 untuk Gemma 4 26B A4B dan 73,4 untuk Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 versus 15, 24, 35 dan 43. Ini adalah baris di mana looping memberikan keuntungan paling besar dan di mana Dory masih paling jauh tertinggal dari yang lain.

• τ³-bench (Perbankan) — 11,6 / 12,89 / 14,69 dibandingkan dengan 5,03 untuk Qwen3.5-4B, 7,22 untuk Qwen3.5-9B, 13,66 untuk Gemma 4 26B A4B dan 9,54 untuk Qwen3.6-35B-A3B. Dory unggul jauh atas model Q​wen 4B dan 9B di sini.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 dibandingkan dengan 424, 546, 751.6, dan 987. Lompatan dari satu loop ke dua loop adalah 131 poin Elo, yang merupakan pergerakan antar-loop terbesar di seluruh tabel.

• GPQA Diamond, tanpa alat — 69.19 / 72.41 / 72.16 dibandingkan dengan 77.71, 80.93, 80.43 dan 85.35. Dory kalah dalam hal ini dari setiap pembanding, termasuk Qwen 4B.

• HLE, hanya teks, tanpa alat — 8,25 / 10,89 / 10,43 dibandingkan dengan 11,31, 15,43, 17,79 dan 19,18. Cerita yang sama.

• IFBench — 74.29 / 77.94 / 79 dibandingkan dengan 53.83, 59, 77.89, dan 57.44. Kemampuan mengikuti instruksi adalah hasil relatif terkuat Dory; pada empat loop, ini sedikit lebih unggul dari Gemma 4 26B.

• AA-LCR — 63 / 71 / 73 dibandingkan dengan 64.7, 68.4, 64.6, dan 68.5. Pengambilan konteks panjang meningkat secara signifikan dengan loop dan akhirnya unggul dari keempat pembanding.

• AA-Omniscience (akurasi) — 10,03 / 10,08 / 10,03 dibandingkan dengan 15,02; 18,05; 21,13; dan 19,95. Looping pada dasarnya tidak berpengaruh apa pun terhadap pengetahuan yang tersimpan, yang merupakan hasil yang diharapkan dan pemeriksaan kewajaran yang berguna untuk bagian tabel lainnya.

Bentuk polanya yang penting. Perulangan memberi manfaat paling besar pada tugas agentik dan penggunaan alat, paling sedikit pada daya ingat ensiklopedis, dan perulangan kedua jauh lebih bernilai daripada perulangan ketiga dan keempat di mana pun. Itu konsisten dengan rekomendasi kartu itu sendiri untuk secara default menggunakan dua perulangan.

Empat peringatan yang berada di dalam catatan kaki N​VIDIA sendiri

Di sinilah kartunya lebih jujur daripada kebanyakan, dan di sinilah pembaca yang sekadar menyimak tabel akan tersesat.

• Angka AA bukan angka Artificial Analysis. Perbandingan N​VIDIA terhadap indeks skor AA secara eksplisit dilabeli sebagai "estimasi internal yang dihitung dengan perangkat evaluasi yang konsisten" yang "mungkin menyimpang dari skor resmi Artificial Analysis (AA)". Ini adalah pengukuran internal yang sebanding secara langsung, bukan peringkat eksternal.

• Kolom konteks panjang menggunakan pengaturan hibrida. Untuk AA-LCR, kartu tersebut menyatakan bahwa ia menggunakan kunci jawaban yang dikoreksi dari AA-LCR v1.1 tetapi mempertahankan model penilai yang lebih lama, bukan yang lebih baru. Mencampurkan kumpulan kunci yang dikoreksi dengan penilai yang lebih lama membuat kolom itu sebanding dengan baris N​VIDIA lainnya dan belum tentu sebanding dengan milik pihak lain.

• Jumlah pengulangannya tidak konsisten. SciCode dijalankan delapan kali, AA-LCR enam belas kali, AA-Omniscience sepuluh kali, GDP.pdf lima kali, dan HLE, Terminal-Bench 4.0 serta varian GDPval-AA dijalankan sekali. Satu kali pengujian pada benchmark dengan variansi yang berarti hanyalah estimasi titik, bukan skor.

Satu baris dalam tabel ditandai dengan belati sebagai angka yang dilaporkan, bukan yang diukur — 73,4 milik Qwen3.6-35B-A3B pada SWE-bench Verified. Yang berarti, angka yang tampak paling besar di papan itu adalah angka yang tidak dijalankan sendiri oleh N​VIDIA.

Tidak ada dari semua ini yang membuat tabel itu salah. Semua ini menjadikannya cuplikan internal satu lab, dan pembacaan yang jujur adalah bahwa Dory tampak benar-benar kompetitif dengan model 4B dan 9B dari generasi Qwen sebelumnya pada tugas agentik, tetapi tetap tertinggal dari model 26B dan 35B yang ditempatkan di sebelahnya.

Apa yang dapat Anda jalankan hari ini, dan apa yang tidak bisa

Tidak ada endpoint yang dihosting untuk model ini yang dapat kami verifikasi, dari N​VIDIA atau pihak lain. Dory hanya berupa bobot, dan kedua jalur penyajian di kartu tersebut sama-sama memerlukan pembangunan dari pull request yang belum di-merge:

• vLLM — dukungannya "sedang ditinjau" di pull request 60149. Sampai ini masuk ke sebuah rilis, Anda memasang vLLM dari branch tersebut, lalu menyajikannya dengan override yang mengatur jumlah loop dan mode KV-cache. Kartu itu mencatat bahwa flag lingkungan kernel terkompilasi awal menghindari build CUDA lokal.

• llama.cpp — dukungannya ada di pull request 30306, dan kartu tersebut menyematkan revisi tertentu alih-alih head PR yang bergerak, yang merupakan naluri yang tepat untuk penyiapan referensi. Instruksi ini menyasar macOS ARM64 native pada Apple Silicon, dan jalur GGUF mengharapkan ekspor Q5_K_M pada ukuran byte yang tercetak di atas.

Tidak ada apa pun di kartu yang menunjukkan bahwa salah satu proyek telah digabungkan, dan tidak ada entri di catatan rilis kedua engine yang menunjukkan sebaliknya. Jika Anda ingin menjalankan Dory minggu ini, Anda sedang membangun dari sebuah PR.

Catatan perangkat keras yang layak disimpan: N​VIDIA menguji pada H100, B200, B300 dan DGX Spark, dan satu-satunya angka kecepatan yang dipublikasikan adalah percepatan kuantisasi pada Spark, bukan angka throughput. Pada perangkat itu, MXFP8 menunjukkan 1,69× dan 1,84× dibandingkan BF16 bergantung pada campuran panjang input/output, dan NVFP4 mencapai 2,17× dan 2,44×. Sampling yang direkomendasikan adalah temperature 1,0 dengan top-p 0,95, dan reasoning selalu aktif di jalur vLLM.

Mengapa rilis 4B yang senyap tetap layak menyita waktu sore Anda

Hal yang menarik tentang model yang hadir tanpa peluncuran adalah klaimnya dapat diperiksa dengan cara yang tidak bisa dilakukan oleh klaim peluncuran. Tidak ada keynote yang menegaskan kemenangan kategori; yang ada adalah kartu yang menegaskan mekanisme spesifik yang dapat difalsifikasi — bahwa satu checkpoint 4B menskalakan akurasinya sendiri dengan komputasi pada waktu inferensi. Anda dapat mengujinya di satu GPU dengan flag loop-count, dan jawabannya entah terlihat dalam eval Anda sendiri atau tidak.

Itu juga situasi yang menjadi alasan lapisan routing dibangun, dan ada baiknya kita bersikap tepat tentang apa yang kami lakukan di sini daripada hanya mengisyaratkannya. OrcaRouter tidak menyajikan N​VIDIA N​emotron Labs Dory 1.0 4B — model tersebut tidak ada di katalog kami dan tidak ada endpoint terkelola untuknya di mana pun yang dapat kami pastikan. Yang diberikan satu kunci kepada Anda adalah separuh lain dari perbandingan: model-model terkelola yang akan Anda jadikan tolok ukur untuk 4B yang di-host sendiri dapat dijangkau melalui satu API pada harga daftar penyedia dengan markup 0%, sehingga eksperimen yang di-host sendiri tidak memerlukan kontrak kedua atau SDK kedua. Failover otomatis mencakup jendela saat kumpulan GPU Anda sendiri jenuh, dan DSL routing memungkinkan panggilan yang di-host sendiri berada di samping panggilan terkelola di belakang satu endpoint. Jika Anda menguji apakah kedalaman elastis sepadan dengan kompleksitas operasional, setidaknya kelompok kontrolnya hanya berjarak satu kunci.

Apa yang akan mengubah ini menjadi cerita nyata?

Tiga hal, belum ada satu pun.

Pertama, sebuah pengumuman. Kartu itu bertanggal 16 Oktober dan repositori-repositori diisi dalam semalam; feed pengembang NVIDIA menayangkan pos Nemotron pada 15 Oktober yang sama sekali membahas model berbeda. Posting blog, makalah, atau halaman keluarga Nemotron Labs bisa muncul kapan saja, dan kemungkinan besar akan memuat detail pelatihan serta peran yang dimaksudkan model yang masih implisit dalam kartu tersebut.

Kedua, dukungan engine. Baik vLLM maupun llama.cpp saat ini berada di pull request yang belum di-merge. Begitu salah satunya di-merge, "Anda dapat menjalankannya" tidak lagi berarti "Anda dapat membangunnya dari sebuah branch".

Ketiga, dan yang paling berharga, evaluasi independen. Klaim yang paling layak direproduksi adalah klaim yang disorot vendor: pergerakan SWE-bench dan Terminal-Bench di berbagai jumlah loop, serta pernyataan bahwa caching KV loop terakhir mempertahankan akurasi. Keduanya dapat diuji dengan perkakas yang telah dipublikasikan, dan tidak satu pun telah diuji oleh siapa pun di luar N​VIDIA.

Ringkasan yang akurat hari ini adalah ini: bobot asli dalam empat format, lisensi permisif, arsitektur yang benar-benar tidak biasa, jalur serving yang hanya ada sebagai dua pull request terbuka, dan lembar benchmark yang merupakan harness milik satu lab sendiri dengan peringatan yang tercetak di catatan kakinya sendiri. Ini adalah model 4B paling menarik yang diterbitkan N​VIDIA tahun ini dan perusahaan itu belum memutuskan untuk memberi tahu siapa pun tentangnya.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.