Nemotron 3.5 Super di Ollama: Model Visi 120B yang Bisa Anda Jalankan Sebelum NVIDIA Mengumumkannya

Selama sekitar dua puluh jam, jalur lokal menuju NVIDIA Nemotron 3.5 Super sudah ada sebelum pengumuman bahwa hal itu ada. Ollama menerbitkan checkpoint tersebut ke pustakanya pada 14 Oktober 2026 dalam rilis v0.40.5, yang menyertakan pembaruan llama.cpp yang menambahkan dukungan Nemotron 3.5 dan mendorong sembilan tag dari model visi-bahasa dengan 120 miliar parameter — ollama run nemotron-3.5-super dan Anda menjalankannya. Postingan newsroom NVIDIA sendiri untuk bobot yang sama, diterbitkan dengan nama yang lebih lengkap NVIDIA Nemotron 3.5 Super VL, tayang pada sore berikutnya, 15 Oktober, pukul 15:00 UTC. Bobot itu sendiri telah berada di Hugging Face sejak 12 Oktober, dalam repositori bernama NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, di mana bidang tanggal rilis pada kartu modelnya sendiri sudah tertulis 10/15/2026.

Tidak ada dari semua itu yang merupakan skandal. Itulah bentuk normal dari rilis open-weight sekarang: artefaknya tiba, framework-framework berlomba untuk mendukungnya, dan pemasarannya menyusul. Tetapi ini mengubah alasan listing Ollama layak dibaca. Yang hadir pada 14 Oktober bukanlah pengumuman produk dengan runtime yang dilampirkan — melainkan runtime dengan produk yang dilampirkan, dan kedua dokumen itu tidak sepakat tentang beberapa hal yang penting jika Anda akan menghabiskan 90 GB disk untuknya.

Apa yang sebenarnya dirilis v0.40.5

Catatan rilis Ollama ini luar biasa spesifik, dan itu memudahkan. Catatan itu menjelaskan Nemotron 3.5 Super sebagai model visi-bahasa untuk coding, penalaran, penggunaan alat, dan pemahaman dokumen, dibangun di atas tulang punggung mixture-of-experts hibrida Mamba-2/Transformer dengan 12B parameter aktif per token dari total 120B, dipasangkan dengan encoder visi C-RADIO. Model ini mengiklankan pemanggilan alat, mode berpikir on/off, dan konteks hingga 1M token. Dua baris yang paling penting bagi siapa pun yang sudah menjalankan Ollama terkubur lebih bawah: llama.cpp yang diperbarui (menambahkan dukungan Nemotron 3.5) dan MLX.

Baris tunggal itu adalah seluruh alasan pull ini berhasil. Ollama merutekan checkpoint ini melalui llamacpp runner dalam format GGUF — manifes registri menyatakannya secara eksplisit — jadi "Ollama mendukung Nemotron 3.5 Super" dan "llama.cpp mendukung Nemotron 3.5 Super" adalah kalimat yang sama. Jika Anda menggunakan Ollama versi apa pun yang lebih lama dari 0.40.5, Anda tidak didukung. Blob konfigurasi model memuat "requires":"0.40.5", sehingga gerbang versi ditegakkan, bukan sekadar disarankan.

Catatan rilis yang sama juga menyebutkan kerabatnya, Nemotron 3.5 Bolt, yang mendistilasi Super menjadi 74B parameter dengan 9B aktif dan, menurut catatan itu, disetel agar pas untuk GPU NVIDIA 24 GB dengan speculative decoding melalui drafter yang disertakan. Yang itu adalah pull yang berbeda dan tingkat perangkat keras yang berbeda; pisahkanlah dalam pikiran Anda, karena penamaannya mengundang kebingungan.

Sembilan artefak, dan berapa berat masing-masing sebenarnya

Halaman library menampilkan tangga ukuran. Manifes registry di baliknya menampilkan jumlah byte sebenarnya, dan keduanya tidak membulatkan dengan cara yang sama, jadi berikut angka dari manifes itu sendiri, bukan dari badge yang dibulatkan:

• q4_K_M — 88.419.818.592 byte, atau 82,3 GiB (halaman library menampilkan 80GB–90GB). Nama tag :latest, :120b, :120b-a12b dan :120b-a12b-q4_K_M semuanya mengarah ke layer yang sama ini, jadi empat dari sembilan entri adalah satu artefak yang menyandang empat nama.

• q8_0 — 131.601.243.232 byte, 122,6 GiB, ditampilkan sebagai 133GB.

• bf16 — 247.403.355.232 byte, 230,4 GiB, ditampilkan sebagai 249GB. Ini adalah checkpoint presisi penuh dalam balutan GGUF, dan ini satu-satunya tag di sini yang sama sekali tidak dekat dengan perangkat keras konsumen.

• MLX nvfp4 — total 79,56 GB, yang terkecil dari kumpulan ini, dan NVFP4 adalah format yang dikirimkan kartu NVIDIA sendiri sebagai checkpoint kelas satu, bukan kuantisasi aftermarket.

• MLX mxfp8 — total 129,60 GB, padanan MLX dengan ukuran sekitar q8_0.

• MLX bf16 — 248,92 GB total, sedikit lebih besar daripada GGUF bf16 karena MLX menyimpan tensor dengan cara berbeda.

• Proyektor — setiap tag, tanpa pengecualian, membawa berkas berukuran 1.733.696.896 byte bernama mmproj-bf16.gguf yang merupakan lapisan media. Itu adalah 1,61 GiB encoder visi yang ikut serta dalam setiap unduhan, termasuk yang paling kecil. Jalur gambar tidak opsional dan bukan penarikan terpisah.

Tiga dari sembilan entri — yang MLX — diberi tag untuk Apple silicon, bukan CUDA, dan masing-masing hanya diberi label "MLX" di halaman pustaka. Jika Anda memilih tag di Mac, nvfp4 pada 79,56 GB adalah yang muat di mesin memori terpadu 96 GB atau 128 GB dengan sisa ruang, dan mxfp8 pada 129,60 GB sama sekali tidak muat di mesin 128 GB setelah memperhitungkan KV cache.

Halaman library dan manifes tidak sepakat tentang panjang konteks.

Tag GGUF mencantumkan jendela konteks 1M token. Tiga tag MLX tidak mencantumkan apa pun — kolomnya terbaca "- context window" sementara yang lain terbaca "1M". Entah jalur MLX belum disiapkan untuk konfigurasi konteks panjang atau halaman itu memang belum diisi, tetapi dari luar keduanya tidak dapat dibedakan, dan posisi yang jujur adalah bahwa klaim konteks panjang terverifikasi untuk tag GGUF dan belum terverifikasi untuk tag MLX.

Ada celah kedua di arah yang sama. Blob konfigurasi untuk tag default mendeklarasikan "model_type":"123.6B" sementara setiap penamaan yang ditujukan untuk manusia menyebut 120B. Itu bukan perbedaan pada bobot; itu perbedaan dalam cara jumlah parameter dibulatkan antara kedua sistem, dan penting untuk mengetahui angka mana yang dikutip oleh alat tertentu kepada Anda.

Dan yang ketiga, yang paling mungkin menimbulkan masalah: blob params dikirimkan {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Nilai sampling tersebut adalah pengaturan yang direkomendasikan kartu model — untuk teks. Kartu tersebut merekomendasikan pasangan yang berbeda untuk pekerjaan visi, temperature 0.6 dengan top_p 0.95. Jadi default Ollama disetel untuk bagian teks dari model yang diiklankan Ollama sebagai model visi. Jika pengalaman pertama Anda dengannya pada grafik atau halaman hasil pindai mengecewakan, itu adalah kenop pertama yang harus diputar, sebelum Anda menyimpulkan apa pun tentang checkpoint.

Bidang draft_num_predict: 3 layak mendapat satu barisnya sendiri. Ini adalah parameter speculative-decoding, dan manifest tidak membawa lapisan model draft terpisah — hanya GGUF model dan proyektor. Jadi, spekulasi apa pun yang dilakukan runtime menggunakan head prediksi multi-token bawaan model, bukan drafter LiLiCorr mandiri yang menurut kartu NVIDIA dikirim bersama checkpoint BF16 dan NVFP4. Itu pilihan rekayasa yang wajar dan juga berarti jalur Ollama bukan konfigurasi persis yang digambarkan oleh angka throughput vendor.

Apa yang diam-diam disampaikan blob config kepada Anda

Empat field dalam konfigurasi manifest lebih informatif daripada yang disarankan oleh ukurannya.

• model_family: nemotron_h_moe — string keluarga bukan sekadar nemotron. Apa pun di stack Anda yang beralih berdasarkan keluarga model untuk memilih templat chat atau tokenizer tidak akan cocok pada prefiks naif.

• perender: nemotron-3.5-super — perender khusus, jadi templat obrolan ini benar-benar milik model ini dan bukan bawaan yang diwarisi.

• parser: nemotron-3-nano — dan di sini parser dipinjam dari saudara Nano yang lebih kecil. Format keluaran mode berpikir dan pemanggilan alat ternyata cukup stabil di seluruh keluarga sehingga tidak memerlukan parser baru. Ini juga berarti jika Anda sudah membangun penanganan pemanggilan alat untuk Nemotron 3 Nano, kemungkinan besar ini akan berfungsi tanpa perubahan di sini.

• file_type: Q4_K_M — tag bawaannya adalah kuantisasi 4-bit, dan itulah konfigurasi yang akan menjadi acuan sebagian besar orang dalam menilai model ini.

Lapisan lisensi adalah blob berukuran 2.618 byte yang memuat Perjanjian Lisensi OpenMDW versi 1.1, yaitu lisensi yang sama yang disebutkan kartu Hugging Face sebagai openmdw-1.1. Bersifat permisif, penggunaan komersial diizinkan, dan layak dibaca sebelum Anda menganggapnya Apache-2.0 hanya karena sebagian besar ekosistem Ollama di sekitarnya memang demikian.

Benchmark: satu set milik vendor, yang lain bukan

Tabel yang diterbitkan NVIDIA sendiri sangat luas dan sepenuhnya dilaporkan sendiri. Di dalamnya, model ini mencatat 89,52 pada GPQA-Diamond, 31,79 pada Humanity's Last Exam text-only, 76,91 pada MMLU-ProX, 88,22 pada LiveCodeBench v6, 71,10 pada SWE-bench Verified, 67,72 pada SWE-bench Multilingual, 51,78 pada SWE-bench Pro, 66,70 pada Terminal-Bench 2.1, 70,86 pada IFBench, 62,82 pada MMLongBench-Doc, 78,16 pada MathVision dan 68,12 pada OCRBench v2 bahasa Inggris dibandingkan 59,15 bahasa Tionghoa. Baris agentiknya kuat: 69,24 retail, 76,50 airline dan 73,19 telecom pada tau2-bench. Perusahaan juga mengklaim bahwa pada papan peringkat Artificial Analysis Intelligence Index, model ini mencapai throughput hingga 5x lebih cepat daripada model lain di kelasnya, dan bahwa menjalankannya di NVIDIA Dynamo memungkinkan organisasi melayani hingga 8x lebih banyak pengguna dengan latensi 85% lebih rendah. Itu adalah angka vendor, yang dihasilkan oleh vendor, di infrastruktur vendor — perlakukan sebagai spesifikasi, bukan audit.

Gambaran independen ini lebih tipis tetapi lebih berguna, justru karena lebih tipis. Artificial Analysis saat ini menempatkan checkpoint ini pada Intelligence Index 26, yang digambarkannya sebagai jauh di atas median 8 untuk model open-weight berukuran serupa — selisih yang nyata, dan bermakna jika Anda selama ini mengasumsikan model terbuka 120B dari vendor perangkat keras berada di sekitar pertengahan bidang. Halaman yang sama mencatat 170M token output yang dikonsumsi saat menjalankan Index, dibandingkan dengan median 100M, yang ditafsirkannya sebagai "agak bertele-tele": ini adalah model penalaran dengan mode berpikir diperpanjang, dan verbositas adalah pos biaya, bukan catatan kaki. Ini mengonfirmasi konteks 1.0M, total 120B dengan 12B aktif, input gambar dengan output teks, dan lisensi OpenMDW-1.1.

Satu hal yang tidak dapat diberitahukan halaman itu kepada Anda adalah berapa biayanya per token, karena tidak ada harga hosting yang dapat dikutip. Jawaban Artificial Analysis sendiri tentang apakah model ini tersedia melalui API adalah bahwa ini adalah model open-weight yang dapat dihosting sendiri. Itulah keseluruhan cerita ekonominya dalam satu kalimat: biaya marginal Anda adalah listrik dan jam GPU, dan biaya tetap Anda adalah unduhannya.

Apa yang dibutuhkan untuk benar-benar menjalankannya.

Kartu model merekomendasikan empat H100 atau dua GB200 untuk checkpoint yang dirilis, dengan resep vLLM yang menetapkan paralelisme tensor 4 dan konfigurasi spekulatif dari metode mtp. Itu jawaban pusat data dan ditujukan untuk BF16. Pertanyaan menarik bagi siapa pun yang membaca daftar Ollama adalah ujung lain dari tangga.

Pada q4_K_M, 82,3 GiB bobot ditambah 1,61 GiB proyektor menempatkan model di dalam satu kartu 96 GB atau Mac dengan memori terpadu 128 GB, dengan ruang sisa cache KV yang menyusut cepat saat Anda menaikkan konteks. Pada 1 juta token yang diiklankan, cache tidak akan muat berdampingan dengan bobot pada kelas perangkat keras itu, apa pun yang tertulis di lencananya — konteks panjang di satu mesin berarti menukar konkurensi, bukan membukanya secara gratis. Rencanakan konteks kerja yang jauh di bawah plafon dan anggap angka 1 juta itu sebagai batas arsitektur, bukan batas deployment Anda.

Tag MLX nvfp4pada 79,56 GB adalah pilihan pragmatis untuk Apple silicon, dan ini juga format yang dikirim vendor secara native, sehingga dari tag-tag kecil, inilah yang paling kecil kemungkinannya mengejutkan Anda dari segi kualitas.

Di mana ini cocok jika Anda melakukan routing alih-alih self-hosting

NVIDIA Nemotron 3.5 Super tersedia melalui build dan saluran distribusi milik vendor sendiri serta melalui pull Ollama yang dijelaskan di atas. Model ini tidak ada di OrcaRouter — kami merutekan sedikit lebih dari 200 model dan ini bukan salah satunya — jadi jika Anda secara khusus membutuhkan checkpoint ini, pull lokal adalah jalur Anda dan tidak ada apa pun dalam artikel ini yang menyarankan bahwa Anda dapat memanggilnya dengan key kami.

Yang sebenarnya menjadi tujuan platform ini di sini adalah keputusan di sekitarnya. Mengevaluasi model seperti ini memiliki biaya tetap yang tidak dapat dihilangkan oleh tabel benchmark mana pun: unduhan 90 GB, satu malam untuk konfigurasi, dan serangkaian prompt Anda sendiri sebelum Anda mengetahui apa pun. Langkah pertama yang lebih murah adalah menjalankan beban kerja aktual Anda terhadap model terkelola yang sudah dapat Anda akses — satu API di lebih dari 200 model, dengan harga daftar penyedia diteruskan tanpa markup per token, sehingga penurunan harga dari vendor langsung aktif di sisi kami pada hari yang sama — dan biarkan itu memberi tahu Anda apakah beban kerja tersebut merupakan beban kerja yang dapat ditingkatkan sama sekali oleh model penalaran 120B. Kemudian gunakan unduhan itu untuk kasus-kasus yang bertahan.

Dan jika Anda memang menempatkan model terbuka yang baru dirilis ke jalur produksi sebelum Anda memercayainya, failover otomatis lebih penting daripada harganya. Model yang dirilis pada 14 Oktober baru saja mendapat perhatian dunia selama dua hari; merutekannya di balik fallback adalah cara Anda memperoleh keunggulannya tanpa mempertaruhkan jalur permintaan padanya.

Ringkasan jujur tentang apa yang sudah dan belum dikonfirmasi.

Terkonfirmasi, langsung dari registri dan catatan rilis: tag, digest-nya, jumlah byte-nya, versi minimum 0.40.5, format GGUF melalui llamacpp runner, proyektor visi bersama, string keluarga model, renderer, parser Nano yang diwarisi, dan lisensi OpenMDW-1.1. Terkonfirmasi dari ruang berita dan kartu model NVIDIA sendiri: arsitektur, pembagian parameter, lisensi, pengaturan sampling yang direkomendasikan, skala pelatihan — sekitar 26 triliun token selama pra-pelatihan dan pra-pelatihan lanjutan, lalu pasca-pelatihan pada sekitar 3,8 juta sampel dengan pembelajaran penguatan di puluhan lingkungan — dan cakupan bahasa Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang.

Tidak dikonfirmasi: setiap angka benchmark, yang dilaporkan vendor, dengan Indeks 26 dari Artificial Analysis dan verbositas 170M-token sebagai satu-satunya pengukuran independen dalam artikel ini. Tidak dikonfirmasi: bahwa tag MLX mendukung panjang konteks yang diiklankan, karena halaman library tidak mengklaimnya untuk tag tersebut. Tidak dikonfirmasi: bahwa jalur visi sudah disetel agar langsung siap pakai, karena default sampling yang dikirimkan adalah default untuk teks. Dan tidak dikonfirmasi: bagaimana kuantisasi 4-bit mengubah skor yang dipublikasikan, yakni angka yang paling diperhatikan oleh sebagian besar pembaca listing Ollama dan angka yang belum dipublikasikan oleh siapa pun.

Jika Anda memiliki kartu 96 GB, alasan untuk menginginkan model visi-bahasa terbuka dengan tulang punggung 120B yang benar-benar asli, dan tidak keberatan dengan ketergantungan minggu pertama, ini adalah hal terkuat di kelas bobotnya yang muncul bulan ini dan pull-nya sepele. Jika Anda memerlukan konfigurasi persis yang di-benchmark NVIDIA, atau Anda memerlukan visi agar berfungsi pada percobaan pertama, atau Anda tidak sanggup menghabiskan satu malam untuk mencari tahu dokumen mana di antara kedua dokumen itu yang otoritatif — tunggu evaluasi kuantisasi dan laporan komunitas. Bobotnya berumur empat hari dan dukungan runtime-nya baru dua hari.