Nemotron 3.5 Super vs DeepSeek V4 Pro: tabel benchmark yang tidak diterbitkan NVIDIA

Buka kartu model NVIDIA untuk NVIDIA Nemotron 3.5 Super VL — checkpoint terbuka 120 miliar parameter yang juga dicantumkan vendor sebagai NVIDIA Nemotron 3.5 Super dan yang disediakan Ollama sebagai nemotron-3.5-super — lalu gulir ke tabel evaluasi. Anda akan menemukan sekitar empat puluh benchmark dan tujuh kolom baseline. Salah satu kolom tersebut adalah DeepSeek: kolom itu diberi label DeepSeek-V4-Flash0731. Tier murah DeepSeek sendiri. DeepSeek V4 Pro, produk andalan berparameter 1,6 triliun yang menggantikan pratinjau April dalam revisi 0813, tidak muncul di mana pun dalam tabel.

Ketiadaan itu adalah fakta yang paling berguna dalam perbandingan ini, dan itu bukan kelalaian. V4 Pro mengaktifkan 49 miliar parameter per token. Menempatkannya dalam tabel yang sama dengan model dengan 12 miliar parameter aktif akan menghasilkan serangkaian angka yang tidak menguntungkan siapa pun dan tidak memberi informasi kepada siapa pun, karena kedua model itu bukan produk yang sama. Yang dilakukan vendor sebagai gantinya adalah versi jujur dari latihan ini: lakukan benchmark terhadap tingkat yang sebenarnya ingin Anda gantikan.

Jadi halaman ini melakukan dua hal. Halaman ini mengulas perbandingan yang diterbitkan NVIDIA — Nemotron 3.5 Super versus tier flash DeepSeek — lalu secara eksplisit, di bagian-bagian di mana kedua model benar-benar bersaing, menjelaskan apa yang dapat dan tidak dapat disimpulkan tentang model flagship tersebut.

Kedua artefak itu, berdampingan

• Parameter total dan aktif — Nemotron 3.5 Super VL 120B total dengan 12B aktif per token, 512 expert yang dirutekan per lapisan MoE, hibrida Mamba-2 dan Transformer · DeepSeek V4 Pro 1.6T total dengan 49B aktif, hanya teks.

• Konteks dan batas keluaran — 1,048,576 token konteks untuk Super VL tanpa batas keluaran yang dipublikasikan · 1,048,576 token konteks untuk V4 Pro dengan 384.000 token keluaran maksimum.

• Modalitas — teks, gambar, dan video masuk dengan teks keluar, melalui encoder visi C-RADIO dan konektor visi-bahasa · teks masuk, teks keluar. Tidak ada jalur gambar sama sekali.

• Bobot dan lisensi — OpenMDW-1.1 pada checkpoint NVIDIA, penggunaan komersial diizinkan · DeepSeek menerbitkan bobotnya sendiri dan juga mengizinkan penggunaan komersial.

• Harga pada endpoint terukur — tidak ada yang dipublikasikan; model ini hanya untuk self-host · $0.66 per juta token input dan $1.98 per juta token output, dengan pembacaan cache sebesar $0.022.

• Jejak rilis — bobot di Hugging Face 12 Oktober 2026, pengumuman vendor 15 Oktober 2026 · V4 Pro berperan sebagai andalan, dengan revisi bertanggal 0813 tersedia bagi pemanggil yang perlu mem-pin.

Dua dari baris-baris itu menentukan sebagian besar penerapan nyata. Yang pertama adalah modalitas: jika input Anda adalah tangkapan layar, kontrak hasil pindai, bagan, atau bingkai video, separuh dari perbandingan ini sudah selesai sebelum dimulai, karena DeepSeek V4 Pro tidak memiliki jalur gambar dan tidak ada rencana yang diumumkan untuk itu. Yang kedua adalah baris harga, dan ini lebih menarik daripada yang terlihat — NVIDIA tidak menerbitkan tarif sama sekali untuk model ini, yang berarti satu-satunya cara untuk mengetahui biaya Anda adalah dengan mengetahui volume token dan tagihan perangkat keras Anda.

Membaca tabel yang sebenarnya diterbitkan NVIDIA

Perbandingan tingkat flash lebih ketat daripada yang disiratkan oleh jumlah parameter, dan tidak seluruhnya merugikan NVIDIA. Pada baris-baris tempat keduanya paling berdekatan, hasilnya adalah seri yang sesungguhnya dalam hal pengetahuan dan defisit yang nyata dalam eksekusi agentik.

• Hasil imbang secara statistik dalam sains tingkat pascasarjana — GPQA-Diamond 89,52 untuk Super VL berbanding 89,6 untuk DeepSeek-V4-Flash. Empat perseratus poin memisahkan model 120B dari baseline kelas 1e12 pada baris ini, keduanya dijalankan oleh vendor.

• Defisit pada penalaran tersulit — Humanity's Last Exam hanya teks 31,79 berbanding 35,8, dan MMLU-ProX 76,91 berbanding 85,5.

• Defisit dalam competitive coding — LiveCodeBench v6 88,22 versus 94,6.

• Defisit pada pekerjaan perangkat lunak agentik — SWE-bench Verified 71,10 dibandingkan dengan 75,4, Terminal-Bench 2.1 66,70 dibandingkan dengan 76,80, DeepSWE 24,65 dibandingkan dengan 42,3.

• Defisit tajam pada pengambilan konteks panjang — AA-LCR v1.1 68.62 dibandingkan 79.7. Kedua model mengiklankan satu juta token; pada satu-satunya baris recall bergaya independen, tier flash unggul lebih dari sebelas poin. Itu adalah angka paling berdampak yang tersaji bagi siapa pun yang berencana menggunakan konteks yang diiklankan, bukan sekadar memilikinya tersedia.

• Baris di mana NVIDIA menang — GraphWalks 89,71 dibandingkan 65,4, proksi LMArena v3 52,67 dibandingkan 49,8, dan tau2-bench retail pada 69,24 dibandingkan 73,8 cukup dekat untuk dianggap noise pada benchmark yang bising ini. AA-Omniscience adalah kemenangan yang lebih berarti: tingkat halusinasi NVIDIA sebesar 30,0 dibandingkan 95,9 milik DeepSeek, dan indeks positif 4,03 dibandingkan minus 7,8. Model yang menahan diri lebih bernilai daripada model yang menegaskan, dan pada baris ini selisihnya tidak marginal.

• Alat agentik — tau2-bench airline 76.50 versus 83.5 dan telecom 73.19 versus 98.2, keduanya kalah. Pada domain telecom, tier flash hampir menyapu bersih.

Semua ini dilaporkan oleh vendor melalui harness NeMo Gym milik NVIDIA sendiri dengan resep yang dipublikasikan. Itu adalah standar yang lebih tinggi daripada klaim kosong dan lebih rendah daripada pengujian ulang independen, dan pada tabel khusus ini arah sebagian besar barisnya berlawanan dengan model yang sedang diumumkan, yang setidaknya menjadi tanda bahwa harness tersebut tidak disetel untuk menyanjung.

Apa yang tidak dapat disimpulkan tentang V4 Pro, dan mengapa itu tetap penting

Anda tidak dapat membaca semua hal di atas sebagai prediksi pertarungan utama, karena tiga alasan yang layak dinyatakan alih-alih ditutupi.

Pertama, baseline bukanlah flagship. Angka agen yang dipublikasikan DeepSeek sendiri untuk revisi 0813 V4 Pro berada pada skala yang sama sekali berbeda: 87,9 pada Terminal Bench 2.1, 83,3 pada Cybergym, 74,1 pada Toolathlon Verified, 62,7 pada DeepSWE, 61,5 pada NL2Repo, dan 42,7 pada Humanity's Last Exam tanpa alat, naik menjadi 60,0 dengan alat. Dibandingkan dengan 66,70 milik NVIDIA pada Terminal-Bench 2.1 dan 31,79 pada HLE khusus teks, kesenjangan flagship jauh lebih lebar daripada kesenjangan tier flash, dan kesenjangan itu justru diperlebar oleh vendor model lainnya, yang membuatnya tidak lebih dapat dipercaya — hanya lebih tajam.

Kedua, kolom flash-tier adalah cuplikan dari tier yang sendirinya telah bergeser. Baris yang terbaca baik hari ini bisa terbaca buruk bulan depan tanpa ada model yang berubah, karena perbandingannya bergantung pada checkpoint mana yang dipilih vendor untuk dijalankan.

Ketiga, gambaran independen untuk checkpoint NVIDIA terlalu tipis sehingga hampir tidak berguna sebagai penentu: panel pihak ketiga yang menilai model-model ini menempatkannya di kisaran pertengahan dua puluhan pada indeksnya, dengan jumlah token keluaran per tugas yang luar biasa tinggi dan catatan bahwa model ini agak bertele-tele. Satu titik data, dari satu panel, empat hari setelah bobotnya muncul.

Jadi ringkasan jujur dari kasus benchmark ini adalah: berdasarkan angka yang dijalankan vendor, model visi terbuka dengan 12B aktif kira-kira setara dengan tier murah DeepSeek dalam hal pengetahuan dan tertinggal darinya dalam eksekusi agentik serta recall konteks panjang; tidak ada apa pun dalam tabel itu yang membahas model unggulan, dan angka yang diterbitkan sendiri oleh model unggulan lebih baik pada setiap sumbu di mana keduanya setidaknya bisa dibandingkan.

Satu-satunya sumbu di mana perbandingannya sepele

Gambar. Bukan karena Nemotron bagus dalam hal visi — belum ada yang menerbitkan evaluasi independen atas jalur visinya, dan runtime yang disertakan secara default mengambil sampel pada temperatur teks milik kartu alih-alih temperatur visinya, yang merupakan jebakan nyata bagi orang pertama yang mencobanya — tetapi karena DeepSeek V4 Pro tidak menerimanya.

Asimetri itu memiliki konsekuensi biaya yang mudah terlewatkan. Model hosted yang mendukung visi menagih satu halaman dokumen hasil pindai berdasarkan jumlah tokennya, dan halaman 300-dpi bukanlah jumlah token yang sedikit. Checkpoint 120B yang dihosting sendiri menagih halaman yang sama dalam satuan detik GPU. Pada beban kerja beberapa ribu halaman per bulan, perbedaannya tidak berarti; pada beberapa ratus ribu halaman, itulah inti seluruh percakapan anggaran. Baris visi NVIDIA sendiri — 62,82 pada MMLongBench-Doc, 78,16 pada MathVision, 80,82 pada penalaran CharXiv, 68,12 pada OCRBench v2 English — adalah angka vendor, tetapi angka-angka itu membuktikan bahwa kemampuannya ada, bukan sekadar nominal.

Sumbu lain tempat perbandingan berbalik adalah hal yang semua orang tanyakan tetapi sedikit yang mengukur: memori. V4 Pro dengan total 1,6 triliun parameter tidak akan muat di satu mesin pun, bahkan mendekatinya. Super VL pada 82,3 GiB dalam tag 4-bit bawaannya muat di satu kartu 96 GB dengan ruang untuk konteks kerja. Itu bukan argumen kualitas. Itu adalah perbedaan antara model yang bisa ditarik dan dijalankan tim Anda malam ini dan model yang Anda sewa.

Menjalankan aritmetika, bukan benchmark

Inilah perhitungan yang patut dilakukan sebelum membaca tabel lain. Ambil beban kerja sejuta token masukan dan seratus ribu token keluaran — sebulan yang ringan untuk pipeline dokumen, sehari yang berat untuk produk obrolan.

Pada tarif yang dipublikasikan DeepSeek V4 Pro, itu $0,66 untuk input plus $0,198 untuk output: di bawah satu dolar, sebelum diskon cache menurunkan sisi input lebih jauh. Pada checkpoint NVIDIA tidak ada tarif, karena tidak ada endpoint. Biayanya adalah berapa pun fraksi jam-GPU yang dikonsumsi volume itu, dan pada volume sebesar ini jawabannya membulat menjadi nol — tetapi biaya tetap di baliknya tidak. Empat H100 tidak menjadi murah hanya karena lalu lintas bulan pertama Anda sedikit.

Itulah bentuk sebenarnya dari pertarungan ini, dan ini pertanyaan volume, bukan pertanyaan kualitas. Di bawah throughput tertentu, API open-weight berbayar per pemakaian jelas lebih murah daripada listrik dan amortisasi perangkat keras, meskipun kedua model sama-sama terbuka. Di atas throughput tertentu, biaya tetap berbalik dan checkpoint yang dihosting sendiri menang secara biaya terlepas dari mana yang mendapat skor lebih tinggi di Terminal-Bench. Titik persilangannya bergantung pada utilisasi Anda, bukan pada salah satu vendor.

Dengan demikian, pertanyaan tentang routing menjadi: jika Anda lebih memilih untuk tidak menjalankan cluster sama sekali, DeepSeek V4 Pro dapat diakses di OrcaRouter dengan harga daftar penyedia yang diteruskan apa adanya tanpa markup per token — $0.66 dan $1.98, angka yang sama dengan yang dipublikasikan DeepSeek, karena kami tidak menambahkan apa pun. Perubahan harga vendor langsung berlaku di sisi kami pada hari yang sama, bukan pada perpanjangan kontrak berikutnya. Nemotron 3.5 Super tidak ada di key kami; kami merutekan sedikit lebih dari dua ratus model dan ini bukan salah satunya, jadi jika Anda memerlukan checkpoint itu secara spesifik, kanal milik vendor sendiri dan pull lokal adalah rute Anda.

Apa yang sebenarnya harus dilakukan

Jika masukan Anda berupa teks dan beban kerja Anda bersifat agentik — rantai alat yang panjang, penyuntingan skala repositori, sesi terminal — DeepSeek V4 Pro adalah model yang lebih baik dan yang lebih murah, dan checkpoint NVIDIA bukan pesaing serius terhadapnya berdasarkan baris yang diterbitkan sendiri oleh vendor. Jalankan beban kerja itu di V4 Pro terlebih dahulu, dapatkan biaya nyata per unit pekerjaan, dan baru setelah itu putuskan apakah klaster layak diperlukan.

Jika input Anda berupa gambar, video, atau dokumen panjang, perbandingannya menyusut menjadi satu pertanyaan tentang volume, karena V4 Pro sama sekali tidak dapat menerima input tersebut. Di bawah beberapa ribu halaman per bulan, tetap gunakan versi hosted. Di atas itu, checkpoint 4-bit pada satu kartu 96 GB adalah infrastruktur yang kredibel — dengan dua catatan yang layak diulang: versi yang akan dijalankan sebagian besar orang tidak memiliki evaluasi yang dipublikasikan, dan default sampling runtime itu sendiri disetel untuk bagian teks dari apa yang diiklankan vendor sebagai model visi.

Dan jika Anda memang menempatkan checkpoint berusia empat hari di balik jalur permintaan, pasang juga fallback di baliknya. Asuransi termurah yang tersedia untuk model tanpa riwayat operasional adalah model kedua pada panggilan yang sama.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.