Mercury 3 vs NVIDIA Nemotron 3.5 Super VL 120B-A12B: Satu Klaim Kecepatan Diukur, yang Lain Tidak

Mercury 3 dan NVIDIA Nemotron 3.5 Super VL 120B-A12B sama-sama dipasarkan karena kecepatannya. Hanya satu dari klaim kecepatan itu yang pernah diperiksa oleh pihak mana pun di luar perusahaan pembuatnya. Artificial Analysis mengukur Nemotron 3.5 Super VL pada 434,3 token keluaran per detik menggunakan harness miliknya sendiri. Mercury 3, yang dirilis Inception Labs pada 19 Oktober 2026, mengklaim 1.068 token per detik — dan per 20 Oktober tidak ada halaman Mercury 3 sama sekali dalam indeks tersebut, sehingga angka itu tidak didukung pihak kedua. Asimetri itulah, bukan lembar spesifikasi, yang menjadi faktor penentu sebenarnya dalam perbandingan ini. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda sengketa.

Ada asimetri kedua yang lebih penting bagi sebagian tim. Nemotron dapat diunduh, berjalan di perangkat keras Anda sendiri, dan dapat dilatih lanjutan. Mercury 3 adalah produk API tanpa bobot. Salah satunya adalah keputusan pengadaan dan yang lainnya adalah proyek penerapan, dan tabel benchmark bukan panduan yang baik untuk menentukan mana yang sebenarnya Anda butuhkan.

Angka-angka yang disepakati kedua vendor, dan satu angka yang tidak mereka sepakati

Mulailah dengan baris-baris di mana keduanya berhenti terlihat berbeda, karena beberapa di antaranya memang benar-benar sama.

• Konteks — keduanya ditetapkan pada 1M token. Mercury 3 memadankannya dengan batas output 131,072 token; kartu Nemotron mencantumkan hingga 1M jendela bersama di seluruh prompt, gambar, riwayat, hasil alat, dan jawaban.

• Output — keluaran teks, keduanya. Tidak satu pun menghasilkan gambar atau audio.

• Input — di sinilah keduanya berbeda. Nemotron menerima teks, gambar RGB, dan video MP4 hingga dua menit. Mercury 3 menerima teks, dan hanya teks.

• Harga — Mercury 3 adalah $0.10 per juta token input dan $0.35 per juta token output selama periode peluncurannya, lalu kembali menjadi $0.20 dan $0.70 pada harga daftar. Nemotron sama sekali tidak memiliki daftar tarif resmi dari vendor; yang ada hanyalah lembar perhitungan biaya dari Artificial Analysis, yang saat ini mencatatnya pada $0.225 untuk input dan $0.575 untuk output per juta dengan diskon cache 78% dan biaya $0.19 per tugas Intelligence Index.

• Bobot — Bobot Mercury 3 tidak dipublikasikan dan Inception belum berkomitmen untuk mempublikasikannya. Bobot Nemotron tersedia di Hugging Face di bawah OpenMDW-1.1, dengan checkpoint presisi penuh dan NVFP4.

Baris terakhir itulah yang menentukan sebagian besar evaluasi nyata, dan sama sekali tidak ada hubungannya dengan token per detik.

Membaca indeks independen tanpa menafsirkannya secara berlebihan

NVIDIA merilis Nemotron 3.5 Super VL pada 15 Oktober 2026. Saat papan skor independen pertama muncul pada minggu yang sama, papan itu mencantumkan Intelligence Index 26 dan kolom kosong di tempat yang seharusnya berisi kolom kecepatan. Halaman tersebut kini memuat keduanya: 26 pada Index v4.3.2, dan 434,3 token keluaran per detik, yang menempatkannya di peringkat pertama di antara 28 model dalam kelas perbandingannya. Model ini juga menghasilkan 170 juta token selama proses indeks, dibandingkan median 100 juta, yang menurut halaman tersebut agak bertele-tele.

Itu adalah pengukuran indeks itu sendiri, dijalankan melalui harness miliknya sendiri, dan nilainya persis seperti nilai suite benchmark tunggal mana pun: angka yang dapat direproduksi yang dikumpulkan oleh seseorang yang tidak bekerja untuk NVIDIA. Perhatikan apa arti 26 dan apa yang tidak dimaksudkannya. Teks perbandingan halaman itu sendiri membandingkannya dengan median 8 untuk model open-weight sebanding di kelas 40B–150B, jadi ini hasil yang kuat dalam kelas bobotnya dan hasil yang moderat dibandingkan model frontier dalam ukuran apa pun. Peringkat first-of-67 yang muncul di bagian atas halaman adalah peringkat di dalam kelas yang difilter, bukan posisi keseluruhan. Siapa pun yang mengutip "number one" tanpa filter itu sedang mengutip filternya.

Sisi lainnya. Posting peluncuran Inception memuat tiga klaim kuantitatif: 1.068 token per detik pada GPU NVIDIA, konteks 1M, dan harga peluncuran setengah dari tarif daftar. Sama sekali tidak ada klaim kualitas numerik. Sebagai gantinya, disebutkan bahwa Mercury 3 "mengungguli GPT-6 Luna dan Claude Haiku 5.5" — dua model yang dioptimalkan untuk kecepatan, yang merupakan set perbandingan yang tepat untuk produk yang berfokus pada latensi, dinyatakan tanpa selisih, nama benchmark, atau hasil per tugas. Juga dilaporkan bahwa Mercury 3 menyelesaikan 50% dari 50 tugas navigasi Mind2Web langsung di dalam harness web-agent milik Inception sendiri, "jauh lebih banyak daripada GPT-6.1-Sol". Lima puluh tugas pada harness vendor adalah sinyal, bukan pengukuran yang dapat disandingkan dengan 26.

Jadi perbandingan jujur atas bukti kualitas adalah ini: satu model memiliki skor indeks pihak ketiga dan model lainnya hanya memiliki satu kalimat dari vendor. Itu tidak menjadikan Mercury model yang lebih lemah. Itu menjadikannya model yang belum terukur, dan belum terukur adalah kategori risiko yang berbeda dari skor rendah.

Berapa biaya sebenarnya untuk menjalankan sisi open-weights

Nemotron 3.5 Super VL adalah model mixture-of-experts 120B parameter dengan 12B aktif per token, 512 pakar yang dirutekan per lapisan MoE, dan backbone hibrida yang menyelang-seling lapisan Mamba-2, attention, dan MoE dengan encoder visi C-RADIO yang dipasang melalui konektor. NVIDIA merilisnya dalam dua tingkat presisi, dan selisih di antara keduanya adalah angka paling berguna dalam rilis ini.

• BF16 — 64 shard safetensors, sekitar 231,8 GiB. Resep penyajian dari NVIDIA sendiri adalah tensor-parallel 4 pada empat H100, atau TP2 pada dua GB200.

• NVFP4 — bobot dan aktivasi 4-bit dengan distilasi sadar kuantisasi. Kartu tersebut mencantumkan penerapan pada satu DGX Spark, satu H200, dua H100s, atau satu GB200.

Model 120B yang muat di dua H100 pada 4-bit, bukan empat pada BF16, adalah percakapan pembelian yang berbeda, dan itulah sebabnya checkpoint terkuantisasi menjadi yang ditunjuk vendor untuk serving yang efisien. Yang tidak dipublikasikan NVIDIA adalah perbandingan akurasi berdampingan antara kedua tier tersebut. Klaim itu adalah klaim metodologi pelatihan — bahwa distilasi selama pelatihan menutup celah kuantisasi — bukan perbandingan terukur, dan jika keputusan Anda bergantung pada celah itu, jawabannya tidak ada di repo.

Lisensi ini layak dibaca melampaui pemasarannya. Postingan blog menyebut "open weights"; frontmatter kartu menyatakan license: other, license_name: openmdw-1.1, yang diatur oleh OpenMDW License Agreement 1.1. Penggunaan komersial diizinkan dan kartu menyatakannya secara gamblang. Ini bukan Apache 2.0, dan jika organisasi Anda menyimpan daftar lisensi yang disetujui, daftar itulah yang perlu diperiksa sebelum penawaran GPU.

Di mana keduanya berhenti menjadi substitusi

Ketidakcocokan ini bukan soal kualitas. Ini soal bentuk pekerjaannya.

Mercury 3 adalah model bahasa difusi — istilah Inception adalah dLLM — yang menghasilkan token secara paralel, bukan satu per satu, dan dari situlah klaim throughput empat digit pertama kali muncul. Beban kerja yang menjadi sasarannya adalah beban kerja saat manusia sedang mengamati: petunjuk tutor, pembuatan hasil pencarian, balasan dukungan yang harus terasa seperti percakapan. Kutipan pelanggan Inception sendiri semuanya seperti itu, dan itulah uji yang tepat bagi produk ini. Petunjuk yang salah masih bisa diperbaiki. Jeda dua detik tidak.

Nemotron 3.5 Super VL dirancang untuk ujung yang berlawanan. Model ini membaca tangkapan layar, dokumen hasil pindaian, bagan, dan klip video dua menit, memanggil alat, serta berjalan pada perangkat keras yang Anda kendalikan. Beban kerja yang menjadi sasarannya adalah pipeline yang berjalan selama beberapa menit dan melapor kembali, tempat ekstraksi yang salah sangat mahal dan penantian lima detik tidak terlihat. Kartu produknya sendiri terus terang bahwa baris-baris benchmark multimodal tidak semuanya dijalankan melalui perkakas terbuka yang diterbitkan NVIDIA, dan bahwa kerangka internal di balik beberapa di antaranya dijanjikan untuk rilis mendatang. Peringatan itu tidak mendiskualifikasi model; itu memberi tahu Anda baris mana yang perlu Anda jalankan ulang sendiri sebelum Anda bergantung padanya.

Kesenjangannya lebih sempit daripada yang disiratkan oleh lembar spesifikasi. Jika input Anda adalah tumpukan faktur, video produk, atau tangkapan layar dasbor, Mercury 3 tidak dapat melihatnya. Jika kebutuhan Anda adalah giliran percakapan di bawah satu detik pada teks biasa, checkpoint multimodal 120B di GPU Anda sendiri adalah cara yang sangat mahal untuk mendapatkannya.

Kedua model tersebut tidak ada dalam katalog kami, dan itu mengubah saran perutean.

Keduanya adalah jawaban negatif yang jujur. API model kami tidak mengembalikan model Inception maupun entri NVIDIA Nemotron, jadi baik Mercury 3 maupun Nemotron 3.5 Super VL bukan sesuatu yang bisa Anda panggil melalui kami saat ini. Siapa pun yang menginginkan Mercury 3 akan pergi ke platform milik Inception sendiri, yang memberikan 100 juta token gratis untuk akun baru; siapa pun yang menginginkan Nemotron akan mengunduh checkpoint dari Hugging Face atau menggunakan host pihak ketiga. Kami lebih memilih menuliskannya daripada menyiratkan jalur yang tidak kami miliki.

Yang masih berguna dari lapisan routing di sini adalah bagian di sekitar eksperimen. Pengaturan dua jalur adalah cara yang masuk akal untuk mengevaluasi model yang belum terukur: kirim tier yang kritis terhadap latensi ke Mercury 3 melalui kunci Inception, dan pertahankan fallback serta kasus-kasus sulit pada model yang memang kami sediakan — lebih dari 200 model di balik satu endpoint yang kompatibel dengan OpenAI, pada harga daftar penyedia dengan markup 0%, dengan failover otomatis saat penyedia mengalami degradasi. Jika jalur baru ternyata lebih buruk daripada yang disiratkan oleh posting peluncuran, fallback sudah terpasang dan peralihannya adalah aturan routing alih-alih proyek integrasi. Separuh perbandingan yang di-host sendiri tidak mendapatkan apa pun dari semua itu, karena tidak ada yang perlu dirouting.

Aturan keputusan

Pilih Nemotron 3.5 Super VL 120B-A12B ketika model harus melihat sesuatu — halaman, hasil pindai, atau klip — atau ketika data tidak boleh meninggalkan infrastruktur Anda, atau ketika Anda berniat melakukan post-training dengan contoh Anda sendiri. Anggarkan perangkat kerasnya secara jujur: empat H100 pada BF16 atau dua pada NVFP4 adalah komitmen modal yang nyata, dan angka 26 pada indeks adalah skor relatif terhadap kelasnya, bukan skor frontier. Terimalah bahwa baris instruction-following dan konteks panjangnya adalah bagian yang lebih lemah dari tabelnya sendiri.

Pilih Mercury 3 saat seseorang menunggu jawaban teks dan percobaan ulang tidak memakan biaya. Terima dua hal sebelum Anda membangun di atasnya: bahwa 1.068 token per detik adalah angka dari vendor tanpa reproduksi independen, dan bahwa pengaturan effort default adalah low — jadi benchmark apa pun yang Anda jalankan sendiri hanya dapat dibandingkan dengan milik orang lain jika Anda menetapkan instant, low, medium, atau high secara eksplisit. Anggarkan berdasarkan harga daftar, $0.20 dan $0.70, karena diskon peluncuran tidak memiliki tanggal berakhir yang dipublikasikan dan model biaya yang dibangun berdasarkan $0.10 dan $0.35 memiliki masa berlaku yang tidak dapat Anda lihat.

Yang paling cepat mengubah jawaban adalah hal yang sama di kedua sisi: pihak kedua yang menjalankan pengujian yang sama. Jika Artificial Analysis menerbitkan halaman Mercury 3, klaim throughput menjadi dapat diperiksa dan pertanyaan kualitas tidak lagi sekadar satu kalimat dalam pos peluncuran. Jika NVIDIA menerbitkan selisih akurasi antara BF16 dan NVFP4, tier deployment murah tidak lagi menjadi lompatan keyakinan. Sampai salah satunya terwujud, ringkasan yang jujur adalah bahwa salah satu model ini telah diukur dan yang lain baru dideskripsikan, dan sebanyak apa pun perbandingan lembar spesifikasi tidak menutup celah itu.