Nemotron 3.5 Super vs GPT-6 Astra: berapa biaya satu halaman yang dipindai pada masing-masing

OpenAI GPT-6 Astra menagih dokumen hasil pindaian per token. NVIDIA Nemotron 3.5 Super menagihnya per detik GPU. Satu kalimat itu saja sudah mencakup sebagian besar perbandingan ini, dan itu bukanlah kalimat yang akan dicantumkan oleh salah satu vendor di judul berita mereka. Model NVIDIA — 120 miliar parameter total dengan 12 miliar aktif per token, encoder visi C-RADIO pada campuran pakar (mixture of experts) hibrida Mamba-2 dan Transformer, yang diumumkan oleh NVIDIA pada 15 Oktober 2026 dengan nama NVIDIA Nemotron 3.5 Super VL dan dirilis di Ollama sebagai code>nemotron-3.5-super/code> — hadir di dunia dengan bobotnya yang sudah berusia tiga hari di Hugging Face, diunggah 12 Oktober. Astra adalah model unggulan OpenAI: 1.050.000 token konteks, 128.000 token keluaran maksimum, masukan teks, gambar, dan berkas, penalaran yang selalu aktif, serta harga daftar $10 per juta token masukan dan $50 per juta token keluaran.

Kedua titik harga itu terpaut sepuluh kali pada input dan dua puluh lima kali pada output, yang membuat pertanyaan menarik ini luar biasa tajam. Pada volume berapa sebuah checkpoint terbuka berbiaya tetap mengalahkan meteran $10/$50 untuk pekerjaan dokumen — dan apakah jawabannya berubah ketika dokumennya adalah halaman piksel alih-alih halaman teks?

Mereka tidak bersaing untuk permintaan yang sama.

Hal pertama yang harus diluruskan adalah bahwa dalam hal kemampuan yang terukur, kedua model ini tidak berdekatan, dan tidak satu pun dari kedua vendor itu mengklaim sebaliknya.

• Indeks pihak ketiga — Astra berada di kisaran 54,7 pada panel yang menilai model-model ini, dengan Coding Index 76,9 dan Agentic Index 51,6, semuanya tercatat pada entri katalog milik Astra sendiri · checkpoint NVIDIA berada di kisaran 26. Itu adalah selisih sekitar dua puluh delapan poin dan selisih itu tidak diukur oleh kedua vendor.

• Konteks — 1.050.000 token untuk Astra dengan batas keluaran 128.000 token · 1.000.000 untuk checkpoint NVIDIA tanpa batas keluaran yang dipublikasikan sama sekali, dan peringatan dari kartu itu sendiri bahwa pengaturan memori dan runtime menentukan angka yang dapat digunakan.

• Permukaan penalaran — Astra menjalankan penalaran yang selalu aktif dengan upaya yang dapat dikonfigurasi dari rendah hingga maks, mengembalikan jejak penalaran lengkap melalui API Responses, dan mendukung output terstruktur, seed, serta penelusuran web sebagai alat · checkpoint NVIDIA memiliki mode berpikir on/off yang diaktifkan melalui templat chat dan tabel tolok ukur yang dipublikasikan, tetapi tidak memiliki permukaan yang dihosting dalam bentuk apa pun.

• Modalitas masukan — teks, gambar, dan file untuk Astra · teks, gambar, dan video untuk checkpoint NVIDIA, dengan proyektor visi 1,6 GiB pada setiap tag yang dipublikasikan sehingga jalur gambar selalu tersedia.

• Harga — $10 untuk input dan $50 untuk output per juta token, dengan tier konteks panjang di atas 272.000 token prompt · tidak ada harga, karena model ini tidak memiliki endpoint.

• Yang Anda dapatkan — sebuah kunci API dan sebuah trace · empat H100 atau dua GB200 ber-BF16, atau satu kartu 96 GB untuk tag 4-bit default 82,3 GiB, di bawah OpenMDW-1.1 dengan penggunaan komersial yang diizinkan.

Baca daftar itu dan kesimpulannya jelas: jika pekerjaannya membutuhkan penalaran terdepan, Astra adalah modelnya dan perbandingannya sudah selesai. Yang membuat halaman ini layak dibaca adalah kasus ketika pekerjaan itu tidak membutuhkan penalaran terdepan, karena di situlah checkpoint 120 miliar parameter dengan encoder visi mulai masuk akal secara ekonomi — dan porsinya dalam pipeline dokumen nyata lebih besar daripada yang mau diakui siapa pun.

Perhitungan biaya halaman, dilakukan dengan angka nyata

Ambil sebuah pekerjaan konkret: korpus faktur hasil pindai, 200 halaman per hari, setiap halaman dirender pada resolusi yang cukup tinggi untuk membaca nomor referensi tulisan tangan. Sebut saja 1.500 token gambar per halaman setelah encoder menyelesaikan tugasnya, ditambah prompt 300 token dan jawaban 150 token. Itu kira-kira 1.950 token masuk dan 150 token keluar per halaman, atau 390.000 token masukan dan 30.000 token keluaran per hari di seluruh korpus.

Pada tarif yang dipublikasikan Astra, yaitu $3,90 untuk input dan $1,50 untuk output — sekitar $5,40 sehari, atau kira-kira $160 sebulan untuk pekerjaan yang bisa diselesaikan satu GPU dalam semalam. Naikkan resolusinya, tambahkan satu halaman yang memicu tier konteks panjang di atas 272.000 token prompt, atau jalankan korpus dua kali karena proses pertama salah, dan angkanya bergerak ke satu arah. Inilah bentuk masalahnya: pada $10 dan $50, alur kerja per halaman memiliki tagihan per halaman, dan tagihannya berskala tepat dengan hal yang tumbuh — jumlah halaman.

Pada checkpoint NVIDIA, pekerjaan yang sama memakan biaya sebesar fraksi jam-GPU mana pun yang dikonsumsi 230.000 token, yang pada 200 halaman sehari hanyalah kesalahan pembulatan dibandingkan listrik. Tagihannya adalah kartunya, dan kartunya sama saja apakah Anda memproses 200 halaman atau 20.000 halaman.

Tiga catatan penting sebelum siapa pun bergegas membeli perangkat keras. Pertama, ini tidak lagi berlaku pada volume rendah — kartu 96 GB dan daya untuk menjalankannya menghabiskan biaya per bulan lebih besar daripada yang dikeluarkan sebagian besar tim untuk token, dan pada 200 halaman sehari, kemungkinan besar Anda akan rugi. Kedua, kuantisasi NVIDIA yang paling banyak orang akan benar-benar jalankan, q4_K_M, tidak memiliki evaluasi yang dipublikasikan di mana pun; setiap angka pada kartu NVIDIA adalah BF16 atau NVFP4, jadi akurasi versi yang Anda terapkan tidak diketahui. Ketiga, keluaran Astra terukur lebih baik, dan pada korpus di mana kesalahan membaca nomor referensi menimbulkan biaya nyata, akurasi yang lebih baik dapat mengalahkan selisih harga berapa pun besarnya.

Di mana Astra bukan sekadar lebih baik, melainkan lebih baik secara struktural

Tidaklah jujur untuk menggambarkan Astra sebagai alternatif mahal bagi pilihan yang lebih murah. Dalam beberapa aspek, ini adalah kelas produk yang berbeda, dan perbedaannya bukan soal skor.

Astra mengembalikan jejak penalaran lengkap melalui Responses API. Bagi pipeline yang harus membenarkan suatu keputusan — adjudikasi klaim, pembacaan kepatuhan, proses pengodean medis — jejak yang dapat diaudit bukanlah fitur, melainkan keharusan. Checkpoint NVIDIA memiliki mode berpikir yang dapat Anda aktifkan dan nonaktifkan di templat chat dan sama sekali tidak memiliki permukaan jejak yang dihosting, yang berarti Anda harus membangun lapisan audit sendiri.

Astra mendukung output terstruktur dengan skema dan seed. Pada pipeline ekstraksi dokumen di mana output harus sesuai dengan tata letak rekaman, model yang dapat dibatasi pada skema lebih murah untuk diintegrasikan daripada model yang mengharuskan Anda memvalidasi dan mencoba ulang, dan biaya percobaan ulang tidak terlihat sampai akhirnya terlihat.

Dan permukaan alat Astra adalah produk pihak pertama: pemanggilan fungsi, response_format, seed, dan penelusuran web sebagai alat. Resep penerapan checkpoint NVIDIA menggunakan kembali parser panggilan alat yang tidak ditulisnya — resep vLLM milik vendor sendiri menamai code>qwen3_coder/code> sebagai parser panggilan alat dan code>nemotron_v3/code> sebagai parser penalaran. Itu pilihan rekayasa yang masuk akal dan juga berarti permukaan pemanggilan alat dipinjam alih-alih dirancang untuk model ini, dan perlu diuji sebelum dipercaya.

Resep vLLM juga memberi tahu Anda apa yang vendor harapkan untuk ditangani oleh sebuah replika: paralelisme tensor 4, utilisasi memori GPU 0,85, maksimum 32 sekuens bersamaan, satu gambar dan satu video per prompt, pemangkasan video pada 0,5, dan dekode spekulatif melalui kepala MTP bawaan dengan tiga token spekulatif. Tiga puluh dua sekuens bersamaan adalah batas atas pada node empat GPU. Plafon Astra adalah batas laju.

Jebakan dalam default NVIDIA, dan mengapa hal itu muncul lebih dulu pada dokumen

Inilah detail yang akan menentukan apakah eksperimen pertama berhasil, dan itu hanya terlihat jika Anda membaca registri runtime, bukan postingan vendor.

Kartu ini menetapkan dua konfigurasi sampling: temperature 1.0 dengan top_p 0.95 untuk pekerjaan teks, dan temperature 0.6 dengan top_p 0.95 untuk visi. Default yang dikirimkan dalam manifes Ollama adalah pasangan teks — code>{"temperature": 1.0, "top_p": 0.95}/code> dengan code>draft_num_predict: 3/code>. Jadi, konfigurasi yang paling mungkin ditemui orang saat menggunakan model visi ini disetel untuk separuh bagiannya yang bukan visi. Jika hal pertama yang Anda lakukan dengan model ini adalah mengarahkannya ke faktur hasil pindai dan hasilnya longgar atau berhalusinasi, pengaturan sampling adalah hal pertama yang harus diubah — sebelum Anda menyimpulkan apa pun tentang checkpoint.

Dua detail registry lagi yang perlu diketahui sebelum Anda men-deploy. Empat dari sembilan tag yang dipublikasikan — code>:latest/code>, code>:120b/code>, code>:120b-a12b/code> dan code>:120b-a12b-q4_K_M/code> — mengarah ke layer q4_K_M yang sama, jadi tag yang dinamai berdasarkan jumlah parameter penuh bukanlah file yang Anda terima. Dan gerbang versi diberlakukan, bukan sekadar disarankan: konfigurasi mendeklarasikan code>requires: 0.40.5/code>, jadi pada runtime yang lebih lama, pull tidak akan berfungsi sama sekali.

Bandingkan itu dengan mode kegagalan di sisi lain perbandingan ini, yaitu endpoint yang berubah. Astra adalah layanan yang dihosting; perilakunya dapat direvisi. Tidak ada dari kedua risiko itu yang menjadi alasan untuk menghindari model tersebut. Keduanya adalah risiko yang berbeda dan menuntut mitigasi yang berbeda — perubahan konfigurasi di satu sisi, rute cadangan di sisi lain.

Jawaban routing, yang sama untuk keduanya

Astra tersedia lewat kunci kami. OrcaRouter merutekannya pada harga daftar penyedia yang diteruskan apa adanya tanpa markup per token — $10 dan $50 per juta token, dengan tier konteks panjang dihargai persis seperti yang ditetapkan OpenAI, aktif di sisi kami pada hari yang sama, bukan pada perpanjangan berikutnya. Jika pertanyaannya adalah apakah Astra menangani beban kerja dokumen Anda, itu cukup satu kunci dan tanpa pengadaan, dan jawabannya hanya membutuhkan beberapa dolar token.

Checkpoint NVIDIA tidak ada di kunci kami. Kami merutekan sedikit lebih dari dua ratus model dan tidak ada entri NVIDIA Nemotron di antaranya, jadi artikel ini bukan klaim bahwa Anda dapat memanggilnya di sini. Jika Anda memerlukan checkpoint itu, saluran build dan distribusi NVIDIA sendiri serta pull lokal adalah rute Anda.

Yang sebenarnya menjadi peran platform dalam keputusan ini adalah penentuan urutan. Jalankan korpus terhadap Astra terlebih dahulu dan ukur dua hal: biaya per halaman, dan tingkat kesalahan per halaman. Kedua angka itu bersama-sama menentukan segalanya. Jika tingkat kesalahan rendah dan volume rendah, tetaplah menggunakan meteran selamanya — Anda tidak akan pernah bisa mengalahkannya dengan perangkat keras. Jika tingkat kesalahan rendah dan volume tinggi, Anda sekarang memiliki alasan yang dapat dipertahankan untuk memindahkan halaman komoditas ke kartu yang Anda miliki sementara halaman yang sulit tetap di meteran. Jika tingkat kesalahan tinggi, seberapa besar pun keunggulan harga di sisi NVIDIA tidak akan membantu, karena aritmetika faktur yang salah dibaca bukan tentang token.

Dan ke arah mana pun Anda memilih, tempatkan model baru di belakang fallback. Checkpoint yang bobotnya berumur empat hari memiliki empat hari riwayat operasional, dan asuransi termurah terhadap hal itu adalah model kedua pada panggilan yang sama. Astra adalah pilihan yang wajar untuk diletakkan di belakang model terbuka berumur empat hari; ia juga model yang akan disimpulkan sebagian besar pembaca halaman ini tidak perlu mereka ganti.