
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Dua Rilisan NVIDIA yang Tidak Pernah Bersaing
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 90 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 97 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaBARUOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 88 tok/s
- OrcaBARUOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 133 tok/s
- OrcaBARUOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1 juta token · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1 juta token · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Kecerdasan
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Kecerdasan
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1 juta token · 218 tok/s
Menempatkan Nemotron-Labs-Sigma-distill-8B-nfe4 dan Nemotron 3.5 Lightning 30B A3B dalam satu kalimat, naluri kita langsung bertanya mana yang lebih pintar. Pertanyaan itu tak punya jawaban, bukan karena datanya minim — melainkan karena kedua model tidak berbagi tolok ukur, panjang konteks, tumpukan penyajian, maupun proses rilis yang sama. Nemotron-Labs-Sigma-distill-8B-nfe4 adalah model difusi kontinu 8B yang diterbitkan NVIDIA pada 12 November 2026 tanpa pengumuman apa pun dan telah diunduh lima kali. Nemotron 3.5 Lightning 30B A3B adalah campuran-para-ahli hibrida Mamba-2 dan attention dengan total 30B dan 3B aktif yang dirilis pada Agustus bersama kartu model, endpoint build.nvidia.com, dan 962.098 unduhan bulan lalu. Perbandingan yang berguna bukanlah soal skor. Melainkan mana yang benar-benar bisa Anda hadapkan kepada pengguna, dan untuk keperluan apa.
Kedua kartu tersebut menjelaskan produk yang berbeda, bukan tingkatan yang berbeda.
Baca bagian kasus penggunaan secara berdampingan dan kesenjangannya bukan lagi soal kemampuan. Kartu Sigma-distill menyatakan bahwa model ini ditujukan untuk "riset generasi yang sensitif terhadap latensi, studi decoding spekulatif dan paralel, serta eksperimen yang berorientasi pada deployment," dan menyebut bahwa model tersebut "berjalan offline di perangkat keras pengguna sendiri; NVIDIA tidak menyediakan layanan." Kartu Lightning menunjuk ke endpoint yang kompatibel dengan OpenAI di integrate.api.nvidia.com, tag kontainer vLLM, pasangan sampling yang direkomendasikan berupa temperature 1.0 dan top_p 0.95, tombol aktif/nonaktif mode berpikir di templat chat, dan tiga checkpoint draf speculative-decoding yang terpisah.
Satu adalah file. Yang lainnya adalah layanan dengan file di belakangnya. Perbedaan itulah yang menentukan hampir semua hal lain dalam tulisan ini:
• Parameter — 8B dense (9,03B dalam sensus safetensors setelah kepala pembacaan tambahan dihitung) vs total 30B dengan 3B aktif per token.
• Arsitektur — decoder bergaya Ministral dengan kepala difusi kontinu 16 dimensi vs lapisan Mamba-2, MoE, dan atensi selektif yang berselang-seling dengan kepala prediksi multi-token.
• Konteks — 4.096 token untuk prompt dan output secara gabungan dibandingkan hingga 1.000.000, dengan catatan bahwa satu H100 saja hanya mencapai sekitar 256.000 dan satu juta penuh memerlukan delapan H100, GB200, atau B200.
• Bahasa — Hanya bahasa Inggris vs bahasa Inggris ditambah bahasa pemrograman, Spanyol, Prancis, Jerman, Italia, dan Jepang, dengan bahasa Mandarin dalam pascapelatihan.
• Bentuk rilis — hanya kartu dan bobot, tanpa endpoint vendor, tanpa pengumuman versus endpoint yang dihosting, build referensi BF16, build NVFP4, dan tiga model draft untuk decoding spekulatif.
• Unduhan dalam tiga puluh hari terakhir — lima vs 962.098 di repositori BF16 saja, belum termasuk 901.381 pada build NVFP4.
• Lisensi — NVIDIA Nemotron Open Model License untuk keduanya, meskipun kartu Lightning menyebutnya OpenMDW-1.1.
Tidak ada tolok ukur bersama, jadi tidak ada skor.
Inilah bagian yang paling sering ditutup-tutupi oleh halaman perbandingan mana pun. Kartu Sigma-distill melaporkan GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP, dan MBPP+ pada sepuluh seed dengan dua galat standar, plus rata-rata enam tugas sebesar 66,36. Kartu Lightning melaporkan MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR, dan AA-Omniscience. Irisan keduanya adalah himpunan kosong. Tidak ada satu pun benchmark yang muncul di kedua kartu.
Itu bukan kebetulan dalam pelaporan. Kedua evaluasi itu sengaja menguji hal yang berbeda. Enam tugas Sigma adalah penalaran jawaban singkat dan penyelesaian kode pada beberapa ratus token; tugas Lightning adalah rekayasa perangkat lunak agentik, pengambilan konteks panjang, dan pengetahuan profesional. Model dengan jendela 4.096 token dan tanpa templat obrolan tidak dapat mengikuti harness SWE-bench, dan model yang dilatih untuk menyelesaikan badan fungsi tidak dimintai pertanyaan GPQA.
Jadi satu-satunya batas jujur yang bisa ditarik adalah ini: pada enam tugasnya sendiri, Sigma-distill nfe4 rata-rata 66,36 dengan sepuluh seed, yang merupakan angka nyata di bawah protokol nyata, dan itu tidak mengatakan apa pun tentang bagaimana kinerjanya pada hal apa pun yang diukur untuk Lightning. Siapa pun yang memberi tahu Anda bahwa yang satu mengalahkan yang lain tidak membandingkan apa pun.

Kecepatan adalah aspek yang membuat perbandingan menjadi menarik — dan yang tetap tidak terpecahkan.
Kedua model sama-sama cepat dengan cara yang sulit diletakkan pada satu sumbu, dan inilah satu-satunya aspek yang membuat perbandingan ini benar-benar bermakna.
Sigma-distill menghasilkan 32 token per blok dalam tepat 4 evaluasi denoising ditambah satu readout. Lima forward pass, 32 token: 6,4 token per forward pass. Karena jumlah langkah ditetapkan oleh pelatihan, rasio itu tidak berubah terhadap panjang prompt atau panjang output — nilainya konstan, dan kode inferensi pada kartu model tidak mengizinkan Anda menimpanya. Kartu model induk melaporkan 120–140 token per detik pada satu H100 dengan 32 langkah per blok 64 token; varian hasil distilasi tidak mempublikasikan angka token per detik sama sekali, jadi aritmetika 6,4× lebih sedikit forward pass bukanlah throughput yang terukur.
Lightning mengambil jalur lain. Ini adalah MoE dengan 3B aktif, sehingga setiap forward pass murah, dan NVIDIA menyertakan DSpark sebagai default speculative-decoding yang direkomendasikan, dengan DFlash dan head multi-token-prediction miliknya sendiri sebagai alternatif. Angka throughput-nya juga tidak tercantum di kartu dalam token per detik — tetapi jumlah unduhannya dan resep penyajiannya menunjukkan bahwa ini telah dijalankan di produksi, yang belum dilakukan Sigma.
Perbedaan yang penting: percepatan Sigma bersifat struktural dan konstan per token, sedangkan percepatan Lightning bersifat spekulatif dan bergantung pada beban kerja. Kontrak tetap 5 panggilan per 32 token dapat diprediksi dengan cara yang tidak pernah dimiliki oleh tingkat penerimaan draf. Hal ini juga tidak terukur saat ini, karena belum ada yang menerbitkan satu pun angka throughput untuk checkpoint nfe4.
Berapa biaya yang harus Anda keluarkan untuk menjalankan masing-masing
Sigma-distill adalah 18,06 GB bobot bfloat16 dalam empat shard, dimuat melalui kode eager PyTorch dari repositori itu sendiri dengan trust_remote_code, pada GPU CUDA, tanpa paged attention, tanpa continuous batching, dan tanpa build terkuantisasi dalam koleksi. Tidak ada harga per token karena tidak ada endpoint: kartu NVIDIA menyatakan bahwa model berjalan di perangkat keras Anda dan bahwa NVIDIA tidak menghosting layanan apa pun.
Lightning adalah bentuk yang berlawanan. Bobot BF16 memiliki 31,6B parameter; saran produksi NVIDIA sendiri adalah menggunakan build NVFP4 sebagai gantinya, dan kartunya menyertakan resep vLLM (tag kontainer vllm/vllm-openai:v0.27.1) dengan backend Mamba FlashInfer, cache SSM FP16, dan prefix caching, plus image SGLang untuk Hopper dan Blackwell. Tidak ada harga daftar di kartu atau di build.nvidia.com — endpoint tersebut berada di bawah ketentuan uji coba API NVIDIA — tetapi platform pihak ketiga mencantumkan model tersebut sekitar $0,05 per juta token masukan dan $0,20 per juta token keluaran. Angka itu adalah pengamatan pasar, bukan harga vendor.
Tidak ada dari kedua model itu yang ada dalam katalog OrcaRouter, dan tidak jujur untuk menyiratkan sebaliknya. Yang tersedia di OrcaRouter adalah kumpulan pembanding di sekitarnya: lebih dari 200 model di balik satu kunci, harga daftar penyedia diteruskan tanpa markup, sehingga penurunan harga di hulu muncul pada hari yang sama alih-alih dalam revisi kartu tarif triwulanan. Jika alasan Anda membaca ini adalah bahwa Anda perlu memilih baseline untuk menguji Sigma, dari situlah baseline itu berasal.
Pilih berdasarkan amplop, bukan berdasarkan skor
Empat pertanyaan memilah ini dalam waktu kurang dari satu menit, dan tidak satu pun dari pertanyaan itu melibatkan akurasi benchmark:
• Apakah tugasnya muat dalam 4,096 token? Jika tidak, Sigma-distill tidak bisa dipakai dan pertanyaannya sudah selesai. Jendela satu juta token Lightning — 256K pada satu H100 — tiga orde magnitudo lebih besar.
• Apakah tugas memerlukan percakapan, alat, atau keluaran terstruktur? Sigma-distill tidak memiliki semua itu: tidak ada templat chat, tidak ada system prompt, tidak ada mode JSON, dengan string penghenti dan anggaran token sebagai satu-satunya mekanisme penghentian. Lightning menyertakan templat chat dengan tombol alih mode berpikir.
• Apakah Anda perlu melayani lebih dari satu permintaan sekaligus? Sigma tidak memiliki stack penyajian — jalur yang didukung adalah skrip Python pada satu GPU. Lightning memiliki dua integrasi mesin dan resep paralelisme yang telah dipublikasikan.
• Apakah minat Anda pada mekanisme decoding itu sendiri — difusi blok, distilasi beberapa langkah, spekulasi mandiri? Maka Sigma-distill adalah satu-satunya dari keduanya yang menarik, dan Lightning adalah pembanding yang sepenuhnya keliru.
Segala hal lainnya mengikuti dari keempat hal tersebut. Tim yang mengevaluasi Sigma untuk suatu produk sebenarnya sedang menanyakan apakah sebuah checkpoint penelitian dapat diubah menjadi layanan; tim yang mengevaluasi Lightning sedang menanyakan apakah MoE hibrida dengan 3B aktif muat dalam anggaran. Itu adalah percakapan yang berbeda.
Di mana pertandingan itu akan menjadi nyata
Dua hal akan mengubah halaman ini menjadi adu langsung yang sesungguhnya, dan keduanya belum ada.
Yang pertama adalah tolok ukur bersama. Jika Sigma suatu saat memiliki angka MMLU Pro atau GPQA, atau Lightning memiliki angka GSM8K atau HumanEval pada format prompt yang sebanding, barulah ada yang bisa dibandingkan. Hingga saat itu, posisi yang jujur adalah seperti di atas: dua rangkaian evaluasi yang terpisah, dilaporkan oleh vendor yang sama, pada model yang tidak dapat menjalani pengujian satu sama lain.
Yang kedua adalah jalur serving. Sigma-distill saat ini adalah repositori yang Anda clone dan skrip yang Anda jalankan; pull request SGLang yang menyebut difusi Nemotron menargetkan lineage Nemotron-Labs-Diffusion-8B yang lebih lama dan masih terbuka per 17 November, dan registry vLLM sama sekali tidak memiliki arsitektur nemotron_labs_sigma. Begitu model block-diffusion dengan jumlah langkah tetap mendapatkan paged attention dan batching, keunggulan 6,4 token per pass-nya menjadi angka yang dapat Anda letakkan di samping tingkat penerimaan speculative decoding — dan perbandingan itu layak untuk dipublikasikan.

Sampai saat itu, tafsiran praktisnya adalah bahwa NVIDIA merilis dua model untuk dua audiens pada musim gugur yang sama dan hanya salah satunya yang merupakan produk. Lightning adalah yang dapat Anda panggil hari ini, dengan perilaku cache, jendela konteks, dan dukungan engine yang disiratkan oleh sebuah layanan. Sigma-distill adalah yang Anda unduh jika Anda peduli apakah difusi kontinu pada 8B dapat mempertahankan 66.36 pada enam tugas dengan lima forward pass per 32 token — pertanyaan tentang decoding, bukan tentang kemampuan, dan pertanyaan yang tidak akan terjawab oleh perbandingan apa pun dengan MoE 30B.

