
Dataset Pasca-Pelatihan Terbuka Nemotron 3.5 Super VL: Apa yang Sebenarnya Bisa Anda Fine-Tune
- OrcaBARUOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1 juta token · 71 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952Kecerdasan
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856Kecerdasan
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1 juta token · 741 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238Kecerdasan
- OpenAIOpenAI: GPT-6 Sol2026-09-2248Kecerdasan
- AnthropicAnthropic: Claude Opus 5.52026-09-2258Kecerdasan
- xAIGrok 4.72026-09-2146Kecerdasan
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 per 1 juta token · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 per 1 juta token · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040Kecerdasan
- OpenAIOpenAI: GPT-6 Astra2026-09-0453Kecerdasan77Koding
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241Kecerdasan76Koding
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245Kecerdasan76Koding
- AnthropicAnthropic: Claude Fable 5.12026-09-0153Kecerdasan82Koding
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 per 1 juta token · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 per 1 juta token · 110 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642Kecerdasan72Koding
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 per 1 juta token · 184 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845Kecerdasan75Koding
NVIDIA Nemotron 3.5 Super VL merilis bobotnya di Hugging Face pada 12 Oktober 2026 dan diumumkan pada 15 Oktober. Separuh dari rilis itu yang paling banyak dilewatkan oleh liputan adalah bagian yang benar-benar dapat Anda jadikan fondasi: antara 12 dan 15 Oktober, organisasi nvidia menerbitkan sebelas dataset pasca-pelatihan baru — korpus supervised fine-tuning dan reinforcement learning di balik deskripsi pelatihan enam tahap milik kartu model itu sendiri. Kesebelasnya mencantumkan OpenMDW-1.1 sebagai ketentuan yang mengaturnya, tetapi di situlah keseragamannya berakhir. Dua di antaranya tampil sebagai license: other di Hub; dua lainnya membawa lisensi kedua karena isi di dalamnya; dan dua kartu yang tidak pernah menyatakan "ready for commercial or non-commercial uses" bukanlah yang Anda duga. Berikut ini isi setiap set, apa yang kartu-kartunya publikasikan dan tidak publikasikan tentangnya, dan bagaimana keseluruhan rilis ini dibandingkan dengan angka pemulihan akurasi median 99,62% yang terbaca sangat berbeda bergantung pada dokumen NVIDIA mana yang Anda buka.
Apa yang mendarat, dan kapan
Hugging Face mencatat stempel waktu pembuatan, jadi ini dibaca, bukan diperkirakan. Kesebelas repositori muncul dalam rentang waktu 61 jam:
• Nemotron-RL-litmus-bench-v0.2 — 12 Oktober, 16:37 UTC. Penalaran kimia, 47.118 pertanyaan latih dan 2.056 pertanyaan uji, 64 MB, dibangun dari ChEMBL, data tantangan OpenADMET ExpansionRx, dan set ADME Biogen. Berlisensi ganda CC-BY-SA-4.0 dan OpenMDW-1.1, karena pertanyaan yang diturunkan dari ChEMBL membawa ketentuan share-alike.
• Nemotron-SFT-Agentic-v4 — 14 Oktober, 17.54 UTC. Trajektori penggunaan alat satu giliran dan multi-giliran, 634.664 catatan percakapan di seluruh split tool_calling sebanyak 549.707 dan split knowledge_agent sebanyak 84.957, 18,88 GB. Dihasilkan dengan Qwen3.5-397B-A17B dan GLM-5.2.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 14 Oktober, 17.55 UTC. Obrolan, pengikutan instruksi multi-giliran, dan kontrol panjang respons, 3.850.582 catatan percakapan, 80,74 GB. Dihasilkan dengan Kimi-K2.6, Gemma4-E4B-it, dan Qwen3.5-397B-A17B.
• Nemotron-SFT-Agentic-Finance-v1 — 14 Oktober, 18:54 UTC. 7.878 contoh pemanggilan alat multi-gilir di seluruh penalaran numerik, pemodelan keuangan, analisis pasar, penyesuaian, dan pertanyaan beat-or-miss atas pengajuan SEC publik, 28 MB.
• Nemotron-RL-Agentic-Finance-v1 — 14 Oktober, 18:55 UTC. 10.185 tugas RL, lima keluarga tugas yang sama, 166 MB, dengan konteks filing sengaja ditahan agar agen harus mengambilnya dengan sec_filing_search, parse_html_page dan retrieve_information.
• Nemotron-SFT-Long-Context-Transduction-v1 — 14 Oktober, 19:47 UTC. 10.000 pasangan instruksi–jawaban, 1,22 GB, untuk pelacakan posisi dan transformasi urutan. Tidak ada model yang menghasilkan ini: kartu tersebut menyatakan secara eksplisit bahwa tidak ada model bahasa yang menghasilkan contoh atau jawaban, dan empat keluarga tugasnya adalah evaluasi aritmetika, pengurutan token heksadesimal, perluasan variabel, dan transformasi CSV.
• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 14 Oktober, 20:14 UTC. 4.335 contoh terjemahan dari bahasa Inggris ke berbagai bahasa, 2,22 GB, teks sumber diambil dari buku-buku domain publik dalam korpus PG-19 dan diterjemahkan dengan DeepSeek V4 Flash.
• Nemotron-RL-Finance-Tool-Calling-v1 — 14 Oktober, 22:46 UTC. 90.307 catatan keuangan — 81.397 sampel penalaran inti ditambah 8.910 sampel agen keuangan yang lebih luas — dalam 1,23 GB, dijalankan terhadap lingkungan Finance SEC Search di NeMo Gym.
• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 14 Oktober, 22.46 UTC. 63.056 contoh dalam 1,01 GB, berlandaskan pada pengajuan 10-K, 10-Q, dan 8-K dari perusahaan-perusahaan S&P 500 yang mencakup periode 2017–2024.
• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 14 Oktober, 23.45 UTC. 100.000 catatan, 3,86 GB: kebijakan awal, definisi alat, dan skenario untuk server sumber daya conversation_tool_use_simulation, mencakup perhotelan, e-commerce, perbankan, dan asuransi, untuk percakapan agentik tersimulasi selama RL.
• Nemotron-SFT-BBQ-v1 — 15 Oktober, 05:22 UTC. Data keadilan berbahasa Inggris yang mencakup usia, penampilan fisik, dan disabilitas — masing-masing 2.000 catatan, total 6.000, 8,0 MB — dibangun berdasarkan taksonomi Bias Benchmark for QA, dengan percakapan antara peserta fiktif yang dirancang untuk memberi penghargaan pada jawaban berbasis bukti dibandingkan asumsi.
Dua hal tentang daftar itu lebih penting daripada jumlah barisnya. Yang pertama adalah bahwa cakupan lisensinya tidak seragam seperti yang disiratkan oleh tag utamanya, dan yang kedua adalah milik siapa keluaran ini.

Tag lisensi bukanlah keseluruhan lisensi
Kesebelas repositori menyebut OpenMDW-1.1 sebagai ketentuan yang mengaturnya. Yang berbeda adalah bagaimana hal itu sampai kepada Anda, dan perbedaannya layak dibaca sebelum Anda membangun apa pun yang komersial di atasnya.
• Tag versus lisensi bernama — sembilan dari sebelas menyertakan license: openmdw-1.1 sebagai tag biasa yang bisa langsung Anda baca dari API. Nemotron-SFT-Agentic-Finance-v1 dan Nemotron-RL-Agentic-Finance-v1 tampil sebagai license: other dengan license_name: openmdw-1.1 dan tautan ke perjanjiannya. Ketentuannya sama; alat yang memfilter repositori berdasarkan tag lisensi akan melihat dua nilai yang berbeda.
• Lisensi kedua karena data hulu — Nemotron-SFT-Long-Context-Translation-PG19-v1 membawa Apache-2.0 bersama OpenMDW-1.1 karena korpus sumbernya adalah PG-19, dan kartunya menambahkan bahwa karya bahasa Inggris yang mendasarinya berada dalam domain publik di Amerika Serikat tetapi status hak ciptanya dapat berbeda di yurisdiksi lain, sehingga pengguna harus memeriksa hukum setempat sebelum mendistribusikan ulang. Nemotron-RL-litmus-bench-v0.2 membawa CC-BY-SA-4.0 bersama OpenMDW-1.1, dengan ketentuan share-alike diterapkan secara khusus pada pertanyaan yang berasal dari ChEMBL.
• Kalimat komersial — sembilan kartu menyatakan "Dataset ini siap untuk penggunaan komersial maupun non-komersial." Dua kartu yang tidak menyatakannya adalah Nemotron-SFT-Long-Context-Transduction-v1 dan Nemotron-SFT-Long-Context-Translation-PG19-v1 — pasangan konteks panjang, bukan kumpulan data keuangan.
• Di mana pengecualian konten didokumentasikan — keuangan. Kartu berbasis dokumen menyatakan bahwa rilis ini hanya mempertahankan kutipan konteks terbatas yang diizinkan dari isi Formulir 10-K, 10-Q, dan 8-K, dan bahwa seluruh korpus SEC, semua lampiran, serta konten apa pun yang memuat pemberitahuan hak cipta pihak ketiga dikecualikan, dengan menyebutkan laporan konsultan, presentasi, opini kewajaran, dan riset analis. Dokumen ini juga mencatat bahwa kutipan tersebut tetap menjadi tanggung jawab masing-masing penerbitnya.
Jadi pembacaan praktisnya adalah kebalikan dari pembacaan intuitif. Set keuangan adalah set dengan lencana lisensi paling mencolok — openmdw-1.1 yang bersih pada set yang berlandaskan dokumen dan pemanggilan alat — sekaligus set dengan pembatasan terdokumentasi terbanyak atas apa yang ada di dalamnya. Set konteks panjang adalah set yang metadata Hub dan prosanya paling saling bertentangan. Tidak satu pun dari itu menjadi alasan untuk menjauh; keduanya justru alasan untuk membaca empat kartu, bukan hanya satu kolom lisensi.

Output siapa yang melatih produk unggulan NVIDIA
Hal lain yang melintasi drop adalah model-model generasi, dan kartu-kartunya menyebutkannya tanpa berputar-putar. Set SFT agentik unggulan diproduksi dengan Qwen3.5-397B-A17B dan GLM-5.2. Set instruction-following menambahkan Kimi-K2.6 dan Gemma4-E4B-it. Set keuangan berbasis dokumen menyebut Qwen3.5-397B-A17B untuk pembuatan pertanyaan, DeepSeek-V4-Pro untuk jawaban, dan gpt-oss-120b untuk penyaringan serta pemilihan. Set tool-calling keuangan RL mencantumkan Qwen3.5-397B-A17B dan Qwen3-235B-A22B-Instruct-2507 di sisi upstream, DeepSeek-V4-Pro untuk jawaban, gpt-oss-120b untuk penyaringan, dan NVIDIA Nemotron sendiri untuk pemrofilan kesulitan RL di delapan rollout. Terjemahan PG-19 diproduksi dengan DeepSeek V4 Flash.
Itu adalah keputusan penerbitan, bukan kebetulan, dan itu adalah hal yang paling berguna dalam peluncuran ini bagi siapa pun yang mencoba menalar tentang kualitas. Itu memberi tahu Anda bahwa prior perilaku yang sedang Anda fine-tune sebagian besar bukan milik NVIDIA — itu adalah campuran dua keluarga open-weight frontier Tiongkok, sebuah model open-weight OpenAI, dan sebuah model kecil Google. Jika Anda punya pendapat tentang bagaimana salah satu dari itu berperilaku pada teks keuangan atau pada pemilihan alat, pendapat itu berlaku untuk titik awal Anda di sini, dan sekarang Anda memiliki provenans untuk memeriksanya alih-alih menebak.
Mengapa data adalah bagian yang dapat Anda tindak lanjuti
Alasan rilis dataset menjadi bagian yang menarik dari peluncuran ini terlihat dalam angka vendor sendiri. Postingan newsroom NVIDIA menyebut organisasi yang melakukan post-training pada model dan mengutip hasil mereka: Scale AI untuk pekerjaan kredit vendor Skydance, dengan "biaya inferensi 40x lebih rendah" dan "latensi 5x lebih rendah"; Ramp dalam mengonversi gambar struk menjadi JSON terstruktur, mengharapkan "hingga 50% throughput lebih tinggi dan latensi 10x lebih rendah"; AI21 dan Alice dalam intelijen ancaman, dengan "akurasi 41% lebih tinggi." Baca blog pengembang bersama newsroom dan hasil pelanggan yang sama terangkum menjadi "biaya inferensi 40x lebih rendah, latensi 10x lebih rendah, dan akurasi 40% lebih tinggi" — angka 40, padahal newsroom menyebut 41, dan 10x, padahal yang disebut 5x, untuk apa yang tampak seperti dua deployment yang sama. Ini adalah ekspektasi pelanggan untuk beban kerja mereka sendiri, bukan benchmark, dan tidak ada versi yang dapat Anda reproduksi.
Yang dapat direproduksi adalah buktinya. Ruang redaksi mengatakan model tersebut menjalani pasca-pelatihan dengan sekitar 3,8 juta sampel dan pembelajaran penguatan di puluhan lingkungan, dan bahwa kumpulan data terbuka itu mencakup penggunaan alat agentik, keuangan, pengikutan instruksi, konteks panjang, keadilan, dan pemahaman visi-bahasa. Sebelas repositori di atas adalah korpus tersebut, dan lingkungan NeMo Gym yang ditunjuk oleh kartu-kartu itu adalah harness-nya. Tim yang menginginkan agen intelijen dokumen kini memiliki model, resep penyajian, pustaka penyetelan halus, dan data pelatihan di satu tempat. Kesenjangan antara "model ini dapat dispesialisasikan" dan "inilah spesialisasi yang dapat Anda unduh hari ini" adalah yang ditutup oleh repositori-repositori ini.
Satu catatan tentang daftar kategori itu: newsroom NVIDIA menyertakan pemahaman visi-bahasa di antara kumpulan data yang dirilis, dan sebelas repositori dataset nvidia baru yang dibuat dalam periode ini adalah korpus teks dan penggunaan alat. Kumpulan data keuangan berbasis dokumen adalah hal yang paling mendekati kumpulan visi dalam rilis ini, dan formatnya hanya teks. Jika Anda datang untuk sisi gambar dan video, datanya tidak ada di sini — kumpulan data visi NVIDIA terbaru di Hub berasal dari lima hari sebelum periode ini.
Apa yang tidak diterbitkan oleh kartu-kartu itu, dan berapa biayanya bagi Anda
Inilah angka yang tidak pernah dimasukkan siapa pun ke dalam posting peluncuran, dan pada perilisan ini angka itu hilang. Tidak satu pun dari sebelas kartu dataset menerbitkan jumlah token. Yang mereka terbitkan hanyalah jumlah record dan ukuran penyimpanan, itu saja. Jadi pertanyaan tentang estimasi ukuran — berapa jam-GPU yang dibutuhkan untuk satu epoch pada set instruction-following — tidak dapat dijawab dari perilisan ini, hanya diperkirakan dengan membagi byte dengan asumsi rasio byte per token, yang justru merupakan jenis angka yang masuk ke pemberitaan seolah-olah angka itu terukur.
Yang bisa Anda jadikan dasar adalah penyimpanan yang dipublikasikan: 80,74 GB untuk Nemotron-SFT-Instruction-Following-Chat-v4, 18,88 GB untuk Nemotron-SFT-Agentic-v4, 3,86 GB untuk kumpulan benih penggunaan alat percakapan, lalu ekor panjang — 2,22 GB, 1,23 GB, 1,22 GB, 1,01 GB, 166 MB, 28 MB, 8,0 MB, 64 MB. Dua kumpulan terbesar satu hingga dua orde magnitudo lebih besar daripada semua yang lain dalam drop ini, yang memberi tahu Anda di mana bobot pasca-pelatihan sebenarnya berada tanpa perlu hitungan token sama sekali.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 80,74 GB dan 3.850.582 rekaman. Inilah kumpulan data yang menjadikan pelatihan full-parameter sebagai sebuah proyek, bukan sekadar pekerjaan satu sore.
• Nemotron-SFT-Agentic-v4 — 18.88 GB dan 634,664 record. Sekitar seperempat ukurannya, sehingga terjangkau untuk dijalankan pada satu node.
• Nemotron-SFT-BBQ-v1 — 8,0 MB dan 6.000 catatan. Cukup kecil untuk diiterasi dalam hitungan menit, sehingga menjadikannya cara termurah untuk membuktikan bahwa alur fine-tuning Anda sudah terpasang dengan benar sebelum Anda menginvestasikan satu minggu GPU untuk pekerjaan yang benar-benar Anda pedulikan.
• Nemotron-SFT-Long-Context-Transduction-v1 — 1,22 GB, tetapi hanya 10.000 contoh, dengan rentang per contoh yang dipublikasikan dari 2.048 hingga 131.072 token target. Di sini biaya didorong oleh panjang urutan, bukan volume, dan kartu tersebut menyatakan bahwa anggaran tersebut adalah target generasi yang diperkirakan dengan cl100k_base, bukan jumlah yang diukur setelah pelatihan.
Untuk skala di sisi model, kartu model mempublikasikan anggaran per tahap: pemanasan MTP 100 miliar token terhadap backbone yang dibekukan, distilasi satu triliun token dari Nemotron yang lebih besar berikutnya, pra-pelatihan lanjutan Indic 100 miliar token, ekstensi 35 miliar token ke konteks 1M, pelatihan menengah rekayasa perangkat lunak 67 miliar token pada 256K, dan tahap pemulihan konteks panjang 9 miliar token. Itu adalah satu-satunya anggaran token yang dinyatakan NVIDIA di mana pun dalam rilis ini, dan itu berlaku untuk pelatihan model dasar, bukan untuk fine-tuning pada kumpulan data ini.
Itulah juga sebabnya jalur LoRA penting di sini, bukan sekadar catatan kaki. NVIDIA mengarahkan pengembang ke NVIDIA NeMo AutoModel untuk penyempurnaan terawasi dan adaptasi peringkat rendah, dan adaptor adalah pembeda antara mengubah beberapa perilaku model dan menurunkan ulang 249 GB bobot. Kedua jalur itu nyata, dan pilihan di antara keduanya adalah keputusan tentang seberapa banyak perilaku model dasar yang ingin Anda ubah. Tim keuangan yang mengejar skema sempit atau perilaku yang mengikuti kebijakan berada di wilayah LoRA. Tim yang ingin model mempertahankan prosedur operasi baru di setiap interaksinya tidak demikian.
Dua dokumen, satu tolok ukur, jawaban yang berlawanan
Laporan teknis yang menyertai rilis ini bertanggal 14 Oktober dan memuat angka yang paling jauh melaju tanpa konteksnya. NVIDIA melaporkan bahwa checkpoint NVFP4 yang dirilis mencapai pemulihan akurasi median 99,62% relatif terhadap BF16 di 36 tolok ukur, setelah resep kuantisasi pascapelatihan yang agresif diikuti 200 iterasi distilasi sadar-kuantisasi berbasis SFT — dengan encoder visi C-RADIO, konektor VL, konvolusi Mamba, dan embedding dibiarkan dalam BF16 serta komputasi router dibiarkan dalam FP32, menurut tabel per-modul dalam laporan tersebut.
"Pemulihan akurasi median" adalah median dari rasio, bukan nilai minimum. Untuk mendapatkan 99,62%, laporan menghitung rasio skor per benchmark dan mengambil nilai tengah di antara 36, sehingga angka utamanya memberi tahu Anda bahwa benchmark tipikal berada sekitar empat persepuluh persen di bawah presisi penuh, dan sama sekali tidak memberi tahu apa pun tentang bagian ekornya. Tabel laporan itu sendiri menunjukkan bagian ekornya: Tau3 Banking pada 94,20%, bagian pemecahan masalah SciCode pada 93,63%, MMLU-ProX pada 95,90% — dan ke arah sebaliknya GDPVal pada 111,53% serta Terminal-Bench v2.1 pada 103,47%, karena kuantisasi dapat berada di atas referensi BF16 dalam satu kali pengujian.
Lalu bandingkan kartu modelnya, dan ceritanya menjadi lebih menarik daripada ekor. Kartu model NVFP4 milik NVIDIA sendiri memuat tabel BF16 versus NVFP4 untuk checkpoint yang sama, dan di dalamnya Terminal-Bench 2.1 menunjukkan 66,70 berbanding 60,80 — build terkuantisasi turun sembilan persen. Dalam tabel full-suite laporan teknis, benchmark yang sama menunjukkan 60,67 berbanding 62,78, dengan build terkuantisasi lebih unggul. Model yang sama, benchmark yang sama, keluarga harness evaluasi yang sama, dua dokumen NVIDIA, arah yang berlawanan. Kartu tersebut juga menunjukkan WebVoyager pada 77,72 turun ke 66,31 dan DeepSWE pada 24,65 turun ke 18,2, yang tidak satu pun merupakan versi cerita yang Anda dapatkan dari angka utama 99,62%.
Itu bukan skandal — tabel yang berbeda dapat membawa konfigurasi harness yang berbeda dan tabel dalam laporan itu melaporkan persentase pemulihan di samping setiap baris — tetapi itu berarti jawaban jujur atas "apakah NVFP4 mengurangi akurasi saya" adalah: pada sebagian besar baris yang dipublikasikan, hampir tidak; pada baris yang memang menguranginya, lebih besar daripada yang disiratkan median; dan dua dokumen vendor tidak sepakat tentang baris mana itu. Jika beban kerja Anda adalah kerja terminal agentic, ukurlah ulang sendiri daripada memilih tabel.
Sebaliknya, aritmetika penerapan tidak ambigu dan merupakan argumen terkuat untuk build terkuantisasi. Repositori BF16 totalnya 248,9 GB berkas checkpoint dan mulai cepatnya sendiri menyajikannya pada 4× H100. Repositori NVFP4 totalnya 75,06 GB, yang oleh laporan ditempatkan pada 4,82 bit per parameter termasuk skala, dan itu muat pada satu H200, satu GB200, atau satu DGX Spark. Pada satu GB200 laporan menyebut hingga 4.856 token keluaran/detik/GPU pada beban kerja proksi agentik 20 giliran sambil mempertahankan setidaknya 50 token/detik/pengguna, dengan NVFP4 pada 2,43× throughput BF16 pada beban kerja yang sama, dan model tersebut pada 2,34× dan 1,90× throughput Qwen3.5-122B-A10B dan Qwen3.8 Flash-Next. Semua itu diukur oleh NVIDIA, pada stack penyajian milik NVIDIA sendiri, pada tingkat konkurensi apa pun yang dipilih resep tersebut.
Satu perempat lagi dari rilis ini mudah terlewat dan penting jika fine-tune Anda nanti akan diperdebatkan. Laporan tersebut menjelaskan proses pemeriksaan kontaminasi pada data pasca-pelatihan yang menghapus 20.671 sampel — sekitar 0,09%, terbagi menjadi 14.793 sampel SFT dan 5.878 sampel RL — yang cocok dengan 1.808 pertanyaan benchmark, atau 6,0%, di 22 dari 30 benchmark yang diperiksa, dengan sekitar 3% dari pasangan kandidat yang dinilai ditandai sebagai kontaminasi berat. Sebagian besar rilis open-weights tidak mempublikasikan metodologi pembersihan sama sekali. Memiliki metodologi yang dapat Anda kutip bernilai lebih besar daripada kedengarannya ketika pelanggan bertanya mengapa angka eval fine-tune Anda terlihat seperti itu.

Bagaimana ini mengubah apa yang dapat Anda lakukan minggu ini
Tiga hal konkret kini menjadi mungkin, yang tidak mungkin sebelum 12 Oktober.
Yang pertama adalah agen pelaporan keuangan yang dapat Anda bangun tanpa percakapan perizinan data — dengan satu catatan yang menyertainya. Repositori keuangan mencakup siklus lengkap: 63.056 contoh SFT yang berpijak pada dokumen selama tujuh tahun dokumen pengajuan S&P 500, 90.307 catatan pemanggilan alat RL terhadap lingkungan pencarian SEC langsung, 7.878 contoh pemanggilan alat multi-putaran untuk lapisan perilaku, dan 10.185 tugas RL dengan konteks dokumen pengajuan ditahan sehingga pengambilan menjadi bagian dari tugas. Catatannya adalah pengecualian yang didokumentasikan di atas: hanya kutipan, lampiran dikecualikan, materi berhak cipta pihak ketiga dihilangkan, dan masalah tetap menjadi tanggung jawab emiten. Itu adalah posisi yang terdokumentasi dengan baik, bukan posisi yang bersih, dan itulah kumpulan tempat Anda sebaiknya membaca kartunya sebelum kodenya.
Yang kedua adalah penggunaan alat agentik, dan ini adalah vertikal yang paling didukung dalam rilis ini. Di antara 634.664 catatan Nemotron-SFT-Agentic-v4, kumpulan benih penggunaan alat percakapan berisi 100.000 catatan dengan skenario perhotelan, e-commerce, perbankan, dan asuransi, serta lingkungan NeMo Gym yang dirujuk oleh kartu-kartu tersebut, seluruh pipeline dijelaskan dari awal hingga akhir: hasilkan trajektori, jalankan percakapan tersimulasi, latih dengan imbalan yang dapat diverifikasi, evaluasi dalam harness yang digunakan vendor itu sendiri. Apa pun pendapat Anda tentang model ini, itu adalah resep publik yang lengkap untuk mengubah model visi-bahasa umum menjadi agen pemanggil alat, dan itulah bagian yang dulu merupakan pengetahuan tribal.
Yang ketiga adalah baseline keadilan yang benar-benar dapat Anda iterasi. Nemotron-SFT-BBQ-v1 terdiri atas 6.000 record dan 8,0 MB, data ini seimbang 2.000/2.000/2.000 di antara usia, penampilan fisik, dan disabilitas, dan percakapannya ditulis sedemikian rupa sehingga jawaban berbasis bukti dan jawaban berbasis asumsi keduanya masuk akal. Dengan ukuran sebesar itu, Anda dapat menjalankannya, menilainya, dan menjalankannya kembali dalam satu sore, yang mengubah "bagaimana Anda melakukan pengujian untuk ini" dari masalah pengadaan menjadi sebuah eksperimen.
Mencobanya tanpa mempertaruhkan jalur produksi padanya
Bagian yang canggung dari rilis ini adalah deployment, bukan data. Checkpoint BF16 membutuhkan empat H100 dan versi terkuantisasi membutuhkan satu H200 atau GB200, bobot terbuka tersedia di Hugging Face, dan jalur vendor sendiri ke endpoint terkelola adalah NVIDIA NIM, sementara ruang berita juga menyebutkan platform pihak ketiga. Kami tidak menyediakan model ini, jadi jika Anda menginginkan endpoint terkelola, API vendor sendiri dan beberapa platform pihak ketiga adalah tempat untuk mencarinya; kegunaan router di sini adalah untuk sisa keputusannya.
Satu kunci untuk 200+ model pada harga daftar penyedia dengan markup 0% berarti membandingkan build NVFP4 dengan model teks apa pun yang Anda jalankan saat ini hanya membutuhkan satu perubahan baris alih-alih kontrak vendor kedua, dan failover otomatis antar penyedia berarti beban kerja yang hanya Anda uji dapat berdampingan dengan lalu lintas produksi tanpa salah satu bergantung pada yang lain. Itulah bentuk keputusan yang dapat Anda balik — yang Anda inginkan dari model yang dokumentasinya baru berusia dua hari dan tabel benchmark-nya sendiri saling bertentangan.
Urutan praktisnya adalah: ambil Nemotron-SFT-BBQ-v1 atau sebagian dari set agentic, jalankan LoRA pada H200 sewaan untuk membuktikan loop Anda, nilai terhadap evaluasi Anda sendiri, dan baru kemudian putuskan apakah build presisi penuh 249 GB dan empat GPU sepadan. Dataset-datasetnya gratis untuk diunduh dan yang kecil gratis untuk dijalankan. Tidak ada dalam rencana itu yang mengharuskan Anda mempercayai median 99,62%.
Apa yang masih kurang?
Tiga kesenjangan patut dicermati karena mengubah kalkulasi, bukan pemasaran.
Yang pertama adalah evaluasi independen terhadap hasil fine-tuning. Setiap angka pasca-pelatihan dalam rilis ini — pergerakan Terminal-Bench dari 62,7 ke 71,9 berkat eksekusi agen paralel dan verifikasi mandiri, pergerakan DeepSWE dari 24,6 ke 34,5 dalam eksperimen yang sama, peningkatan akurasi 41% di AI21, pengurangan biaya 40× di Scale AI — berasal dari harness milik NVIDIA atau dari pengukuran pelanggan sendiri. Belum ada pihak ketiga yang mereproduksi fine-tune Nemotron 3.5 Super VL pada kumpulan data ini dan mempublikasikan hasilnya. Sampai hal itu ada, anggap ukuran efeknya sebagai batas atas.
Yang kedua adalah jalur video. Model menerima MP4 hingga dua menit pada 2 FPS dan 256 bingkai, atau 1 FPS dan 128 bingkai untuk 1080p, dengan tingkat pemangkasan 0,5 — dan tidak ada dataset pasca-pelatihan video publik dalam rilis ini. Setiap repositori di atas adalah teks, dan kumpulan terjemahan serta transduksi adalah teks konteks panjang, bukan sesuatu yang visual. Jika kasus penggunaan Anda adalah pemahaman video yang diiklankan oleh kartu model, NVIDIA telah merilis kemampuan tersebut tanpa data untuk mengkhususkannya.
Yang ketiga adalah bahwa belum ada yang mempublikasikan apa yang dilakukan kumpulan data ini terhadap model yang bukan Nemotron. Kesebelasnya dibangun untuk menghasilkan campuran pasca-pelatihan satu model — kartunya secara eksplisit menyatakan bahwa beberapa set menggabungkan versi khusus Nemotron sebelumnya, dan set benih percakapan digambarkan sebagai data benih untuk set pivot, bukan generasi baru. Apakah korpus agentic dapat ditransfer ke backbone 120B yang berbeda masih menjadi pertanyaan terbuka, dan itulah pertanyaan pertama yang ingin dijawab oleh tim yang sudah memiliki tumpukan fine-tuning.
Ketiga kesenjangan itu adalah jenis yang tertutup oleh karya orang lain, bukan karya NVIDIA, yang merupakan pola lazim untuk rilis terbuka. Bobotnya dapat diunduh hari ini, datanya dapat diunduh hari ini, dan fine-tune independen pertama yang kredibel adalah hal yang akan memberi tahu Anda apakah semua itu sepadan dengan waktu GPU.
Dibandingkan dalam artikel ini2
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
