NVIDIA Nemotron 3.5 Super VL Base BF16: เช็กพอยต์ขนาด 249 GB ที่ NVIDIA ระบุไว้ แต่ไม่เคยลิงก์ให้

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16เป็นอาร์ติแฟกต์ในN​VIDIA N​emotron 3.5 Super VLรีลีสที่ N​VIDIA ไม่ได้ลิงก์ไว้ โพสต์ประกาศของบริษัทเมื่อวันที่ 15 ตุลาคม กล่าวไว้ในอนุประโยคเดียวว่า "รีลีสนี้ประกอบด้วยเช็กพอยต์แบบ base, post-trained และ NVFP4-quantized พร้อมสูตรการเทรน ข้อมูล และสภาพแวดล้อมการเรียนรู้แบบเสริมกำลัง" ทุกลิงก์รีโพซิทอรีบนหน้านั้นชี้ไปที่ nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4ข้อความ "Base-BF16" ไม่ปรากฏในโพสต์นั้นเลย

รีโพซิทอรีนี้มีอยู่จริงและเปิดเผยต่อสาธารณะ Hugging Face บันทึกคอมมิตแรกไว้ที่ 2026-10-12T15:31:49Z ชาร์ดน้ำหนักถูกอัปโหลดเมื่อ 2026-10-13T04:55Z และฟิลด์วันที่เผยแพร่ของโมเดลการ์ดเองระบุว่า "Hugging Face - 10/15/2026" มันไม่ถูกจำกัดการเข้าถึง ไม่ต้องใช้โทเคนในการดาวน์โหลด และมีน้ำหนักเท่ากับบิลด์หลังเทรน nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16 ซึ่งมีน้ำหนัก: 248.9 GB จาก 63 ชาร์ด BF16 เทียบกับ 248.9 GB จาก 64 ชาร์ดของบิลด์หลังเทรน โดยไฟล์ดัชนีสองไฟล์ห่างกัน 16 ไบต์ สามวันหลังจากน้ำหนักขึ้นระบบ มันถูกดาวน์โหลด 4 ครั้ง เทียบกับ 142 ครั้งสำหรับรีโพซิทอรี full-precision หลังเทรน และ 81 ครั้งสำหรับ NVFP4 ที่เป็นรุ่นพี่น้องกัน นั่นคือตัวนับของ Hugging Face เอง อ่านเมื่อวันที่ 16 ตุลาคม

ดังนั้นนี่จึงไม่ใช่การรั่วไหลหรือข่าวลือ เวตไม่ใช่สิ่งที่ควรจะเข้าใจผิด — มันเป็นเพียงอาร์ติแฟกต์ที่ถูกประชาสัมพันธ์น้อยที่สุดในการเปิดตัวที่ในด้านอื่นอึกทึก และการ์ดโมเดลที่อยู่เบื้องหลังพวกมันขัดแย้งกับตัวเองในแบบที่สำคัญ ถ้าคุณเป็นคนประเภทที่จะดาวน์โหลดเช็กพอยต์ 249 GB แบบ pre-post-training ความขัดแย้งนั้นอยู่ด้านล่างนี้

สิ่งที่ลงมา และประโยคที่กล่าวถึงมัน

รีโพซิทอรีหลักสามแห่งและดรอฟเตอร์หนึ่งตัวถูกปล่อยขึ้นในช่วงเวลาเดียวกัน ทั้งหมดเป็นของ N​VIDIA โดยตรง ทั้งหมดอยู่ภายใต้สัญญาอนุญาต OpenMDW-1.1 และไม่มีอันใดถูกจำกัดการเข้าถึง:

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16, สร้าง repository เมื่อ 2026-10-12T15:31:49Z, เวต 2026-10-13T04:55Z, README แก้ไขล่าสุด 2026-10-15T15:22:08Z.

• BF16 ที่ผ่านการฝึกเพิ่มเติม — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, สร้างเมื่อ 2026-10-12T15:32:06Z, สิบเจ็ดวินาทีหลังจาก repo ฐาน

• NVFP4 ที่ผ่านการฝึกภายหลัง — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, สร้างเมื่อ 2026-10-12T15:32:30Z และมีขนาดรวม 75.1 GB แทนที่จะเป็น 248.9 GB

• ดราฟเตอร์ NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr ถูกสร้างขึ้นก่อนหน้านั้นอีกหนึ่งวัน เมื่อ 2026-10-11T20:20:59Z

การจับคู่ระหว่างรีโพซิทอรีเหล่านั้นกับข้อความของ NVIDIA คือตรงจุดที่มันไม่สม่ำเสมอ และการตรวจสอบก็คุ้มค่าที่จะทำมากกว่าการสันนิษฐานเอาเอง จุดอ้างอิงการปรับใช้ในประกาศล้วนชี้ไปที่บิลด์ NVFP4 ทั้งหมด โน้ตเปิดของการ์ดโมเดลฐานเองก็ชี้ไปยังอีกสองการ์ด — "กำลังมองหาโมเดลที่ผ่าน post-training อยู่หรือไม่? ดูรีลีส BF16 สำหรับการปรับแต่ง หรือรีลีส NVFP4 สำหรับการปรับใช้ที่ปรับให้เหมาะสม" — ดังนั้นรีโพซิทอรีฐานจะบอกคุณว่าควรไปที่ไหนแทน ตั้งแต่บรรทัดแรกของมัน ทางกลับกันไม่เป็นเช่นนั้น การ์ด BF16 ที่ผ่าน post-training ไม่มีลิงก์ไปยังรีโพซิทอรีฐานที่ใดเลย และการ์ด NVFP4 ก็ไม่มีเช่นกัน เช็กพอยต์ฐานเป็นอาร์ติแฟกต์เดียวในรีลีสที่เอกสารของ NVIDIA เองไม่เคยนำทางคุณไปหา คุณพบมันได้โดยอ่านอนุประโยคเก้าคำในประกาศ แล้วจึงไล่ดูรายการไฟล์ของ org ซึ่งเป็นวิธีที่พบมันในที่นี้ ไม่มีอะไรในข้อความของ NVIDIA ที่อธิบายว่าทำไมเช็กพอยต์ฐานจึงถูกเผยแพร่ที่ขนาด 249 GB เท่ากับโมเดลที่ผ่าน post-training จริง ๆ หรืออธิบายว่าคุณควรใช้มันทำอะไรที่โมเดลที่ผ่าน post-training ทำไม่ได้

การขาดหายไปตรงนั้นแหละคือเรื่องราว การเปิดตัวแบบ open-weights ที่ผู้ขายลิงก์เช็กพอยต์สองในสามรายการ และอธิบายรายการที่สามด้วยคำเพียงเก้าคำไม่ได้ปิดบังอะไรเลย — เวตนั้นอยู่ตรงนั้นแล้ว — แต่มันหมายความว่าเอกสารที่คุณต้องการไม่ได้อยู่ในประกาศ แต่อยู่ในรีโพซิทอรี

"base" หมายถึงอะไรในรีลีสนี้

การ์ดโมเดลทั้งสองใบตอบคำถามนี้ และความแตกต่างระหว่างทั้งสองใบก็ทำให้เห็นได้อย่างชัดเจนว่า post-training ให้อะไรกับเราตรงนี้

การ์ดพื้นฐานบันทึกขั้นตอนการฝึกสามขั้นตอน ขั้นตอนที่ 1 สร้างแกนหลักภาษาบนพื้นฐานของ Nemotron 3 Super Base และฝึก MTP head ที่ใช้ร่วมกันเป็นเวลา 100B โทเค็นเทียบกับแกนหลักที่แช่แข็ง จากนั้นกลั่นเป็นเวลา 1T โทเค็นจาก Nemotron 3 Ultra Base ขั้นตอนที่ 2 คือ 100B โทเค็นของการฝึกล่วงหน้าต่อเนื่องภาษาอินดิก, การขยาย 35B โทเค็นไปสู่บริบท 1M, 67B โทเค็นของการฝึกกลางทางด้านวิศวกรรมซอฟต์แวร์ที่บริบท 256K, และขั้นตอนการกู้คืนบริบทยาว 9B โทเค็น ขั้นตอนที่ 3 ติดตั้งตัวเข้ารหัสภาพ C-RADIO และตัวเชื่อมต่อภาพ-ภาษา

การ์ดของโมเดลหลังการฝึก (post-trained) ระบุไว้หกขั้น และสามขั้นที่การ์ดของโมเดลฐาน (base) ไม่มี คือสามขั้นที่ทำให้โมเดลนำไปใช้ได้จริง: ขั้นที่ 4 การปรับละเอียดแบบมีผู้สอน (supervised fine-tuning) บนข้อมูลด้านภาพ การให้เหตุผล โค้ด เครื่องมือ แชต ความปลอดภัย และบริบทยาว โดยใช้ลำดับแบบแพ็ก (packed sequences) ที่ยาวสูงสุด 524,288 โทเคน; ขั้นที่ 5 การเรียนรู้แบบเสริมกำลังด้วยรางวัลที่ตรวจสอบได้ (reinforcement learning with verifiable rewards) บวกกับ RLHF บวกกับการกลั่นแบบออน-โพลิซีจากครูหลายตัว (multi-teacher on-policy distillation); และขั้นที่ 6 การเสริมความแข็งแกร่งให้หัว MTP เทียบกับ backbone แบบแช่แข็งที่ผ่านการฝึกหลังการฝึก (post-trained) เพื่อให้การถอดรหัสเชิงคาดการณ์ (speculative decoding) คุ้มค่าจริง ๆ

การ์ด Base เองก็ระบุไว้ในส่วน Inference ว่า "โมเดล Base มีไว้เพื่อเป็นจุดเริ่มต้นสำหรับการฝึกเพิ่มเติม สำหรับแอปพลิเคชันแชต การให้เหตุผล และการเรียกใช้เครื่องมือ ให้ใช้รุ่น BF16 หรือ NVFP4 ที่ผ่านการฝึกภายหลัง พร้อมคำแนะนำในการนำไปใช้งาน" กรณีการใช้งานที่ระบุไว้คือ "นักพัฒนาและนักวิจัยที่สร้างโมเดลวิชัน-ภาษาแบบกำหนดเองผ่านการฝึกล่วงหน้าต่อเนื่อง การปรับละเอียดแบบมีผู้กำกับ การเรียนรู้แบบเสริมกำลัง และการกลั่นความรู้"

นั่นเป็นข้อจำกัดความรับผิดที่ตรงไปตรงมาอย่างผิดปกติ และเป็นการตีความชิ้นงานนี้ที่ถูกต้อง สิ่งที่จัดส่งในชื่อ "base" ที่นี่ไม่ใช่โมเดลแชตที่อ่อนกว่า แต่เป็นโครงสร้างพื้นฐานที่ Stage 4 ถึง Stage 6 ถูกนำมารันด้วย และเผยแพร่เคียงคู่กับพวกมัน เพื่อให้คนอื่นสามารถรัน Stage 4 ถึง Stage 6 ที่แตกต่างออกไปได้ — บนข้อมูลของตนเอง ภายใต้เงื่อนไขสัญญาอนุญาตของตนเอง โดยไม่ต้องรันการ pre-training 20 ล้านล้านโทเคนซ้ำ

คำกล่าวอ้างเรื่อง 1M โทเคนที่คอนฟิกไม่ได้รองรับ

นี่คือความคลาดเคลื่อนที่คุ้มค่ากับ 249 GB แห่งความสนใจของคุณ

การ์ดโมเดลพื้นฐานระบุไว้ในคำอธิบายว่าโมเดล "รองรับความยาวคอนเท็กซ์สูงสุดถึง 1M โทเคน" และกล่าวซ้ำอีกครั้งในส่วนการออกแบบโมเดลว่า "โมเดลรองรับคอนเท็กซ์สูงสุด 1M โทเคน" วิธีการฝึกอบรมสนับสนุนเจตนานี้ — ขั้นตอนที่ 2 ระบุไว้อย่างชัดเจนว่า "การขยาย 35B โทเคนไปสู่คอนเท็กซ์ 1M ตามด้วยขั้นตอนการฟื้นฟูคอนเท็กซ์ยาว 9B โทเคน"

ที่จัดส่งมานั้น config.jsonบอกสิ่งที่แตกต่างออกไป max_position_embeddings ของมันคือ 262,144 — 256K ไม่ใช่ 1M ไม่มี rope_scaling บล็อก และไม่มีฟิลด์ original_max_position_embeddings ดังนั้นรูปแบบตำแหน่งจึงไม่ได้ประกาศการขยายเช่นกัน ในทางตรงกันข้าม config ของรีโพซิทอรีที่ผ่านการฝึกภายหลังประกาศ max_position_embeddings เป็น 1,048,576. มีเช็กพอยต์พี่น้องสองรายการ สตริงสถาปัตยกรรมเดียวกัน เลย์เอาต์เลเยอร์เดียวกัน และความแตกต่างเป็นสี่เท่าในขีดจำกัดตำแหน่งที่ข้อความบรรยายของการ์ดฐานไม่ได้กล่าวถึง

อ่านข้อเท็จจริงทั้งสามข้อร่วมกัน แล้วข้อสรุปที่ป้องกันได้ดีที่สุดไม่ใช่ว่าโมเดลฐานมีบริบทสั้น หากแต่คือรีโพซิทอรีฐานให้ขีดจำกัดที่ประกาศไว้อย่างอนุรักษนิยมมา และคาดหวังให้คุณเปลี่ยนมัน ส่วนขยาย 1M ถูกฝึกมาแล้ว แต่ config ที่เผยแพร่ไม่ได้เปิดเผยมัน หากแผน continued-pretraining ของคุณสมมติความยาวลำดับ 1M โทเคนแบบพร้อมใช้ทันที สมมติฐานนั้นมาจากการ์ด ไม่ใช่จากไฟล์ที่รันไทม์จะอ่านจริง — และวิธีแก้คือการแก้ไข config ที่คุณต้องรู้ว่าต้องทำ

ควรตั้งข้อสังเกตด้วยเหตุผลเดียวกัน: ตาราง Model Summary ของการ์ดฐานนั้นไม่มีอยู่เลย การ์ดที่ผ่านการฝึกหลังมีตารางนี้ — จำนวนพารามิเตอร์ทั้งหมด สถาปัตยกรรม ความแม่นยำ ความยาวบริบท เป้าหมายการปรับใช้ การถอดรหัสแบบคาดการณ์ โหมดการให้เหตุผล การสุ่มที่แนะนำ เหมาะสำหรับ ใบอนุญาต การ์ดฐานข้ามจาก Description ไปยัง Licence ทันที แล้วไปที่ตารางเกณฑ์มาตรฐาน ไม่มีแถวการสุ่มที่แนะนำอยู่ที่ไหนเลย และไม่มีแถวการปรับใช้ ดังนั้นไม่มีอะไรบนการ์ดฐานที่บอกคุณว่ามันต้องการฮาร์ดแวร์แบบใด

สถาปัตยกรรม ซึ่งอ่านได้จากคอนฟิกที่จัดส่งมาพร้อมระบบ

เนื่องจากคำอธิบายของผู้ขายเกี่ยวกับสถาปัตยกรรมพื้นฐานเป็นเพียงย่อหน้าหนึ่ง และรูปร่างที่แท้จริงอยู่ในไฟล์ นี่คือสิ่งที่ไฟล์ระบุ ข้อมูลทั้งหมดนี้เป็นข้อมูลโดยตรงจาก config.json ในรีโพซิทอรีหลัก ไม่ใช่จากบทสรุปใด ๆ

• ความลึกและองค์ประกอบ — 88 บล็อกในโครงสร้างหลักภาษา 40 เป็นเลเยอร์ Mamba-2, 40 เป็นเลเยอร์ mixture-of-experts และ 8 เป็นเลเยอร์ attention แบบเต็ม ที่ดัชนี 7, 16, 25, 36, 47, 58, 69 และ 78 การมีบล็อก attention เพียงหนึ่งบล็อกทุก ๆ ประมาณเก้าชั้นก็เป็นกลไก long-context ทั้งหมด

• MoE — routed expert 512 รายต่อเลเยอร์ MoE เลือก 22 รายต่อโทเคน มี shared expert หนึ่งราย ขนาด latent 1024 และขนาด intermediate ของ shared expert 5376 เทียบกับ 2688 สำหรับ routed expert นั่นคือคณิตศาสตร์เบื้องหลังพาดหัว "120B total, 12B active"

• แอตเทนชัน — 32 เฮดคิวรีเทียบกับ 2 เฮดคีย์-แวลูที่มิติเฮด 128 จึงเป็น grouped-query attention ในอัตราส่วน 16:1 ขนาดฮิดเดน 4096

• MTP — เลเยอร์ทำนายโทเคนถัดไปหนึ่งเลเยอร์ ซึ่งประกอบขึ้นจากบล็อกแอตเทนชันและบล็อก MoE ในสไตล์ของหัวทำนายหลายโทเคนของ DeepSeek เป็นการทำนายเพียงขั้นตอนเดียว ไม่ใช่หลายขั้นตอน

• Vision — ทาวเวอร์ C-RADIO ViT-H: 32 เลเยอร์, ขนาดฮิดเดน 1280, 16 เฮด, ขนาดแพตช์ 16, โทเคนลงทะเบียน 7 ตัว, โทเคนคลาส 3 ตัว, ขนาดภาพสูงสุด 2048 และงบแพตช์ระหว่าง 1024 ถึง 13312 ตัวเชื่อมต่อฉายไปที่ 20,480 จากนั้นอัตราส่วนดาวน์แซมเพิล 0.5 และขนาดภาพบังคับ 512 ก็ดึงจำนวนโทเคนกลับลงมา

• วิดีโอ — ขนาดแพตช์เชิงเวลาเท่ากับ 2 และอัตราการตัดทอนที่ประกาศไว้ที่ 0.7

• ความแปลกประหลาดสองอย่าง — คอนฟิกประกาศ<audio> โทเคนบริบท ในขณะที่sound_config ของมันเป็น null ดังนั้นระบบท่อส่งสำหรับเสียงมีอยู่ในสถาปัตยกรรมนี้ และเช็กพอยต์นี้ไม่มีส่วนนั้นเลย และtie_word_embeddings เป็น false ซึ่งเป็นเรื่องปกติสำหรับโมเดลขนาดนี้ และเป็นเรื่องที่ควรรู้หากคุณวางแผนจะปรับขนาดคำศัพท์

เพื่อให้เห็นสเกล: เมทาดาทา safetensors ของรีโพซิทอรีเองรวมทั้งหมด 124,453,395,974 พารามิเตอร์ โดยนับทีละไบต์ของเทนเซอร์ เทียบกับพาดหัว 120B-total / 12B-active ของ NVIDIA ตัวเลขสองจำนวนนี้รายงานบนฐานที่ต่างกัน — ตัวเลขจากผู้ขายคือเลขคณิตแบบ routed-plus-shared ของโมเดลภาษา ส่วนตัวเลขจากไฟล์คือทุกอย่างที่จัดเก็บอยู่ในรีโพซิทอรี รวมทั้ง vision tower และ MTP head อย่ามองช่องว่างนี้ว่าเป็นความคลาดเคลื่อน ให้คำนวณเผื่อตามขนาดไฟล์

สิ่งที่ตารางเบนช์มาร์กวัดได้จริง ๆ

การ์ดรุ่นพื้นฐานเผยแพร่แถวผลทดสอบ 24 แถว และต้องให้เครดิต NVIDIA ที่มีคอลัมน์ที่บอกว่าแต่ละแถวคืออะไร:

• MMLU 84.14 การจับคู่แบบตรงทั้งหมด · MMLU-Pro 76.25 · AGIEval-En 75.65 CoT · SuperGPQA 47.65 CoT · GPQA Diamond 66.16 ด้วย 5-shot CoT การจับคู่แบบตรงทั้งหมด

• GSM8K 91.74 ด้วย 8-shot CoT · Minerva MATH 87.66 · MATH-500 81.56 แบบสุ่ม pass@1 n=32 · HumanEval 81.31 EvalPlus sanitized · MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench 48.42 complete และ 49.39 instruct

• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39

• Global MMLU 86.56 เฉลี่ยจาก 8 ภาษา · MGSM 87.53 ด้วย 8-shot native CoT ใน 6 ภาษา

มีสองสิ่งเกี่ยวกับตารางนั้นที่มองข้ามได้ง่าย และทั้งสองอย่างก็สำคัญ

ก่อนอื่น ประโยคเกริ่นของการ์ดเองระบุว่าผลลัพธ์เหล่านี้ "ประเมินแบ็กโบนฐานข้อความล้วน Nemotron 3.5 Super ก่อนการฝึกด้านภาพ–ภาษา" ไม่ว่าสิ่งนี้จะหมายความถึงอะไรก็ตาม มันหมายความว่าตัวเลขเหล่านี้ไม่ใช่บัตรคะแนนแบบหลายรูปแบบ — ไม่มีเกณฑ์วัด OCR ไม่มีแถวความเข้าใจเอกสาร ไม่มีแถววิดีโอที่ไหนเลยบนการ์ดฐาน แม้ว่าอินพุตวิดีโอและเอกสารจะถูกอธิบายไว้สองส่วนก่อนหน้านี้ก็ตาม หากเหตุผลที่คุณอยากได้เช็กพอยต์ฐานคือวิชันทาวเวอร์ของการ์ดนี้ การ์ดก็ไม่ได้ให้ข้อมูลเชิงประจักษ์ใด ๆ แก่คุณสำหรับใช้วางแผนเลย

ประการที่สอง ตารางไม่มีคอลัมน์ baseline เลย ตารางของการ์ดที่ผ่าน post-training มีความกว้างเจ็ดคอลัมน์ — N​emotron 3.5 Super GA เทียบกับ Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, N​emotron 3 Ultra, Inkling-Small และ GLM-5.3-Flash ส่วนการ์ด base มีเพียงคอลัมน์เดียว และการผสมผสานของสิ่งที่รันนั้นบอกอะไรได้มาก การ์ด post-trained ตัด MMLU ทิ้งไปเลยเพื่อหันมาใช้ MMLU-ProX ขณะที่การ์ด base รันทั้ง MMLU และ MMLU-Pro และไม่ได้รันทั้ง MMLU-ProX และชุดทดสอบระดับ agentic กับระดับ harness ที่การ์ด post-trained พึ่งพา คุณตอบไม่ได้จากตัวการ์ดว่า "base ตัวนี้ดีกว่า base ตัวนั้นไหม" คุณต้องรันทั้งสองตัว

ตัวเลขทุกตัวข้างต้นเป็นของ NVIDIA ทั้งหมด ผลิตขึ้นผ่านฮาร์เนส NeMo Gym ของ NVIDIA เอง — การ์ดเวอร์ชัน post-trained ระบุไว้อย่างชัดเจน ส่วนการ์ดเวอร์ชัน base ไม่ได้เผยแพร่บันทึกเกี่ยวกับฮาร์เนสไว้เลย ไม่มีสิ่งใดในตารางทั้งสองที่ถูกทำซ้ำขึ้นมาใหม่โดยอิสระ

Base เทียบกับ post-trained ในเบนช์มาร์กเดียวที่ทั้งคู่มีร่วมกัน

การ์ดทั้งสองไม่ได้ใช้ตาราง benchmark ร่วมกัน แต่มีอยู่แถวหนึ่งที่คุณสามารถนำมาเปรียบเทียบเคียงข้างกันได้ และมันคือแถวที่สำคัญที่สุด

• GPQA Diamond — 66.16 บนการ์ด base เมื่อใช้การจับคู่แบบตรงเป๊ะด้วย 5-shot chain-of-thought และ 89.52 บนการ์ดหลังการฝึก ช่องว่าง 23.36 คะแนน จากเอกสารสองฉบับของ NVIDIA เอง โดยตัวเลข base ถูกระบุไว้อย่างชัดเจนว่าเป็น backbone แบบข้อความล้วน

นั่นคือพาดหัวที่ตรงไปตรงมาสำหรับคุณค่าของสเตจ 4 ถึง 6 ในการให้เหตุผลทางวิทยาศาสตร์ระดับบัณฑิตศึกษา: post-training ไม่ใช่การขัดเกลาครั้งสุดท้ายบนโมเดลนี้ แต่เป็นความสามารถที่เพิ่มขึ้นอีกประมาณครึ่งหนึ่ง มันยังบอกทิศทางของข้อแลกเปลี่ยนให้คุณด้วย หากแผนของคุณคือทำ post-training ให้เช็กพอยต์ฐานด้วยตัวเอง คุณกำลังเริ่มต้นตามหลังโมเดลที่ NVIDIA วางขายอยู่ 23 คะแนน และเดิมพันว่าข้อมูลและสัญญาณรางวัลของคุณจะปิดช่องว่างนั้นในโดเมนของคุณ — ซึ่งก็คือเดิมพันที่ตัวเลขลูกค้าของ NVIDIA เองอธิบายไว้พอดี: Scale AI รายงานการลดต้นทุนการอนุมาน 40 เท่าสำหรับการประมวลผลเครดิตผู้ขาย, Ramp คาดว่าจะมีปริมาณงานที่ประมวลผลได้สูงขึ้นถึง 50% และความหน่วงต่ำลง 10 เท่าสำหรับการดึงข้อมูลใบเสร็จเป็น JSON ผลลัพธ์เหล่านั้นเป็นสิ่งที่ผู้ขายและลูกค้าระบุ โดยไม่มีการวัดผลโดยอิสระ และเป็นหลักฐานที่เผยแพร่เพียงอย่างเดียวว่าการปิดช่องว่างนั้นเป็นไปได้

โปรดระวังกับดักในการอ่านการ์ดทั้งสองใบร่วมกัน "MMLU-Pro" บนการ์ดฐานที่ 76.25 กับ "MMLU-ProX" บนการ์ดหลังฝึกที่ 76.91 ดูเหมือนเป็นช่องว่าง 0.66 จุด แต่ไม่สามารถเปรียบเทียบกันได้ — เป็นเบนช์มาร์กคนละตัว โดยตัวหนึ่งระบุวิธีการสกัดของ TigerLab ไว้ ส่วน "MMLU" บนการ์ดฐานที่ 84.14 ไม่มีคู่เทียบบนการ์ดหลังฝึกเลยแม้แต่รายการเดียว ถ้าคุณต้องการค่าเดลต้าของเบนช์มาร์กเดียวกัน GPQA Diamond คือตัวที่คุณได้ และ LiveCodeBench คือตัวที่คุณไม่ได้: การ์ดฐานรายงาน CodeGen ที่ 47.61 ขณะที่การ์ดหลังฝึกรายงาน LiveCodeBench v6 ที่ 88.22 ซึ่งเป็นคนละเวอร์ชันของตระกูลเบนช์มาร์กเดียวกัน ไม่ใช่ค่าเดลต้า

249 GB ซื้ออะไรได้ และซื้ออะไรไม่ได้

การดาวน์โหลดเองเป็นเพียงคำสั่งเดียว และเป็นคำสั่งเดียวในบัตรโมเดลพื้นฐานทั้งหมด:

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

นั่นคือ Quick Start ทั้งหมด การ์ดพื้นฐานมีบล็อกโค้ดหนึ่งบล็อก การ์ดที่ผ่านการฝึกแบบ post-trained มีทั้งหมดยี่สิบสองบล็อก ไม่มี vllm serve บรรทัด ไม่มี SGLang launch ไม่มีคำแนะนำเรื่อง tensor-parallel ไม่มี --max-num-seqs ไม่มีแฟล็ก reasoning parser ไม่มีการกำหนดค่า MTP สำหรับ speculative decoding และไม่มีตัวอย่างไคลเอนต์ API การ์ดที่ผ่านการฝึกแบบ post-trained มีทั้งหมดนี้ รวมถึงสูตร 4×H100 ที่ใช้ --enable-mamba-shared-prefix-checkpoint และสูตร 2×GB200 ที่ TP2

• เอนจินรันไทม์ — การ์ดพื้นฐานระบุชื่อ PyTorch, Megatron-LM และ NeMo และส่วน Inference ของการ์ดระบุเพียง PyTorch เท่านั้น ส่วนการ์ดแบบ post-trained ระบุชื่อ vLLM และ SGLang ชื่อเหล่านั้นเป็นชื่อเฟรมเวิร์กสำหรับการฝึกในด้านหนึ่ง และเป็นชื่อรันไทม์สำหรับการให้บริการในอีกด้านหนึ่ง และการแยกเช่นนี้เป็นความตั้งใจโดยเจตนา มิใช่เรื่องบังเอิญ

• ทดสอบฮาร์ดแวร์ — Hopper H100 และ H200, Grace Blackwell GB200 และ GB300, Blackwell B200 และ B300 สำหรับการ์ดที่ผ่านการฝึกต่อยอด (post-trained) จะจำกัดลงเหลือ 4×H100 หรือ 2×GB200 สำหรับการนำไปใช้งาน

• ดิสก์ — 248.9 GB กระจายอยู่บน 63 ชาร์ด เท่ากับบิลด์ความแม่นยำเต็มรูปแบบที่ผ่าน post-training แล้ว ส่วนรุ่นพี่น้อง NVFP4 อยู่ที่ 75.1 GB หากคุณดาวน์โหลด base มาเพื่อตรวจสอบหรือดัดแปลงแทนที่จะรันมัน คุณกำลังจ่ายค่าดาวน์โหลดแพงกว่า NVFP4 ถึง 3.3 เท่า เพื่อแลกกับสิทธิ์ในการไม่ได้รับสูตรการเสิร์ฟเลย

สิ่งที่คุณได้มาจริง ๆ ซึ่งใช้งานได้จริงคือ: ที่เก็บโค้ดมีไฟล์ฉบับสมบูรณ์chat_template.jinja ขนาด 12,513 ไบต์ และมีenable_thinking ซึ่งเป็นสวิตช์ รวมถึงตัวแปรแบบใช้ความพยายามปานกลาง นอกจากนี้ยังมีgeneration_config.json ที่มีtemperature 1.0, top_p 0.95 และ do_sample เป็น true การเปรียบเทียบเทมเพลตนั้นกับเทมเพลตที่ผ่านการฝึกภายหลังให้ผลต่าง 414 ไบต์ ซึ่งทั้งหมดเป็นการจัดการช่องว่างรอบตัวแทนรูปภาพและวิดีโอ — นอกเหนือจากนั้น เทมเพลตทั้งสองเป็นไฟล์เดียวกัน

ดังนั้นกลไกการเชื่อมต่อเพื่อพูดคุยกับเช็กพอยต์ฐานในฐานะโมเดลแชตนั้นมีอยู่แล้ว และแทบจะเหมือนกับโมเดลแชตที่เปิดตัวแล้วทุกประการ สิ่งที่ขาดไปคือคำกล่าวใด ๆ ว่าคุณควรทำเช่นนั้น บนการ์ดฐานไม่มีแถวการสุ่มที่แนะนำ ไม่มีแถวโหมดให้เหตุผล และไม่มีการวัดมาตรฐานสำหรับมันในการตั้งค่าแชต คุณสามารถให้บริการมันในฐานะโมเดลแชตได้ภายในเวลาประมาณสิบนาที ส่วนว่าผลลัพธ์สมควรจะออกจากฮาร์เนสทดสอบหรือไม่นั้นเป็นอีกคำถามหนึ่ง และคำตอบของการ์ดก็คือไม่สมควร

การเปิดเผยคลังข้อมูลที่ไม่มีใครพูดถึง

นี่คือส่วนหนึ่งของรีลีสพื้นฐานที่อาจกล่าวได้ว่ามีประโยชน์ยิ่งกว่าเวทเสียอีก และแทบไม่ได้รับความสนใจเลย เพราะมันอยู่ในตารางบนรีโปที่ไม่เคยถูกลิงก์ไว้

การ์ดฐานเผยแพร่คลังข้อมูลการฝึกอย่างละเอียด ซึ่งการ์ดแบบ post-trained ไม่ได้ระบุไว้: คลังข้อมูลรากฐานที่มีมากกว่า 20 ล้านล้านโทเคนที่รวบรวมระหว่างปี 2013 ถึงธันวาคม 2025 โดยแจกแจงตามแหล่งที่มา — N​emotron-CC-v2 และ v2.1 จำนวน 9.1T, N​emotron-CC-Code-v1 จำนวน 427.9B, ชุด N​emotron-Pretraining-Code จำนวน 1.7T รวมกัน, N​emotron-CC-Math-v1 จำนวน 133.3B, ชุดข้อมูลสังเคราะห์เฉพาะทางและ SFT จำนวน 660B และชุดข้อมูลด้านกฎหมายจำนวน 4.3B ภาษาอังกฤษ ภาษาพูดอื่น ๆ อีก 19 ภาษา ภาษาโปรแกรม 43 ภาษา

จากนั้นคือสองตารางที่การเปิดตัวโมเดลแบบเปิดน้ำหนักส่วนใหญ่ไม่ได้เผยแพร่เลย ตารางหนึ่งระบุรายชื่อชุดข้อมูลส่วนตัวที่บุคคลที่สามเป็นเจ้าของและไม่เปิดให้เข้าถึงได้โดยสาธารณะ พร้อมระบุชื่อโมเดลที่สร้างป้ายกำกับให้ชุดข้อมูลเหล่านั้น — Qwen3.5-122B-A10B ในงานติดป้ายกำกับใหม่ด้าน OCR และการตอบคำถามจากภาพในหลายงาน, DeepSeek-OCR บนชุดย่อย OCR ภาษาจีนที่ผ่านการกรอง, Qwen3.5 บนชุดย่อยที่ตรวจสอบแล้วว่าถูกต้อง, Gemini 3 และ GPT-5 บนข้อมูล RL สำหรับการค้นหา ตารางอีกตารางระบุรายชื่อชุดข้อมูลส่วนตัวของ NVIDIA เอง และระบุชื่อตัวสร้างอีกครั้ง: Kimi K3 สำหรับข้อมูล SFT แบบลูกโซ่ความคิดทางคณิตศาสตร์, DeepSeek-V4-Pro สำหรับ OCR ด้านการเขียนโปรแกรมเชิงแข่งขัน, gpt-oss-120b สำหรับ RL แบบเอาต์พุตที่มีโครงสร้าง, GLM-5.2 สำหรับการปรับแต่งให้ละเอียด, MiniMax-M2 สำหรับการเดินกราฟการค้นหา และอื่น ๆ อีกมากมาย

จากนั้นคือตารางสองตารางที่การเปิดตัวโมเดลแบบเปิดน้ำหนักส่วนใหญ่แทบไม่เคยเผยแพร่เลย ตารางหนึ่งระบุรายชื่อชุดข้อมูลส่วนตัวที่บุคคลภายนอกเป็นเจ้าของและไม่เปิดให้เข้าถึงได้โดยสาธารณะ พร้อมระบุชื่อโมเดลที่สร้างป้ายกำกับให้ชุดข้อมูลเหล่านั้น — Qwen3.5-122B-A10B ในงานติดป้ายใหม่ด้าน OCR และการตอบคำถามจากภาพหลากหลายงาน, DeepSeek-OCR บนชุดย่อย OCR ภาษาจีนที่ผ่านการกรอง, Qwen3.5 บนชุดย่อยที่ตรวจสอบแล้วว่าถูกต้อง, Gemini 3 และ GPT-5 บนข้อมูล RL สำหรับการค้นหา ส่วนอีกตารางหนึ่งระบุรายชื่อชุดข้อมูลส่วนตัวของ NVIDIA เอง และระบุชื่อผู้สร้างเช่นกัน: Kimi K3 สำหรับข้อมูล SFT แบบลูกโซ่ความคิดทางคณิตศาสตร์, DeepSeek-V4-Pro สำหรับ OCR งานเขียนโปรแกรมเชิงแข่งขัน, gpt-oss-120b สำหรับ RL แบบเอาต์พุตที่มีโครงสร้าง, GLM-5.2 สำหรับการขัดเกลา, MiniMax-M2 สำหรับการเดินกราฟการค้นหา และอื่น ๆ อีกเป็นหางยาว ตารางที่จับคู่กันนี้เป็นเครื่องเตือนใจว่าอุตสาหกรรมนี้ทำงานอย่างไรจริง ๆ — สัญญาณการฝึกของโมเดลแนวหน้ามักรวมถึงเอาต์พุตจากโมเดลของคู่แข่ง และ NVIDIA เป็นหนึ่งในไม่กี่แล็บที่จะบอกว่าใช้ของใครและใช้เพื่ออะไร

รีโพซิทอรีนี้ยังมาพร้อมกับ Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf ซึ่งเพิ่มเมื่อวันที่ 15 ตุลาคม และเป็นการเปิดเผยเนื้อหาที่ใช้ในการฝึกโมเดลสำหรับสหภาพยุโรป ส่วนผสมในขั้น mid-training ก็ถูกเปิดเผยในระดับรายละเอียดเดียวกัน และมีอยู่หนึ่งบรรทัดที่เกี่ยวข้องโดยตรงหากคุณตั้งใจจะ fine-tune สำหรับงานด้านซอฟต์แวร์ นั่นคือ ขั้นตอนวิศวกรรมซอฟต์แวร์ขนาด 67B โทเคน ประกอบด้วย 20% เป็นรีโพซิทอรีทั้งแห่ง 41% เป็นคู่ของ issue-and-pull-request 3% เป็น commit diffs 1% เป็น build และ CI logs 10% เป็น agent traces 20% เป็น pre-training replay และ 5% เป็นข้อมูล long-context โดยแหล่งที่มาของมันถูก decontaminate เทียบกับรีโพซิทอรี SWE-bench และ Terminal-Bench คำแถลงเกี่ยวกับการ decontaminate นั้นคือบรรทัดเดียวใน model card ที่บอกคุณว่าคะแนนบน benchmark ไม่ว่าจะตัวใดมีค่าอยู่ที่เท่าไร

สัญญาอนุญาต และ base checkpoint นี้มีไว้สำหรับใคร

OpenMDW-1.1 ซึ่งเป็นสัญญาอนุญาตเดียวกันกับบิลด์ที่ผ่านการฝึกภายหลัง โดยการ์ดโมเดลระบุไว้อย่างชัดเจนว่า "โมเดลนี้พร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่ใช่เชิงพาณิชย์" รีโพซิทอรีไม่ถูกจำกัดการเข้าถึง และไม่จำเป็นต้องใช้โทเคน Hugging Face สำหรับการดาวน์โหลด แม้ว่าสูตรคอนเทนเนอร์ของ NVIDIA เองที่อื่นในตระกูลนี้จะถือว่าต้องใช้โทเคนดังกล่าว

วางสัญญาอนุญาตไว้ข้างกรณีการใช้งาน แล้วกลุ่มเป้าหมายที่ตั้งใจก็จะชัดเจนไม่กำกวม ไม่มีใครดาวน์โหลดเช็กพอยต์ก่อนการทำ post-training ขนาด 249 GB เพื่อประหยัดค่าใช้จ่ายในการอินเฟอเรนซ์ — บิลด์ NVFP4 นั้นเล็กกว่า 3.3 เท่า เร็วกว่า และทำคะแนนบน GPQA Diamond ดีกว่าอยู่ 23 คะแนน เช็กพอยต์ฐานนี้มีไว้สำหรับทีมที่ตั้งใจจะเป็นเจ้าของขั้นตอน post-training: โดเมนที่แตกต่าง สัญญาณรางวัลที่แตกต่าง หรือนโยบายข้อมูลที่แตกต่างจากที่ NVIDIA รัน ภายใต้ OpenMDW-1.1 ซึ่งอนุญาตให้ใช้เชิงพาณิชย์และน้ำหนักโมเดลไม่ถูกปิดกั้น นั่นเป็นสิ่งที่ชอบธรรมที่จะสร้างผลิตภัณฑ์บนนั้น ซึ่งเป็นเหตุผลว่าทำไมเอกสารที่ขาดหายไปจึงมีต้นทุน

และตรงนี้ก็คุ้มค่าที่จะแยกผู้อ่านออกเป็นสองประเภท หากคำถามของคุณคือ "สัปดาห์นี้ฉันควรเรียกใช้อะไรสำหรับการแยกวิเคราะห์เอกสารหรือการทำความเข้าใจวิดีโอ" base checkpoint ไม่ใช่คำตอบของคุณ และไม่เคยเป็นคำตอบเลย คำตอบคือโมเดลที่ผ่าน post-training ต่างหาก และคำถามที่ยังเปิดอยู่ตรงนั้นคือการตรวจสอบ benchmark มากกว่าความพร้อมใช้งาน หากคำถามของคุณคือ "ฉันจะได้ backbone แบบ vision-language ระดับ 120B ที่เป็น hybrid Mamba-MoE พร้อมสัญญาอนุญาตแบบเปิดกว้าง มาเป็นจุดเริ่มต้นสำหรับการเทรนของตัวเองได้ไหม" ถ้างั้น repository นี้คือคำตอบ และมันยังคงไม่ถูกใส่ลิงก์มาตั้งแต่วันที่ 12 ตุลาคม

ถ้าคุณจะประเมินมัน

ความผิดพลาดราคาแพงกับเช็กพอยต์แบบนี้ คือการมองว่าการดาวน์โหลดคือการทดสอบ มันไม่ใช่เลย: 249 GB, 63 ชาร์ด และการแก้ไขคอนฟิกก่อนฟอร์เวิร์ดพาสครั้งแรก ไม่ได้บอกอะไรคุณเลยว่าวิชันทาวเวอร์จะถ่ายโอนไปยังคลาสเอกสารของคุณได้หรือไม่

การทดสอบแบบประหยัดคือการสร้างคำถามเรื่องความสามารถบนโมเดลที่ให้บริการก่อน แล้วค่อยใช้พื้นที่ดิสก์ เกตเวย์จัดเส้นทางมีประโยชน์สำหรับเรื่องนั้น และไม่มีประโยชน์สำหรับสิ่งอื่นใดในการตัดสินใจนี้ — คีย์เดียวและปลายทางเดียวครอบคลุมโมเดลหลายร้อยตัวในราคาตามรายการของผู้ให้บริการ โดยมีมาร์กอัป 0% ส่งผ่าน หมายความว่าคุณสามารถนำบิลด์ N​emotron 3.5 Super VL ที่ผ่านการฝึกหลังการฝึก ไปเทียบกับโมเดลวิชันใดก็ตามที่คุณใช้อยู่ บนภาพของคุณเอง ในหนึ่งบ่าย และด้วยค่าใช้จ่ายเท่ากับค่าโทเคน การสลับใช้งานอัตโนมัติระหว่างผู้ให้บริการสำคัญตรงนี้ด้วยเหตุผลเฉพาะเจาะจง: การรันประเมินผลที่ล้มเหลวตรงคำขอที่ 4,000 จาก 5,000 ทำให้คุณเสียการรันทั้งหมด และเกตเวย์ที่ลองใหม่ที่อื่นเมื่อผู้ให้บริการเกิดข้อผิดพลาดคือความแตกต่างระหว่างหนึ่งบ่ายกับสองบ่าย

เพื่อให้ชัดเจนเกี่ยวกับสิ่งหนึ่งที่อาจคลุมเครือ: NVIDIA Nemotron 3.5 Super VL ไม่ได้อยู่ในแค็ตตาล็อกของเรา เราไม่ให้บริการโมเดลนี้ในปัจจุบัน และโดยเฉพาะอย่างยิ่ง base checkpoint ไม่ใช่สิ่งที่โฮสต์เอนด์พอยต์มีแนวโน้มจะให้บริการเลย เพราะ base checkpoint ไม่ใช่ผลิตภัณฑ์สำหรับการอนุมาน สิ่งที่เกตเวย์มอบให้คุณคือครึ่งหนึ่งที่ราคาถูกของการทดลอง — การเปรียบเทียบที่บอกคุณว่าการจ่าย 249 GB คุ้มค่าหรือไม่

อะไรที่ยังไม่ได้รับการกำหนด

สี่เรื่อง ซึ่งระบุว่าเป็นช่องว่างมากกว่าความเสี่ยง

• ขีดจำกัดบริบทใดคือของจริง การ์ดระบุว่า 1M คอนฟิกที่จัดส่งมาประกาศว่า 262,144 และคำอธิบายการฝึกกล่าวว่ามีการรันส่วนขยาย 1M ไม่มีแถลงการณ์ที่เผยแพร่ซึ่งไขข้อขัดแย้งทั้งสามนี้ ใครก็ตามที่วางแผนจะรันการฝึกฝนล่วงหน้าต่อเนื่องแบบบริบทยาว ควรถือว่าค่าคอนฟิกเป็นค่าเริ่มต้น และตรวจสอบกับรันไทม์ของตนแทนที่จะเชื่อการ์ด

• สิ่งที่ vision tower ทำได้ การ์ดพื้นฐานไม่เผยแพร่การประเมินแบบหลายรูปแบบใด ๆ เลย ไม่มี OCR ไม่มีเอกสาร ไม่มีแผนภูมิ ไม่มีแถววิดีโอ — สำหรับ checkpoint เพียงหนึ่งเดียวในตระกูลที่จุดประสงค์ทั้งหมดคือการ fine-tune บนรูปแบบเหล่านั้น นั่นคือช่องโหว่ที่ใหญ่ที่สุดในหลักฐานที่เผยแพร่

• โมเดลฐานเปรียบเทียบกับสิ่งอื่นได้อย่างไร ตารางเกณฑ์มาตรฐานแบบคอลัมน์เดียว ไม่มีเส้นฐานเปรียบเทียบ ไม่มีหมายเหตุเกี่ยวกับฮาร์เนส ตัวเลข 66.16 ของ GPQA Diamond สามารถทำซ้ำได้ในทางหลักการผ่าน NeMo Gym และยังไม่เคยมีใครนอก NVIDIA ทำซ้ำได้

• ไม่ว่าโมเดลฐานจะมีการจัดส่งสูตรการติดตั้งใช้งานแบบ 1M ไว้ที่ใดหรือไม่ การ์ดของเวอร์ชัน post-trained มีคำสั่งเปิดใช้งาน 4×H100 และ 2×GB200 สำหรับหน้าต่างเต็ม ส่วนการ์ดของโมเดลฐานมีเพียง hf download ยังไม่ชัดเจนว่านี่เป็นช่องว่างในเอกสาร หรือเป็นข้อบ่งชี้ว่าการให้บริการโมเดลฐานที่ 1M ไม่ใช่สิ่งที่ NVIDIA ตั้งใจจะรองรับ

ไม่มีสิ่งใดในนั้นทำให้การเปิดตัวครั้งนี้น่าสนใจน้อยลง มันทำให้เช็กพอยต์ฐานกลายเป็นอาร์ติแฟกต์ที่มีเอกสารประกอบน้อยที่สุดของตระกูล และสำหรับทีมประเภทเฉพาะกลุ่มและเฉพาะเจาะจง มันกลับเป็นสิ่งที่มีประโยชน์ที่สุด — ความแตกต่างอยู่ที่ว่าขั้นตอนถัดไปของคุณคือการเรียก API หรือการรันเทรน

สำหรับโมเดลที่โหมดความล้มเหลวยังไม่มีการบันทึกไว้ สิ่งที่เทียบเคียงได้อย่างมีประโยชน์คือบันทึกของสิ่งที่เคยผิดพลาดในที่อื่นแล้ว: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้ซึ่งเกี่ยวข้องกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง เกรดความเชื่อมั่น และแฟล็กข้อโต้แย้งของตนเอง