NVIDIA Nemotron 3.5 Super VL: โมเดลเปิดขนาด 120B ที่เปิดตัวก่อนบล็อกโพสต์ของตัวเองเสียอีก

น้ำหนักของ N​VIDIA N​emotron 3.5 Super VLอยู่บน Hugging Face สามวันก่อนที่ N​VIDIA จะเขียนถึงมัน รีโพแบบความแม่นยำเต็ม nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16 ถูกสร้างเมื่อ 2026-10-12T15:32:06Z คู่หูเวอร์ชันควอนไทซ์ของมัน nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4 ถูกอัปโหลดขึ้น 24 วินาทีต่อมา บล็อกนักพัฒนาของ N​VIDIA เองที่อธิบายโมเดลนี้ลงวันที่ 15 ตุลาคม 2026 — วันเดียวกับที่การ์ดโมเดลของมันระบุว่า "Hugging Face - 10/15/2026" ดังนั้นอาร์ติแฟกต์สาธารณะและประกาศสาธารณะจึงปรากฏในคนละวัน และช่วงห่างนั้นเล็กพอที่ไม่มีวันที่ใดผิด และทั้งคู่ก็ควรค่าแก่การรู้

ต่อไปนี้คือสิ่งที่ repo และโพสต์ของ NVIDIA กล่าวไว้จริง ๆ เกี่ยวกับโมเดลด้านภาพและภาษาแบบ 120B พารามิเตอร์ เปิดใช้งาน 12B นี้: สถาปัตยกรรม การคำนวณสำหรับการปรับใช้ จุดที่ตารางที่เผยแพร่ของตัวโมเดลเองแสดงว่าเป็นฝ่ายแพ้ และกับดักด้านไลเซนส์ที่โพสต์บล็อกไม่เคยกล่าวถึง

N​emotron 3.5 Super VL จริง ๆ แล้วคืออะไร

NVIDIA อธิบายไว้ในโพสต์ของตัวเองว่าเป็น "โมเดลหลายรูปแบบที่เปิดให้ปรับแต่งได้" ซึ่งสร้างขึ้นสำหรับเวิร์กโฟลว์ของเอเจนต์เฉพาะทาง — การให้เหตุผล การปฏิบัติตามคำสั่ง และการใช้เครื่องมือ ผสมผสานกับการทำความเข้าใจข้อความ รูปภาพ เอกสาร และวิดีโอในชุดน้ำหนักเดียว จุดประสงค์ของการผสมผสานนี้ ตามที่ NVIDIA กำหนดกรอบไว้ คือทีมต่างๆ "สามารถจัดการงานด้านข้อความและภาพโดยไม่ต้องปรับใช้โมเดลข้อความและโมเดลภาษา-ภาพแยกกัน หรือส่งต่อบริบทของงานระหว่างกัน"

สถาปัตยกรรม ตามที่ระบุในการ์ดโมเดล:

• Shape — พารามิเตอร์รวม 120B เปิดใช้งาน 12B ต่อโทเคน เป็นโมเดลแบบ mixture-of-experts ที่มี routed experts 512 ตัวต่อเลเยอร์ MoE

• Backbone — เลเยอร์ Mamba-2, attention และ MoE ที่สลับแทรกกัน เป็นดีไซน์ไฮบริดของ N​emotron ที่สืบทอดมาจากตระกูล N​emotron 3

• การมองเห็น — ตัวเข้ารหัสการมองเห็น C-RADIO บวกกับตัวเชื่อมต่อระหว่างการมองเห็นกับภาษา สตริงสถาปัตยกรรมของ transformers คือ NemotronH_Omni_Reasoning_V3 ประเภทโมเดลคือ nemotron_h_omni.

• บริบท — สูงสุด 1M โทเคน โดยพรอมต์ รูปภาพ ประวัติการสนทนา ผลลัพธ์จากเครื่องมือ และคำตอบที่สร้างขึ้น ต่างใช้หน้าต่างนี้ร่วมกันทั้งหมด

• การถอดรหัสเชิงคาดการณ์ — เฮด Multi-Token Prediction แบบเนทีฟ จึงไม่จำเป็นต้องดาวน์โหลดดราฟเตอร์แยกต่างหากสำหรับสูตร vLLM และ SGLang ที่ N​VIDIA เผยแพร่

• โหมดการให้เหตุผล — สลับเปิด/ปิดได้ผ่านเทมเพลตแชตด้วย enable_thinking โดยมีค่าตั้ง medium_effort อยู่ตรงกลาง โทเคนการให้เหตุผลและคำตอบใช้บัดเจ็ต max_tokens ร่วมกัน ซึ่งการ์ดระบุไว้อย่างชัดเจนเนื่องจากมักเป็นสาเหตุที่ทำให้เอาต์พุตของเอเจนต์ถูกตัดทอน

• อินพุต — ข้อความ, ภาพ RGB (JPEG, PNG) และวิดีโอ MP4 ความยาวไม่เกินสองนาที การสุ่มตัวอย่างวิดีโอที่แนะนำในสูตร vLLM คือ 2 FPS และ 256 เฟรม โดยมีอัตราการตัดแต่ง 0.5; สำหรับ 1080p การ์ดระบุให้ลดเหลือ 1 FPS และ 128 เฟรม

• ภาษา — อังกฤษ สเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่น ในส่วน frontmatter ของการ์ด NVIDIA ยังระบุอีกว่าคอร์ปัสที่ใช้ฝึกครอบคลุมภาษาอังกฤษและภาษาพูดอื่น ๆ อีก 19 ภาษา รวมถึงภาษาโปรแกรมมิ่งอีก 43 ภาษา

สองระดับความแม่นยำ และหน่วยความจำที่ได้มา

NVIDIA เปิดตัวโมเดลนี้ถึงสองครั้ง และการเพิ่มขึ้นของหน่วยความจำระหว่างทั้งสองครั้งคือตัวเลขที่เกี่ยวข้องกับการตัดสินใจมากที่สุดเพียงตัวเดียวในการเปิดตัวครั้งนี้

• BF16 — ข้อมูลอ้างอิงความแม่นยำเต็ม รีโปนี้มีไฟล์ safetensors จำนวน 64 ชาร์ด รวมกันประมาณ 231.8 GiB สูตรการเสิร์ฟของ N​VIDIA เองคือ --tensor-parallel-size 4 บน 4× H100 หรือ TP2 บน 2× GB200

• NVFP4 — น้ำหนักและแอกติเวชัน 4 บิต พร้อมการกลั่นที่คำนึงถึงการควอนไทซ์ ซึ่ง NVIDIA กล่าวว่า "ปิดช่องว่างด้านความแม่นยำที่การควอนไทซ์สร้างขึ้น" เช็กพอยต์เดียวกันนี้ทำงานบนฮาร์ดแวร์ที่ไม่ใช่ Blackwell ที่น้ำหนัก 4 บิตและแอกติเวชัน 16 บิต และ QAD ยังอนุญาตให้จัดเก็บ KV cache ใน NVFP4 แทน FP8 เนื่องจากการควอนไทซ์เกิดขึ้นระหว่างการฝึก ไม่ใช่หลังจากนั้น NVIDIA ระบุว่ามันไม่เพิ่มภาระในการอินเฟอเรนซ์ การ์ด NVFP4 ระบุการปรับใช้บน 1× DGX Spark, 1× H200, 2× H100 หรือ 1× GB200

บรรทัดสุดท้ายนั่นคือประเด็นที่ใช้ได้จริง โมเดล 120B ที่พอดีกับ H100 สองตัวใน FP4 แทนที่จะเป็นสี่ตัวใน BF16 เป็นบทสนทนาเรื่องการจัดซื้อที่แตกต่างออกไป และนั่นคือเหตุผลว่าทำไม repo แบบควอนไทซ์จึงเป็นสิ่งที่ NVIDIA ชี้ไปที่สำหรับการให้บริการอย่างมีประสิทธิภาพ รุ่นที่สาม NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, ปรากฏบน Hugging Face หนึ่งวันก่อนคู่หลักโดยไม่มีประกาศแนบมา; บล็อกของ NVIDIA ภายหลังอธิบาย LiLiCorr ว่าเป็นเทคนิค speculative-decoding แบบเปิด และเรียกมันว่า "drafter ที่แนะนำสำหรับการอนุมานที่มีความหน่วงต่ำกับ Nemotron 3.5 Super VL" บน DGX Spark repo ของมันมีมาก่อนคำอธิบายนั้นสี่วัน ซึ่งเป็นตัวอย่างที่ชัดเจนว่าการเปิดตัวนี้ปรากฏขึ้นได้อย่างไร

ภายใต้การก้าวกระโดดนั้นมีคำถามที่สมเหตุสมผลอยู่ — ระดับ NVFP4 แลกอะไรไปเมื่อเทียบกับ BF16 reference — แต่คำตอบของ N​VIDIA เองเป็นข้อกล่าวอ้างเชิงระเบียบวิธีฝึก ไม่ใช่ตารางความแม่นยำแบบเทียบเคียงกันที่เผยแพร่แล้วสำหรับ checkpoint ทั้งสองตัว หากตัวเลือกความแม่นยำ (precision) เป็นสิ่งที่การตัดสินใจของคุณขึ้นอยู่กับ การเปรียบเทียบนั้นไม่มีอยู่ใน repo

ตรงจุดที่ตาราง benchmark ของมันเองแสดงให้เห็นว่ามันแพ้

การ์ดโมเดลมีตารางเบนช์มาร์กขนาดใหญ่ที่ผู้ขายเป็นผู้รัน — ประมาณ 40 แถว — ครอบคลุมด้านการให้เหตุผล การเขียนโค้ด งานเชิงเอเจนต์ บริบทยาว หลายภาษา และมัลติโมดัล NVIDIA เปิดเผยอย่างตรงไปตรงมาผิดปกติในจุดนี้: โดยระบุชื่อการเปรียบเทียบ และหลายรายการก็ไม่ได้ทำให้โมเดลดูดีนัก ตัวเลขของมันเองเมื่อเทียบกับคู่แข่งแบบเปิดที่ใกล้เคียงที่สุดซึ่งมีรูปแบบเดียวกัน Qwen3.5-122B-A10B:

• GPQA-Diamond — N​emotron 3.5 Super VL 89.52 เทียบกับ Qwen3.5-122B-A10B 86.7 (N​emotron นำอยู่)

• HLE, ข้อความเท่านั้น — 31.79 เทียบกับ 24.2 (Nemotron นำหน้า)

• MMLU-ProX — 76.91 เทียบกับ 83.2 (Qwen นำอยู่มากกว่าหกคะแนน)

• CritPt — 10.86 เทียบกับ 1.1 (N​emotron นำอยู่มาก)

• LiveCodeBench v6 — 88.22 เทียบกับ 76.7 (N​emotron นำในฮาร์เนสนี้)

• SWE-bench Verified — 71.10 กับ 71.9 (เสมอ อยู่ในช่วงความคลาดเคลื่อน)

• SWE-bench Pro — 51.78 vs 44.9 (Nemotron นำอยู่)

• tau2-bench retail — 69.24 เทียบกับ 55.4 (N​emotron นำอยู่)

• tau2-bench telecom — 73.19 ต่อ 87.2 (Qwen นำอยู่ 14 คะแนน)

• AA-LCR v1.1 — 68.62 เทียบกับ 75.1 (Qwen ได้เปรียบในบริบทยาว)

• BabyVision — 29.60 vs 35.7 (Qwen นำอยู่)

• MathVision — 78.16 เทียบกับ 83.3 (Qwen นำอยู่)

• OCRBench v2, ภาษาอังกฤษ — 68.12 เทียบกับ 68.3 (แทบจะพอๆ กัน)

• OCRBench v2, ภาษาจีน — 59.15 เทียบกับ 67.3 (Qwen นำอยู่ 8 คะแนน)

• V* — 85.60 vs 91.1 (Qwen นำอยู่)

• IFBench — 70.86 เทียบกับ 67.6 (Nemotron นำอยู่)

• ดัชนี AA-Omniscience — 4.03 เทียบกับ -36.1 (ทั้งคู่อ่อนแอ; N​emotron ติดลบน้อยกว่ามาก)

มีสามสิ่งที่ควรพูดเกี่ยวกับตารางนี้ แทนที่จะปล่อยให้ชัยชนะพูดแทนมันเอง

อย่างแรก ทุกตัวเลขในนั้น — ทั้งของ Nemotron และของเบสไลน์ทุกตัว — เป็นตัวเลขที่ผู้ขายรายงานเอง และถูกรวบรวมผ่านฮาร์เนสของ NVIDIA เอง การ์ดระบุไว้ตรง ๆ ว่า "ผลการประเมินทั้งหมดสำหรับ Nemotron 3.5 Super และเบสไลน์ ถูกรวบรวมผ่าน NeMo Gym" พร้อมบันทึกเรื่องความสามารถในการทำซ้ำที่เผยแพร่ในรีโพซิทอรีของ NeMo Gym นั่นเป็นการเปิดเผยที่ดีกว่าที่แล็บส่วนใหญ่ทำได้ และมันก็ยังไม่ใช่คะแนนที่เป็นอิสระ ให้อ่านคอลัมน์เหล่านี้เป็นผลการวัดของโมเดลหลายตัวจากแล็บเดียว ไม่ใช่ในฐานะลีดเดอร์บอร์ดที่เป็นกลาง

ประการที่สอง N​VIDIA เองได้ระบุรายชื่อเบนช์มาร์กที่ไม่ได้ถูกนำเข้ามาในเครื่องมือโอเพนซอร์สของตน — BabyVision, CharXiv-RQ, MathVision, MMLongBench-Doc, OCR-Reasoning, OCRBench-v2, V* และ Video-MME-v2 — และกล่าวว่าเบนช์มาร์กเหล่านั้นใช้การนำไปใช้งานอย่างเป็นทางการ หรือ "โครงสร้างภายในที่เราวางแผนจะเปิดซอร์สในอนาคต" ทุกแถวมัลติโมดอลในตารางมีข้อแม้ดังกล่าว

ประการที่สาม รูปแบบของจุดที่แพ้มีความเชื่อมโยงกันอย่างเป็นระบบมากกว่าเกิดขึ้นแบบสุ่ม ช่องว่างอยู่ที่ OCR ภาษาจีน การให้เหตุผลกับบริบทยาว และคณิตศาสตร์เชิงภาพและการอ่านแผนภูมิ จุดที่ชนะกระจุกตัวอยู่ในเบนช์มาร์กการเรียกใช้เครื่องมือและงานเอเจนต์ระยะสั้น — CritPt, tau2-bench retail และ airline, APEX, Terminal-Bench 2.1 ที่ 66.70 เทียบกับ 48.70 ของ Q​wen, SWE-bench Pro สำหรับโมเดลที่ N​VIDIA วางตำแหน่งเป็นผู้ดำเนินการในสแต็กเอเจนต์แบบหลายโมเดล นั่นเป็นโปรไฟล์ที่ป้องกันได้ ถ้าภาระงานของคุณคือการแยกวิเคราะห์เอกสารภาษาจีนหรือบริบทการวิเคราะห์ที่ยาวมาก ตารางเดียวกันนี้กำลังบอกคุณอีกอย่าง

โมเดลที่ผ่านการฝึกหลังการฝึกชนะโมเดลพื้นฐาน และ NVIDIA นำในเรื่องนี้

คำกล่าวอ้างเรื่องความแม่นยำที่ชัดเจนที่สุดในบล็อกโพสต์ของ NVIDIA ไม่ใช่คะแนนจากเบนช์มาร์ก แต่เป็นคำกล่าวอ้างเกี่ยวกับการปรับแต่งให้เหมาะกับงานเฉพาะ นั่นคือ การทำ post-training ให้โมเดลฐาน Nemotron 3.5 Super VL สามารถพาเวิร์กโหลดเฉพาะทางให้แซงหน้า Claude Opus 5 ได้ ตัวอย่างของ NVIDIA คือการเคลมประกันสุขภาพ ซึ่งระบุว่ามีผลลัพธ์ดีขึ้น 44% จากการทำ post-training

มีสองสิ่งสำคัญเกี่ยวกับวิธีที่ NVIDIA รายงานเรื่องนี้ ตัวเลขนี้ถูกอ้างว่าเป็นการเพิ่มขึ้นที่ได้จาก post-training ไม่ใช่การเปรียบเทียบแบบโมเดลต่อโมเดลบน benchmark สาธารณะ ซึ่งเป็นหลักฐานคนละแบบและอ่อนกว่า และโพสต์ของ NVIDIA เองก็ระบุอย่างระมัดระวังว่าการเพิ่มขึ้นเหล่านี้มีข้อแม้: “โมเดลฐานไม่ได้เอาชนะโมเดล frontier ที่เป็นกรรมสิทธิ์ได้ด้วยตัวเอง” คือเวอร์ชันที่ตรงไปตรงมาของประโยคนั้น และกรอบการนำเสนอคือ ข้อได้เปรียบของ open weights อยู่ที่ว่าธุรกิจสามารถ post-train ด้วยข้อมูลของตนเองและรันผลลัพธ์บนโครงสร้างพื้นฐานของตนเองได้

ด้านผู้ขายของเรื่องเดียวกันนี้มีข้อมูลบางเบา NVIDIA ระบุชื่อ Scale AI, Ramp และ AI21 เป็นองค์กรที่ฝึกโมเดลต่อ (post-trained) โดยอ้างคำกล่าวของ Ramp ว่าคาดหวัง "อัตราการประมวลผลสูงขึ้นถึง 50% และความหน่วงต่ำลง 10 เท่า" สำหรับการสกัดข้อมูลใบเสร็จเป็น JSON ส่วน Scale AI ระบุถึงการลดต้นทุนการอนุมานลง 40 เท่า และความหน่วงดีขึ้น 5 เท่า สำหรับการประมวลผลเครดิตของผู้ขาย สิ่งเหล่านี้เป็นความคาดหวังและผลลัพธ์ที่ลูกค้าระบุ ซึ่งเผยแพร่โดยผู้ขาย โดยไม่มีการวัดผลที่เป็นอิสระรองรับ สิ่งเหล่านี้อาจเป็นจริงก็ได้ แต่ยังไม่มีใครนอกบริษัทเหล่านั้นตรวจสอบ

สิ่งที่ N​VIDIA เผยแพร่และ有帮助ก็คือส่วนของสูตร (recipe surface): NeMo AutoModel สำหรับ SFT และ LoRA, NeMo RL และ NeMo Gym สำหรับการเรียนรู้แบบเสริมกำลังและการประเมินผลตามสภาพแวดล้อม, NeMo Data Designer สำหรับการสร้างข้อมูลหลายรูปแบบ (multimodal) รวมถึงชุดข้อมูล vision-language 45 ชุด และชุดข้อมูลสำหรับการใช้เครื่องมือแบบเอเจนต์ การใช้เหตุผลด้านการเงิน และการทำตามคำสั่งบน Hugging Face บทช่วยสอนด้านการทำซ้ำสำหรับเกณฑ์มาตรฐานที่เผยแพร่มีอยู่ในที่เก็บ NeMo Gym ส่วนสุดท้ายมีประโยชน์อย่างแท้จริง — นั่นหมายความว่าคุณสามารถลองรันการประเมินของ N​VIDIA เองซ้ำได้ แทนที่จะเชื่อตารางนั้น

ใบอนุญาตไม่ใช่สิ่งที่การตลาดบอกเป็นนัย

นี่คือรายละเอียดที่คุ้มค่าจะไปอ่านใน repo มากกว่าในบล็อกโพสต์

โพสต์ของ NVIDIA เรียกโมเดลนี้ว่า "โมเดลมัลติโมดัลแบบเปิดที่ปรับแต่งได้" และกล่าวถึง "เวทแบบเปิดของโมเดล" ข้อความทั้งสองถูกต้องเกี่ยวกับเวท ไม่มีข้อใดเป็นข้อความเกี่ยวกับสัญญาอนุญาต ฟรอนต์แมตเทอร์ของการ์ดโมเดลระบุว่า license: other โดยมี license_name: openmdw-1.1 และข้อกำหนดที่มีผลบังคับใช้คือ OpenMDW License Agreement version 1.1 ที่ openmdw.ai/license/1-1/การ์ดระบุอย่างชัดเจนว่าโมเดลนี้ "พร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่ใช่เชิงพาณิชย์" และถ้อยคำด้านการนำไปใช้งานของ NVIDIA เองกล่าวถึงการรันโมเดลใน "สภาพแวดล้อมแบบโลคอล ศูนย์ข้อมูล หรือคลาวด์ที่รองรับ"

ดังนั้น: ใช้เชิงพาณิชย์ได้ ตามที่ N​VIDIA ระบุ แต่ "open" ในที่นี้หมายถึง OpenMDW-1.1 ไม่ใช่ Apache 2.0 และไม่ใช่ MIT หากองค์กรของคุณมีรายการสัญญาอนุญาตโอเพนซอร์สที่อนุมัติไว้ล่วงหน้า รายการนั้นคือสิ่งแรกที่ต้องตรวจสอบ — และความต่างในทางปฏิบัติระหว่าง "open weights" กับสัญญาอนุญาตที่มีชื่อเรียกเฉพาะ ก็เป็นช่องว่างแบบเดียวกับที่ทำให้ต้องเสียรอบการปล่อยไปหนึ่งรอบกว่าจะค้นพบทีหลัง นี่ไม่ใช่การวิจารณ์โมเดล และ OpenMDW ก็ไม่ใช่สัญญาอนุญาตที่จำกัด มันเป็นเครื่องเตือนใจว่าคำคุณศัพท์ในโพสต์บล็อกทำงานได้น้อยกว่าฟรอนต์แมตเตอร์ของการ์ด

ลองใช้โดยไม่ต้องเดิมพันเส้นทางโปรดักชันกับมัน

สูตรการปรับใช้ที่เผยแพร่เป็นแบบเครื่องเดียวอย่างชัดเจน และนั่นเป็นตัวกำหนดวิธีการประเมินผล คำสั่ง vLLM ของ NVIDIA ในทั้งสองการ์ดรันที่ TP4 บน 4× H100 หรือ TP2 บน 2× GB200 ด้วย --trust-remote-code — โมเดลมาพร้อมโค้ดการสร้างโมเดลแบบกำหนดเอง — และสูตร SGLang ใช้ lmsysorg/sglang:v0.5.20 บน GB200 สองตัว สำหรับ DGX Spark มีเช็คพอยต์ LiLiCorr drafter โดยเฉพาะ และ NVIDIA แนะนำให้ใช้ในทุกสถานการณ์ของ Spark; บริษัทอ้างว่าสร้างโทเค็นได้เร็วขึ้นถึง 2.3 เท่าเมื่อเทียบกับการถอดรหัสโดยไม่มีการคาดเดา บน B200 16 ตัวกับ Dynamo NVIDIA อ้างว่าสามารถให้บริการผู้ใช้ได้มากขึ้นถึง 8 เท่า โดยความหน่วงของโทเค็นแรกลดลง 85% ที่ 50 โทเค็นต่อวินาทีต่อผู้ใช้ ทุกอย่างที่กล่าวมาเป็นการวัดภายในของผู้ขาย

นั่นเป็นต้นทุนการประเมินที่แท้จริงสำหรับโมเดลที่เพิ่งอายุได้สามวัน ยังไม่มีสกอร์บอร์ดอิสระ และแถวมัลติโมดัลของมันมาพร้อมข้อแม้เรื่อง scaffolding ที่ยังไม่เปิด วิธีดูแบบประหยัดไม่ใช่การตั้ง H100s สี่ตัวก่อน

วิธีที่ประหยัดในการดูรีลีสที่ยังใหม่ขนาดนี้ คือใช้เกตเวย์เดียวแทนการสั่งซื้อฮาร์ดแวร์ชุดที่สอง บน OrcaRouter นั่นหมายถึงคีย์เดียวใช้ได้กับโมเดลกว่า 200 รายการ ในราคาตามรายการของผู้ให้บริการ โดยไม่มีมาร์กอัป ไม่มีสัญญาแยก และไม่ต้องแก้โค้ด และการ failover อัตโนมัติข้ามผู้ให้บริการ เพื่อให้โมเดลที่คุณยังไม่ได้ตรวจสอบความพร้อมไม่เป็นจุดล้มเหลวจุดเดียวในเส้นทางโปรดักชัน โมเดลนี้ยังไม่อยู่ในแคตตาล็อก — NVIDIA เพิ่งเปิดตัวเมื่อไม่กี่วันก่อน — ดังนั้นวันนี้จึงต้องใช้ผ่าน API ของผู้ขายเองหรือแพลตฟอร์มของบุคคลที่สามที่ให้บริการโมเดลนี้ สิ่งที่คุณได้คือการเปรียบเทียบที่คุณรันได้จริงตอนนี้: นำตัวเลือกที่มันอ้างว่าเอาชนะได้มาไว้หลังคีย์เดียวกัน รันงานของคุณผ่านตัวเลือกเหล่านั้นและเทียบกับโมเดลที่คุณใช้อยู่ และให้เลเยอร์การกำหนดเส้นทางทำให้การสลับเป็นเพียงการเปลี่ยนคอนฟิก ไม่ใช่การโยกย้ายระบบ เมื่อถึงตอนนั้นเท่านั้น คำถามเรื่อง 4× H100 หรือ 2× GB200 จึงกลายเป็นการตัดสินใจซื้อ ไม่ใช่การเดา

ประเด็นไม่ใช่ว่า routing เข้ามาแทน benchmark แต่อยู่ที่ว่าการตัดสินใจที่คุณทำได้วันนี้ คือว่างานใดที่โมเดลนี้ควรดูแลในสแตกของคุณ และการตัดสินใจนั้นไม่จำเป็นต้องมีการสั่งซื้อฮาร์ดแวร์

อะไรที่ยังไม่ได้กำหนด

รายการสิ่งที่ยังไม่รู้ฉบับซื่อสัตย์นั้นสั้นแต่มีนัยสำคัญ และเป็นรายการที่ควรใช้เป็นจุดตั้งต้นในการทำงาน ไม่ใช่สื่อการตลาด:

• ยังไม่มีการประเมินที่เป็นอิสระ คะแนนทุกตัวที่ยกมาข้างต้นมาจากการรัน NeMo Gym ของ NVIDIA บล็อกของ NVIDIA อ้างอิงถึงการทดสอบ benchmark ของ Artificial Analysis และการประเมินที่เป็นอิสระจาก EXO Labs ซึ่งจัดให้โมเดลนี้อยู่บนเส้นพาเรโต (Pareto frontier) ระหว่างความแม่นยำกับอัตราการทำงานสำเร็จบน DGX Spark แต่โมเดลการ์ดไม่ได้เผยแพร่คะแนนจากบุคคลที่สามของตัวเองเลย และ ณ เวลาที่เขียนนี้ ก็ยังไม่มีหน้าโมเดลที่เป็นอิสระสำหรับโมเดลนี้บนเว็บรวมข้อมูลรายใหญ่ใด ๆ

• ส่วนต่างความแม่นยำระหว่าง BF16 กับ NVFP4 ยังไม่ถูกวัดเป็นปริมาณ ข้อโต้แย้งเรื่อง NVFP4 ของ NVID​IA ตั้งอยู่บนการกลั่นแบบรู้การควอนไทซ์ (quantization-aware distillation) ที่ช่วยปิดช่องว่างดังกล่าว นั่นเป็นข้ออ้างเชิงระเบียบวิธี ไม่ใช่การเปรียบเทียบความแม่นยำที่เผยแพร่ระหว่างเช็กพอยต์ทั้งสองที่คุณดาวน์โหลดได้จริง

• แคมเปญการทดสอบ benchmark นี้ดำเนินการบางส่วนด้วยเครื่องมือของ N​VIDIA เอง แบบทดสอบ multimodal แปดรายการใช้การใช้งานอย่างเป็นทางการหรือโครงสร้างภายในที่ N​VIDIA กล่าวว่า "มีแผนจะเปิดซอร์สในอนาคต" — ซึ่งหมายความว่าผลลัพธ์เหล่านั้นสามารถทำซ้ำได้ในทางหลักการ สักวันหนึ่ง และไม่ใช่ตอนนี้

• ผลตอบแทนหลังการฝึกอบรมเป็นข้อมูลที่ผู้ขายและลูกค้ารายงานเอง การเพิ่มขึ้นของยอดเคลม 44% และตัวเลขของ Ramp และ Scale AI นั้น NVIDIA ระบุเกี่ยวกับลูกค้าของบริษัทเอง ยังไม่มีใครวัดผลเหล่านี้อย่างอิสระ

• พฤติกรรมแบบบริบทยาวที่หน้าต่างขนาดเต็ม 1M ยังไม่ถูกทดสอบนอกเหนือจากผู้ขาย สถาปัตยกรรมนี้ถูกออกแบบมาเพื่อรองรับสิ่งนี้ และ NVIDIA ได้เผยแพร่แนวทางการติดตั้งใช้งานสำหรับมัน การที่ความสามารถในการเรียกคืนข้อมูลจะคงอยู่ตลอดหนึ่งล้านโทเคนเต็มบนเอกสารจริงหรือไม่นั้น เป็นเรื่องแบบที่ปรากฏในการทดสอบอิสระ และไม่ปรากฏในตารางของผู้ขาย

คุณควรลงมือทำเรื่องนี้ตอนนี้เลยหรือไม่

หากคุณสร้างเอเจนต์สำหรับเอกสาร แผนภูมิ วิดีโอ หรือเครื่องมือหลายอย่าง และคุณได้จัดงบประมาณสำหรับการอนุมานระดับ 120B ไว้แล้ว สิ่งนี้คุ้มค่าที่จะลองดูจริง ๆ ในสัปดาห์นี้: ระดับ NVFP4 ทำให้มันรันบน H100 สองตัว ใบอนุญาตอนุญาตให้ใช้เชิงพาณิชย์ได้ และแถวการเรียกใช้เครื่องมือในตารางของ NVIDIA ก็เป็นส่วนที่แข็งแกร่งที่สุดของมัน รูปร่างแบบ 12B-active ยังหมายความว่ามันมีราคาถูกกว่าต่อโทเค็นกว่าที่ขนาดรวม 120B บ่งบอก — และในฝั่ง OrcaRouter การเปลี่ยนแปลงราคาจากผู้จำหน่ายสำหรับมันจะมีผลในวันเดียวกัน แทนที่จะเป็นหลังรอบการเรียกเก็บเงิน เพราะ ราคาตั้งต้นของผู้ให้บริการถูกส่งผ่านโดยไม่มีการบวกเพิ่มใด ๆ.

หากเวิร์กโหลดของคุณต้องพึ่งพา OCR ภาษาจีน บริบทการวิเคราะห์ที่ยาวมาก หรือคณิตศาสตร์เชิงภาพ ตารางของ NVIDIA เองก็ให้เหตุผลเฉพาะเจาะจงสามข้อที่คุณควรรอตัวเลขจากแหล่งอิสระแทนที่จะใช้เหตุผลจากสื่อการตลาด

ไม่ว่าจะทางไหน สิ่งที่ต้องจับตาดูไม่ใช่โพสต์ของผู้ขายอีกราย แต่คือการประเมินผลอิสระครั้งแรกที่รันเช็กพอยต์ NVFP4 เทียบกับตัว BF16 บนฮาร์เนสเดียวกัน และคือคะแนนจากบุคคลที่สามครั้งแรกที่ไม่ได้เก็บผ่าน NeMo Gym จนกว่าสิ่งเหล่านั้นจะมีอยู่ นี่คือโมเดลเปิดที่มีเอกสารประกอบครบถ้วน มีไลเซนส์ที่ผ่อนปรน และมีประสิทธิภาพจริง ซึ่งข้ออ้างที่แข็งแกร่งที่สุดของมันอาศัยการวัดของเจ้าของผู้สร้างเพียงอย่างเดียว — และเจ้าของผู้สร้างเองก็ชัดเจนพอที่จะเผยแพร่แถวที่มันแพ้

ช่องว่างระหว่างสิ่งที่สกอร์บอร์ดวัดค่าได้กับสิ่งที่การนำไปใช้งานจริงต้องเผชิญ คือเหตุผลที่บันทึกนี้มีความสำคัญคลังเหตุการณ์ AI ของ OrcaRouter ซึ่งเป็นที่รวบรวมความล้มเหลวของ AI และเหตุการณ์ที่เกิดกับเอเจนต์ของโมเดลในระดับนี้ที่ได้รับการบันทึกไว้ โดยแต่ละรายการมีแหล่งอ้างอิงของตัวเอง มีระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งกำกับไว้