Nemotron 3.5 Super vs DeepSeek V4 Pro: ตารางเบนช์มาร์กที่ NVIDIA ไม่ได้เปิดเผย

เปิดการ์ดโมเดลของ NVIDIA สำหรับ NVIDIA Nemotron 3.5 Super VL — เช็กพอยต์แบบเปิดขนาด 120 พันล้านพารามิเตอร์ที่ผู้จำหน่ายยังระบุในชื่อ NVIDIA Nemotron 3.5 Super และที่ Ollama เผยแพร่ในชื่อ nemotron-3.5-super — แล้วเลื่อนไปที่ตารางการประเมิน คุณจะพบเกณฑ์มาตรฐานประมาณสี่สิบรายการและคอลัมน์พื้นฐานเจ็ดคอลัมน์ หนึ่งในคอลัมน์เหล่านั้นคือ DeepSeek: โดยมีป้ายกำกับว่า DeepSeek-V4-Flash0731. ระดับราคาประหยัดของ DeepSeek เอง DeepSeek V4 Pro ซึ่งเป็นเรือธงขนาด 1.6 ล้านล้านพารามิเตอร์ที่เข้ามาแทนที่พรีวิวเดือนเมษายนในฉบับแก้ไข 0813 ไม่ปรากฏที่ใดเลยในตาราง

การไม่มีข้อมูลนั้นคือข้อเท็จจริงที่มีประโยชน์ที่สุดในการเปรียบเทียบครั้งนี้ และมันไม่ใช่ความผิดพลาดที่มองข้ามไป V4 Pro เปิดใช้งานพารามิเตอร์ 49 พันล้านตัวต่อโทเคน การนำมันไปไว้ในตารางเดียวกันกับโมเดลที่เปิดใช้งาน 12 พันล้านตัวจะให้ชุดตัวเลขที่ไม่ทำให้ใครดูดีขึ้นและไม่ให้ข้อมูลอะไรกับใครเลย เพราะสองโมเดลนี้ไม่ใช่ผลิตภัณฑ์เดียวกัน สิ่งที่ผู้ขายทำแทนคือรูปแบบที่ซื่อตรงของการทดสอบนี้ นั่นคือการวัดประสิทธิภาพเทียบกับระดับที่คุณตั้งใจจะแทนที่จริง ๆ

ดังนั้น หน้านี้ทำสองสิ่ง คืออ่านการเปรียบเทียบที่ NVIDIA เผยแพร่ — Nemotron 3.5 Super เทียบกับระดับ flash ของ DeepSeek — แล้วจากนั้นก็ระบุอย่างชัดเจน ในจุดที่ทั้งสองโมเดลแข่งขันกันจริง ว่าอะไรที่สรุปได้และสรุปไม่ได้เกี่ยวกับรุ่นเรือธง

โบราณวัตถุทั้งสองชิ้นวางเคียงข้างกัน

• จำนวนพารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งานอยู่ — Nemotron 3.5 Super VL 120B ทั้งหมด โดยมี 12B ที่ใช้งานต่อโทเคน, ผู้เชี่ยวชาญแบบ routed จำนวน 512 รายต่อเลเยอร์ MoE, ไฮบริด Mamba-2 และ Transformer · DeepSeek V4 Pro 1.6T ทั้งหมด โดยมี 49B ที่ใช้งาน, ข้อความเท่านั้น

• บริบทและขีดจำกัดเอาต์พุต — บริบท 1,048,576 โทเคนสำหรับ Super VL โดยไม่มีขีดจำกัดเอาต์พุตที่ประกาศไว้ · บริบท 1,048,576 โทเคนสำหรับ V4 Pro พร้อมเอาต์พุตสูงสุด 384,000 โทเคน

• โมดัลลิตี — รับข้อความ รูปภาพ และวิดีโอเข้า แล้วส่งออกเป็นข้อความ ผ่านตัวเข้ารหัสภาพ C-RADIO และตัวเชื่อมต่อภาพ-ภาษา · ข้อความเข้า ข้อความออก ไม่มีเส้นทางของรูปภาพเลย

• น้ำหนักและสัญญาอนุญาต — OpenMDW-1.1 บนเช็กพอยต์ของ NVIDIA อนุญาตให้ใช้ในเชิงพาณิชย์ · DeepSeek เผยแพร่น้ำหนักของตนเองและอนุญาตให้ใช้ในเชิงพาณิชย์เช่นกัน

• ราคาบนปลายทางแบบคิดตามปริมาณการใช้งาน — ไม่มีการเผยแพร่; โมเดลนี้ใช้โฮสต์เองเท่านั้น · $0.66 ต่อล้านโทเคนอินพุต และ $1.98 ต่อล้านโทเคนเอาต์พุต โดยการอ่านจากแคชอยู่ที่ $0.022

• ขอบเขตการเปิดตัว — น้ำหนักโมเดลบน Hugging Face 12 ตุลาคม 2026 ประกาศจากผู้จำหน่าย 15 ตุลาคม 2026 · V4 Pro ทำหน้าที่เป็นเรือธง โดยมีเวอร์ชัน 0813 ที่ระบุวันที่ไว้ให้ผู้เรียกใช้งานที่ต้องการปักหมุด

สองในบรรทัดเหล่านั้นเป็นตัวตัดสินการนำไปใช้งานจริงส่วนใหญ่ ประการแรกคือมอดาลิตี: ถ้าอินพุตของคุณเป็นภาพหน้าจอ สัญญาที่สแกน กราฟ หรือเฟรมวิดีโอ ครึ่งหนึ่งของการเปรียบเทียบนี้ก็จบไปตั้งแต่ยังไม่เริ่ม เพราะ DeepSeek V4 Pro ไม่มีเส้นทางสำหรับภาพและไม่มีแผนที่ประกาศไว้ว่าจะมี ประการที่สองคือเรื่องราคา และมันน่าสนใจกว่าที่เห็น — NVIDIA ไม่ได้เผยแพร่อัตราค่าใช้จ่ายสำหรับโมเดลนี้เลย ซึ่งหมายความว่าวิธีเดียวที่จะรู้ต้นทุนของคุณคือต้องรู้ปริมาณโทเคนและค่าฮาร์ดแวร์ของคุณ

การอ่านตารางที่ NVIDIA เผยแพร่จริง

การเปรียบเทียบระดับ flash นั้นใกล้เคียงกันมากกว่าที่จำนวนพารามิเตอร์ชี้ให้เห็น และไม่ได้ดูไม่ดีต่อ NVIDIA ไปทั้งหมด ในแถวที่ทั้งสองใกล้เคียงกันที่สุด เรื่องราวคือการเสมอกันจริง ๆ ด้านความรู้ และเป็นความด้อยจริงด้านการดำเนินการแบบเอเจนต์

• การเสมอกันในเชิงสถิติด้านวิทยาศาสตร์ระดับบัณฑิตศึกษา — GPQA-Diamond 89.52 สำหรับ Super VL เทียบกับ 89.6 สำหรับ DeepSeek-V4-Flash เพียงสี่ในร้อยของคะแนนเท่านั้นที่แยกโมเดล 120B ออกจาก baseline ระดับ 1e12 ในแถวนี้ โดยทั้งคู่เป็นการรันโดยผู้ขายเอง

• จุดด้อยในการให้เหตุผลที่ยากที่สุด — Humanity's Last Exam แบบข้อความล้วน 31.79 เทียบกับ 35.8 และ MMLU-ProX 76.91 เทียบกับ 85.5

• จุดด้อยด้านการเขียนโค้ดเชิงแข่งขัน — LiveCodeBench v6 88.22 เทียบกับ 94.6

• ความด้อยกว่าในงานซอฟต์แวร์แบบเอเจนต์ — SWE-bench Verified 71.10 เทียบกับ 75.4, Terminal-Bench 2.1 66.70 เทียบกับ 76.80, DeepSWE 24.65 เทียบกับ 42.3

• จุดอ่อนที่เห็นได้ชัดในการดึงข้อมูลบริบทยาว — AA-LCR v1.1 68.62 เทียบกับ 79.7 ทั้งสองโมเดลโฆษณาว่ารองรับหนึ่งล้านโทเคน แต่ในแถวการวัดการเรียกคืนแบบอิสระเพียงแถวเดียว ระดับ flash นำอยู่มากกว่าสิบเอ็ดจุด นั่นคือตัวเลขที่ส่งผลกระทบมากที่สุดเพียงหนึ่งเดียวบนโต๊ะ สำหรับใครก็ตามที่วางแผนจะใช้บริบทที่โฆษณาไว้จริง ๆ ไม่ใช่เพียงแค่มีมันให้ใช้เท่านั้น

• แถวที่ NVIDIA ชนะ — GraphWalks 89.71 เทียบกับ 65.4, LMArena v3 proxy 52.67 เทียบกับ 49.8 และ tau2-bench retail ที่ 69.24 เทียบกับ 73.8 นั้นใกล้เคียงกันพอที่จะเป็นเพียงสัญญาณรบกวนบนเบนช์มาร์กที่ผันผวนขนาดนี้ AA-Omniscience คือชัยชนะที่บอกอะไรมากกว่า: อัตราการสร้างข้อมูลเท็จของ NVIDIA อยู่ที่ 30.0 เทียบกับ 95.9 ของ DeepSeek และดัชนีเป็นบวก 4.03 เทียบกับลบ 7.8 โมเดลที่งดตอบมีค่ามากกว่าโมเดลที่ยืนยันคำตอบ และในแถวนี้ช่องว่างไม่ใช่เรื่องเล็กน้อย

• เครื่องมือแบบ Agentic — tau2-bench สายการบิน 76.50 เทียบกับ 83.5 และ telecom 73.19 เทียบกับ 98.2 ซึ่งแพ้ทั้งสองรายการ ในโดเมน telecom ระดับ flash เกือบกวาดเรียบ

ทั้งหมดนี้เป็นข้อมูลที่ผู้ขายรายงานผ่านชุดทดสอบ NeMo Gym ของ NVIDIA เอง พร้อมสูตรที่เผยแพร่ ซึ่งเป็นมาตรฐานที่สูงกว่าการกล่าวอ้างลอย ๆ แต่ต่ำกว่าการรันซ้ำโดยอิสระ และในตารางนี้โดยเฉพาะ ทิศทางของแถวส่วนใหญ่ไม่เป็นผลดีต่อโมเดลที่กำลังเปิดตัว ซึ่งอย่างน้อยก็เป็นสัญญาณว่าชุดทดสอบนี้ไม่ได้ถูกปรับแต่งให้เข้าข้าง

สิ่งใดที่ไม่อาจสรุปได้เกี่ยวกับ V4 Pro และเหตุใดจึงยังคงสำคัญ

คุณไม่อาจตีความสิ่งใดข้างต้นเป็นการทำนายผลศึกใหญ่สุดได้ ด้วยเหตุผลสามประการที่ควรกล่าวถึงอย่างตรงไปตรงมา มากกว่าจะกลบเกลื่อนไว้

ประการแรก ค่าพื้นฐานไม่ใช่เรือธง ตัวเลขเอเจนต์ที่ DeepSeek เผยแพร่เองสำหรับรีวิชัน 0813 ของ V4 Pro อยู่คนละสเกลโดยสิ้นเชิง: 87.9 บน Terminal Bench 2.1, 83.3 บน Cybergym, 74.1 บน Toolathlon Verified, 62.7 บน DeepSWE, 61.5 บน NL2Repo และ 42.7 บน Humanity's Last Exam เมื่อไม่มีเครื่องมือ ซึ่งเพิ่มขึ้นเป็น 60.0 เมื่อมีเครื่องมือ เมื่อเทียบกับ 66.70 ของ NVIDIA บน Terminal-Bench 2.1 และ 31.79 บน HLE แบบข้อความล้วน ช่องว่างของเรือธงกว้างกว่าช่องว่างของระดับ flash มาก และมันกำลังถูกขยายให้กว้างขึ้นโดยผู้จำหน่ายของโมเดลอีกตัว ซึ่งไม่ได้ทำให้มันน่าเชื่อถือขึ้น — เพียงแต่คมขึ้น

ประการที่สอง คอลัมน์ระดับแฟลชเป็นภาพ ณ ขณะหนึ่งของระดับที่ตัวมันเองก็ได้เคลื่อนไปแล้ว แถวที่อ่านดูดีในวันนี้อาจอ่านดูแย่ในเดือนหน้าได้โดยที่ไม่มีโมเดลใดเปลี่ยนแปลง เพราะการเปรียบเทียบนั้นขึ้นอยู่กับว่าผู้ขายเลือกเช็กพอยต์ใดมาใช้รัน

ประการที่สาม ภาพอิสระของเช็กพอยต์ NVIDIA นั้นเบาบางพอจนแทบไม่มีประโยชน์ในฐานะตัวช่วยตัดสิน: คณะผู้ประเมินจากบุคคลที่สามที่ให้คะแนนโมเดลเหล่านี้จัดให้มันอยู่ในช่วงกลาง ๆ ของเลขยี่สิบในดัชนีของตน โดยมีจำนวนโทเค็นเอาต์พุตต่องานสูงผิดปกติ และมีข้อสังเกตว่าโมเดลนี้ค่อนข้างใช้คำเยิ่นเย้อ ข้อมูลเพียงจุดเดียว จากคณะผู้ประเมินเพียงคณะเดียว สี่วันหลังจากเวตเปิดตัว

ดังนั้น สรุปตามตรงของกรณีทดสอบ benchmark นี้ก็คือ บนตัวเลขที่ผู้ขายรันเอง โมเดลวิชันแบบเปิดที่มี active 12B อยู่ในระดับใกล้เคียงกับรุ่นราคาประหยัดของ DeepSeek ในด้านความรู้ และตามหลังในด้านการทำงานแบบเอเจนต์และการเรียกคืนบริบทยาว ไม่มีอะไรในตารางนั้นที่สื่อถึงรุ่นเรือธง และตัวเลขที่รุ่นเรือธงเผยแพร่เองก็ดีกว่าในทุกแกนที่ทั้งสองเทียบกันได้เลย

แกนเดียวที่การเปรียบเทียบเป็นเรื่องเล็กน้อย

รูปภาพ. ไม่ใช่เพราะ Nemotron เก่งด้านการมองเห็น — ไม่มีใครเผยแพร่การประเมินที่เป็นอิสระของเส้นทางการมองเห็นของมัน และรันไทม์ที่แจกจ่ายมายังตั้งค่าเริ่มต้นให้สุ่มตัวอย่างที่ text temperature ของการ์ด แทนที่จะเป็น vision temperature ของมัน ซึ่งถือเป็นกับดักที่รออยู่จริง ๆ สำหรับคนแรกที่ลองใช้ — แต่เป็นเพราะ DeepSeek V4 Pro ไม่รองรับรูปภาพ

ความไม่สมมาตรนั้นมีผลกระทบด้านต้นทุนที่มองข้ามได้ง่าย โมเดลแบบโฮสต์ที่มีความสามารถด้านภาพคิดค่าหน้าหนึ่งหน้าของเอกสารสแกนตามจำนวนโทเคน และหน้าที่ 300 dpi ก็ไม่ใช่จำนวนโทเคนน้อย ๆ เช็กพอยต์ขนาด 120B ที่โฮสต์เองคิดค่าหน้าเดียวกันเป็นวินาที GPU ในปริมาณงานไม่กี่พันหน้าต่อเดือน ความต่างนี้แทบไม่มีนัยสำคัญ แต่ในระดับไม่กี่แสนหน้า มันคือประเด็นงบประมาณทั้งหมด แถวด้าน vision ของ NVIDIA เอง — 62.82 บน MMLongBench-Doc, 78.16 บน MathVision, 80.82 บน CharXiv reasoning, 68.12 บน OCRBench v2 English — เป็นตัวเลขจากผู้จำหน่าย แต่ก็ยืนยันว่าความสามารถนี้มีอยู่จริง ไม่ใช่แค่ในนาม

แกนอื่นที่การเปรียบเทียบพลิกกลับคือสิ่งที่ทุกคนถามถึงแต่มีน้อยคนวัด นั่นคือหน่วยความจำ V4 Pro ที่มีพารามิเตอร์รวม 1.6 ล้านล้านนั้นไม่สามารถใส่ลงในเครื่องเดียวได้เลย Super VL ที่ 82.3 GiB ในแท็ก 4-bit เริ่มต้นของมันพอดีกับการ์ด 96 GB หนึ่งใบ โดยยังมีที่เหลือสำหรับบริบทการทำงาน นั่นไม่ใช่ข้อโต้แย้งเรื่องคุณภาพ มันคือความแตกต่างระหว่างโมเดลที่ทีมของคุณสามารถดึงมาและรันได้คืนนี้ กับโมเดลที่คุณต้องเช่า

การคำนวณจริงแทนที่จะอิงเกณฑ์มาตรฐาน

นี่คือการคำนวณที่คุ้มค่าที่จะทำก่อนอ่านตารางถัดไป ลองพิจารณาปริมาณงานอินพุตหนึ่งล้านโทเคนและเอาต์พุตหนึ่งแสนโทเคน — เป็นหนึ่งเดือนแบบสบาย ๆ สำหรับไปป์ไลน์เอกสาร และเป็นหนึ่งวันที่หนักหน่วงสำหรับผลิตภัณฑ์แชต

ตามอัตราที่ประกาศไว้ของ DeepSeek V4 Pro นั่นคือค่าอินพุต $0.66 บวกค่าผลลัพธ์ $0.198: ต่ำกว่าหนึ่งดอลลาร์ ก่อนที่ส่วนลดแคชจะทำให้ฝั่งอินพุตลดลงไปอีก สำหรับเช็กพอยต์ของ NVIDIA นั้นไม่มีอัตรา เพราะไม่มีเอนด์พอยต์ ต้นทุนคือสัดส่วนเท่าใดก็ตามของ GPU-hour ที่ปริมาณงานนั้นใช้ไป และที่ปริมาณระดับนี้ คำตอบปัดลงเหลือศูนย์ — แต่ต้นทุนคงที่ที่อยู่เบื้องหลังไม่เป็นเช่นนั้น H100 สี่ตัวไม่ได้กลายเป็นของถูกเพียงเพราะปริมาณทราฟฟิกเดือนแรกของคุณมีน้อย

นั่นคือรูปร่างที่แท้จริงของการจับคู่ครั้งนี้ และมันเป็นคำถามเรื่องปริมาณ ไม่ใช่คำถามเรื่องคุณภาพ เมื่อปริมาณงานต่ำกว่าระดับหนึ่ง API แบบ open-weight ที่คิดค่าตามการใช้งานก็ถูกกว่าค่าไฟฟ้าและการตัดค่าเสื่อมราคาของฮาร์ดแวร์เสียอีก แม้ว่าทั้งสองโมเดลจะเป็นแบบเปิดก็ตาม เมื่อปริมาณงานสูงกว่าระดับหนึ่ง ต้นทุนคงที่จะพลิกกลับ และเช็กพอยต์ที่โฮสต์เองจะชนะด้านต้นทุน ไม่ว่าตัวใดจะทำคะแนนได้สูงกว่าบน Terminal-Bench จุดตัดขึ้นอยู่กับการใช้งานของคุณ ไม่ใช่ขึ้นอยู่กับผู้ขายรายใดรายหนึ่ง

แล้วคำถามเรื่อง routing ก็เหลืออยู่ว่า: หากคุณไม่อยากรันคลัสเตอร์เลย DeepSeek V4 Pro สามารถเข้าถึงได้บน OrcaRouter ในราคาตามรายการของผู้ให้บริการที่ส่งผ่านมาโดยไม่มีมาร์กอัปต่อโทเคน — $0.66 และ $1.98 ซึ่งเป็นตัวเลขเดียวกับที่ DeepSeek ประกาศ เพราะเราไม่บวกเพิ่ม การเปลี่ยนแปลงราคาของผู้ขายจะมีผลฝั่งเราภายในวันเดียวกัน แทนที่จะรอถึงการต่อสัญญาครั้งถัดไป Nemotron 3.5 Super ไม่ได้อยู่ในคีย์ของเรา เรา route โมเดลมากกว่าสองร้อยตัวเล็กน้อย และนี่ไม่ใช่หนึ่งในนั้น ดังนั้นหากคุณต้องการเช็กพอยต์นั้นโดยเฉพาะ ช่องทางของผู้ขายเองและการดึงมาไว้ในเครื่องคือเส้นทางของคุณ

สิ่งที่ควรทำจริงๆ

หากข้อมูลนำเข้าของคุณเป็นข้อความ และภาระงานของคุณเป็นแบบเอเจนต์ — ห่วงโซ่เครื่องมือที่ยาวนาน การแก้ไขในระดับรีโพซิทอรี เซสชันเทอร์มินัล — DeepSeek V4 Pro เป็นโมเดลที่ดีกว่าและถูกกว่า และเช็กพอยต์ของ NVIDIA ก็ไม่ใช่คู่แข่งที่จริงจังเมื่อเทียบกับมันบนแถวข้อมูลที่ผู้จำหน่ายเผยแพร่เอง ให้รันภาระงานบน V4 Pro ก่อน หาต้นทุนจริงต่อหน่วยของงาน แล้วจึงค่อยตัดสินใจว่าคลัสเตอร์มีความจำเป็นหรือไม่

หากอินพุตของคุณเป็นรูปภาพ วิดีโอ หรือเอกสารยาว การเปรียบเทียบจะยุบเหลือเป็นคำถามเดียวเกี่ยวกับปริมาณ เพราะ V4 Pro ไม่สามารถรับอินพุตนั้นได้เลย หากต่ำกว่าไม่กี่พันหน้าต่อเดือน ให้ใช้แบบโฮสต์ไว้ เกินกว่านั้น เช็กพอยต์ 4-bit บนการ์ด 96 GB หนึ่งใบถือเป็นโครงสร้างพื้นฐานที่น่าเชื่อถือ — โดยมีข้อควรระวังสองข้อที่ควรกล่าวซ้ำ: เวอร์ชันที่คนส่วนใหญ่จะรันไม่มีการประเมินที่เผยแพร่ และค่าเริ่มต้นการสุ่มของรันไทม์เองถูกปรับมาเพื่อครึ่งที่เป็นข้อความของสิ่งที่ผู้ขายโฆษณาว่าเป็นโมเดลวิชัน

และถ้าคุณนำเช็กพอยต์อายุสี่วันไปไว้หลังเส้นทางคำขอจริง ๆ ก็ให้มี fallback อยู่ข้างหลังมันด้วยเช่นกัน ประกันที่ถูกที่สุดซึ่งมีให้สำหรับโมเดลที่ไม่มีประวัติการใช้งานจริง คือโมเดลตัวที่สองในการเรียกครั้งเดียวกัน