MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: เครื่องที่ราคาถูกที่สุดที่รันแต่ละรุ่นได้จริง

ทั้งสองเป็นโมเดลวิชัน-ภาษาศาสตร์แบบเปิดน้ำหนัก (open-weight) ทั้งคู่ใช้สถาปัตยกรรม mixture-of-experts และทั้งคู่บีบอัดโทเคนภาพก่อนที่โมเดลภาษาจะได้เห็น ดังนั้นการตัดสินใจเลือกระหว่าง MiniCPM-V 4.7 35B-A3B กับ NVIDIA Nemotron 3.5 Super VL จึงไม่ใช่การตัดสินใจเรื่องสถาปัตยกรรม แต่เป็นการตัดสินใจว่าเครื่องที่เล็กที่สุดที่คุณยอมซื้อคืออะไร และเครื่องนั้นให้อะไรคุณได้ในหน่วยหน้าต่อชั่วโมง เมื่อคิดราคาแบบนั้น ทั้งสองโมเดลก็อยู่ในการเจรจาจัดซื้อคนละแบบไปเลย: ตัวหนึ่งรันจากไฟล์ดาวน์โหลดขนาด 21 GB บนฮาร์ดแวร์ที่คุณอาจมีอยู่แล้ว ส่วนอีกตัวต้องใช้ H100 สี่การ์ดใน BF16 หรือ H200 หนึ่งการ์ดใน FP4 บทความนี้จะคำนวณตัวเลขที่สเปกชีตปล่อยให้คุณคิดเอง — ทีละระดับหน่วยความจำ และทีละหน้า สแต็กวิชันยังอยู่บนฮาร์ดแวร์ของคุณ ส่วนการจัดการ orchestrations รอบๆ ไม่จำเป็นต้องอยู่ด้วย ดูแค็ตตาล็อกแบบโฮสต์ โมเดลแบบโฮสต์กว่า 200 รุ่นด้วยคีย์เดียว ราคาตามลิสต์ส่งต่อโดยไม่บวกราคา 0% ความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง ระดับความเชื่อมั่น และแฟล็กข้อโต้แย้งของตัวเอง

สองบันไดการควอนไทเซชัน กับสองค่าต่ำสุดที่ต่างกันอย่างมาก

OpenBMB และ NVIDIA แก้ปัญหาเดียวกัน — โมเดลที่ใหญ่เกินกว่าอุปกรณ์ที่คุณต้องการรัน — ในทิศทางตรงกันข้าม MiniCPM-V 4.7 35B-A3B เก็บชุดที่ใช้งานอยู่ขนาดเล็กไว้ในหน่วยความจำและสตรีมผู้เชี่ยวชาญเข้ามาจากที่จัดเก็บ จากนั้นจัดส่งทั้งชุดในทุกขนาด GGUF เพื่อให้คุณเลือกขีดจำกัดขั้นต่ำของคุณเอง Nemotron 3.5 Super VL เก็บโมเดลเต็มไว้ในหน่วยความจำแทน และฝึกระดับ 4 บิต (NVFP4) ที่ลดความต้องการหน่วยความจำลงประมาณสี่เท่าโดยไม่มีบทลงโทษจากการควอนไทซ์ภายหลัง

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21.2 GB บนดิสก์ ใช้งานได้กับ GPU ระดับผู้ใช้ทั่วไปขนาด 24 GB โดยเหลือพื้นที่เพียงเล็กน้อย หรือ Mac ขนาด 32 GB ที่ยังมีพื้นที่เหลือเฟือ

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 GB / 69.4 GB ต้องใช้การ์ด 48 GB หรือเวิร์กสเตชัน 96 GB ขึ้นอยู่กับว่าต้องการบริบทมากน้อยเพียงใดควบคู่กับน้ำหนักโมเดล

• Nemotron 3.5 Super VL, BF16 — น้ำหนักประมาณ 231.8 GiB กระจายอยู่ใน 64 shards สูตรการเสิร์ฟของ NVIDIA เองคือ tensor-parallel 4 บน 4x H100 หรือ TP2 บน 2x GB200

• Nemotron 3.5 Super VL, NVFP4 — ติดตั้งใช้งานได้บน 1x DGX Spark, 1x H200, 2x H100 หรือ 1x GB200 ตามการ์ดโมเดลของรุ่นนี้

บรรทัดสุดท้ายนั้นคือตัวเลขที่เปลี่ยนบทสนทนาการจัดซื้อ โมเดล 120B บน H200 หนึ่งตัวแทนที่จะเป็น H100 สี่ตัวไม่ใช่การประหยัดเล็กน้อย แต่เป็นความแตกต่างระหว่างการจองคลัสเตอร์กับการใช้โหนดเดียว และเนื่องจาก NVIDIA ทำการแปลงเป็น 4 บิตระหว่างการฝึกด้วยการกลั่นแบบตระหนักถึงการควอนไทเซชันแทนที่จะทำภายหลัง จึงอ้างว่าไม่มีโอเวอร์เฮดในการอนุมาน — ซึ่งเป็นการอ้างที่การ์ดระบุไว้แต่ไม่ได้ให้หลักฐานยืนยันด้วยส่วนต่างความแม่นยำ BF16 เทียบกับ NVFP4 ที่เผยแพร่

หน้าต่อชั่วโมง ซึ่งเป็นตัวเลขที่ชี้ขาดทุกอย่าง

อัตราการประมวลผลเป็นโทเคนต่อวินาทีเป็นตัวชี้วัดที่ใช้แทนงานด้านเอกสารได้ไม่ดีนัก เพราะต้นทุนของหนึ่งหน้าถูกกำหนดเป็นหลักโดยจำนวนโทเคนภาพที่ตัวเข้ารหัสส่งออกมาก่อนที่โมเดลภาษาจะเปล่งคำสักคำ นี่คือจุดที่สองดีไซน์แตกต่างกันมากที่สุด และเป็นจุดที่ภาษาการตลาดมีประโยชน์น้อยที่สุด

MiniCPM-V 4.7 35B-A3B บีบอัดภายในวิชันทาวเวอร์ โดยใช้เทคนิคการบีบอัดตั้งแต่เนิ่นๆ ซึ่ง OpenBMB ให้เครดิตแก่ LLaVA-UHD v4 พร้อมการดาวน์แซมปลิงแบบผสม 4x และ 16x ค่าเริ่มต้นคือ 16x ส่วน 4x เป็นเส้นทางสำหรับรายละเอียดปลีกย่อย ซึ่งเลือกตามแต่ละภาพ หน้าที่เต็มไปด้วยข้อความจะได้เส้นทางราคาถูก ขณะที่ไดอะแกรมชิ้นส่วนจะได้เส้นทางราคาแพง การบีบอัดเกิดขึ้นก่อนที่โมเดลภาษาจะเข้ามาเกี่ยวข้อง ซึ่งเป็นสิ่งที่ทำให้โมเดล 35B ใช้งานบนโทรศัพท์ได้จริง

Nemotron 3.5 Super VL ไม่ได้เน้นการบีบอัดเป็นหลัก คำตอบของมันคือบริบท: สูงสุดหนึ่งล้านโทเค็น อินพุตวิดีโอสูงสุดสองนาที และเลเยอร์ Mamba-2 แบบไฮบริดเพื่อไม่ให้ลำดับที่ยาวมากกลายเป็นกำลังสอง สูตรวิดีโอของมันสุ่มตัวอย่างที่ 2 FPS และ 256 เฟรมโดยค่าเริ่มต้น ลดลงเหลือ 1 FPS และ 128 เฟรมที่ 1080p — เป็นนโยบายการสุ่มตัวอย่างมากกว่ากลเม็ดการบีบอัด และเป็นค่าที่คุณปรับเพิ่มได้หากภาระงานมีการเคลื่อนไหวหนาแน่น

ผลลัพธ์ในทางปฏิบัติ: MiniCPM-V 4.7 ให้ต้นทุนโทเค็นต่อหน้าที่ต่ำและคงที่ และขอให้คุณยอมรับการสูญเสียรายละเอียด ส่วน Nemotron 3.5 Super VL ให้คุณรักษารายละเอียดไว้ได้ และขอให้คุณจ่ายสำหรับบริบท สำหรับการตรวจสัญญาความยาวหนึ่งร้อยหน้า ตัวแรกมีต้นทุนต่อหน้าถูกกว่า และตัวที่สองทำได้ดีกว่าในหน้าที่ข้อสัญญาถูกใส่ไว้ในเชิงอรรถขนาด 6 พอยต์ สำหรับวิดีโอการผ่าตัดความยาวสองนาที มีเพียงตัวที่สองเท่านั้นที่ยังอยู่ในข่ายที่จะพิจารณา

หนึ่งในรีลีสเหล่านี้มาพร้อมกับตัวเลข ส่วนอีกรีลีสหนึ่งมาพร้อมกับแผนภูมิ

นี่คือส่วนของการเปรียบเทียบที่การคำนวณด้วยฮาร์ดแวร์ไม่ว่าจะมากเพียงใดก็ไม่อาจแก้ไขได้ ดังนั้นจึงควรอยู่ตรงนี้แทนที่จะถูกฝังไว้ในเชิงอรรถ

การ์ดโมเดลของ NVIDIA มีตารางเบนช์มาร์กประมาณสี่สิบแถว และเปิดเผยมากผิดปกติ: ตารางระบุชื่อเส้นฐาน และหลายแถวแสดงว่าโมเดลแพ้ เมื่อเทียบกับ Qwen3.5-122B-A10B ตัวเลขของ NVIDIA เองระบุว่า MMLU-ProX อยู่ที่ 76.91 เทียบกับ 83.2, tau2-bench telecom อยู่ที่ 73.19 เทียบกับ 87.2, OCRBench v2 Chinese อยู่ที่ 59.15 เทียบกับ 67.3 และ MathVision อยู่ที่ 78.16 เทียบกับ 83.3 โมเดลชนะ GPQA-Diamond 89.52 ต่อ 86.7, SWE-bench Pro 51.78 ต่อ 44.9 และ CritPt 10.86 ต่อ 1.1 ทุกตัวเลข รวมถึงเส้นฐาน ถูกเก็บผ่านฮาร์เนส NeMo Gym ของ NVIDIA เอง — การ์ดระบุเช่นนั้นโดยตรง และเผยแพร่บันทึกเกี่ยวกับการทำซ้ำได้ ดำเนินการโดยผู้ขาย ติดป้ายอย่างตรงไปตรงมา และปล่อยผลที่แพ้ไว้

การ์ดของ MiniCPM-V 4.7 มีแผนภูมิการประเมินห้าแผนภูมิและไม่มีตารางตัวเลข ข้อกล่าวอ้างเชิงเปรียบเทียบเป็นแบบบอกทิศทาง: คะแนนรวมสูงกว่าโดยใช้เวลาการอนุมานน้อยกว่า Qwen3.6 35B-A3B ในโหมด Instruct และมีผลดีขึ้นอย่างมากเมื่อเทียบกับ Qwen3.5 0.8B สำหรับรุ่น 1B ไม่มีคะแนนแยกตามเกณฑ์มาตรฐานให้อ้างอิง ไม่มีรายการฐานเปรียบเทียบให้ตรวจสอบ และไม่มีน้ำหนักที่เผยแพร่สำหรับคะแนนรวมที่กำลังพล็อต นั่นไม่เหมือนกับว่าเป็นโมเดลที่แย่ — วิศวกรรมได้รับการบันทึกไว้ใน config.json และสามารถตรวจสอบน้ำหนักได้ทีละไบต์ — แต่มันหมายความว่าครึ่งหนึ่งด้านความแม่นยำของการเปรียบเทียบนี้ไม่สามารถสร้างขึ้นได้ ใครก็ตามที่นำเสนอตารางคะแนน MiniCPM-V 4.7 เทียบกับตัวเลขของ Nemotron 3.5 Super VL กำลังอ่านแผนภูมิของผู้จำหน่ายรายหนึ่งราวกับว่าเป็นการวัดค่า และอ่านตารางของอีกรายราวกับว่าเป็นกลาง

เส้นทางรันไทม์ และเส้นทางไหนที่จะย้อนมาทำร้ายคุณในภายหลัง

เรื่องราวการนำ MiniCPM-V 4.7 ไปใช้งานเปรียบเหมือนเมนู: SGLang, vLLM, llama.cpp และ Ollama, เส้นทาง OpenVINO สำหรับ Intel CPU, GPU และ NPU, การปรับแต่งผ่าน SWIFT และ LLaMA-Factory, การควอนไทซ์ใน GGUF, BNB, AWQ, GPTQ และ FP8 และการอ้างว่ารองรับ day-0 สำหรับซิลิคอนของ Rockchip, Houmo, Intel, AMD และ Arm ควบคู่กับ iOS, Android และ HarmonyOS ความครอบคลุมคือตัวสินค้า ราคาที่ต้องจ่ายของความครอบคลุมคือไม่มีใครตรวจสอบชุดค่าผสมเฉพาะของคุณ และเส้นทาง llama.cpp upstream ปัจจุบันมีข้อบกพร่องที่ยังเกิดขึ้นจริง: ตำแหน่งเครื่องหมายภาพถูกคำนวณไม่ถูกต้อง ทำให้พิกัดที่ส่งคืนต่ำกว่าความเป็นจริงอย่างเป็นระบบเมื่อคุณถามว่าสิ่งใดอยู่ที่ใด มีการแก้ไขที่ผ่านการทดสอบแล้วเปิดอยู่และยังไม่ถูก merge ณ วันที่ 20 ตุลาคม

เรื่องราวของ Nemotron 3.5 Super VL นั้นแคบแต่ลึก: vLLM ที่แท็กอิมเมจซึ่งปักหมุดไว้ และ SGLang ที่แท็กซึ่งปักหมุดไว้ โดยมี Multi-Token Prediction ฝังอยู่ในสถาปัตยกรรม จึงไม่จำเป็นต้องมี drafter แยกต่างหาก การ์ดระบุเวอร์ชันไว้เพราะเวอร์ชันเหล่านั้นคือชุดที่ผ่านการตรวจสอบแล้ว การออกนอกเส้นทางจากเวอร์ชันเหล่านี้คือหนทางที่ทำให้การติดตั้งใช้งานที่ทำงานได้กลายเป็นเซสชันดีบัก

หากคุณกำลังเลือกฮาร์ดแวร์ให้พอดีกับโมเดล ให้เลือก MiniCPM-V 4.7 หากคุณกำลังเลือกโมเดลให้พอดีกับฮาร์ดแวร์ที่มีอยู่แล้ว ให้เลือก Nemotron 3.5 Super VL และปฏิบัติตามเวอร์ชันใน model card ของโมเดลนั้นอย่างเคร่งครัด

เราเตอร์ควรอยู่ตรงไหนในสถาปัตยกรรมแบบสองกล่อง

รูปแบบที่ปรากฏในการใช้งานจริงไม่ใช่การเลือกอย่างใดอย่างหนึ่งระหว่างสองตัวนี้ แต่เป็นการใช้โมเดลขนาดเล็กบนอุปกรณ์หรือเครื่องโลคอลเพื่อทำงานที่ต้องรวดเร็วทันทีและเป็นส่วนตัว และใช้โมเดลขนาดใหญ่จัดการงานที่ต้องถูกต้อง MiniCPM-V 4.7 35B-A3B ถูกสร้างมาสำหรับบทบาทแรก ส่วน Nemotron 3.5 Super VL ถูกสร้างมาสำหรับบทบาทที่สอง ด้วยหน้าต่างบริบทหนึ่งล้านโทเค็นและพารามิเตอร์ที่_active 12B เพื่อรองรับเอกสารยาวและลูปการทำงานแบบเอเจนต์

การรันทั้งสองตัวหมายถึงสแต็กโมเดลสองชุด ชุดโหมดความล้มเหลวสองชุด และ — เมื่อคุณเพิ่มโมเดลข้อความสำหรับการประสานงานรอบ ๆ ทั้งสอง — สามชุด นี่คือจุดที่ OrcaRouter ช่วยได้โดยไม่กล่าวเกินจริงว่ามันคืออะไร: ไม่มีเช็กพอยต์ใดอยู่ในแคตตาล็อกของเรา เพราะทั้งสองเป็นเวตเปิดที่คุณโฮสต์เอง แต่โมเดลข้อความและโค้ดที่ล้อมรอบทั้งสองนั้นอยู่ในแคตตาล็อกคีย์เดียวใช้ได้กับโมเดลที่โฮสต์มากกว่า 200 โมเดล ราคาตามรายการของผู้ให้บริการถูกส่งต่อโดยไม่บวกเพิ่ม 0% และมีการสลับสำรองอัตโนมัติเมื่อต้นทางมีประสิทธิภาพลดลง. สแต็กวิชันยังคงอยู่บนฮาร์ดแวร์ของคุณ ส่วนที่เหลือของไปป์ไลน์ไม่จำเป็นต้องมีสัญญาใหม่ทุกครั้งที่คุณเพิ่มขั้นตอน

การคิดผิดเกี่ยวกับแต่ละอย่างต้องแลกมาด้วยอะไรบ้าง

ซื้อเครื่องเล็ก แล้วพบว่าคุณต้องการการให้เหตุผลกับเอกสารยาว คุณก็เสียเงินไปสองสามพันดอลลาร์และหนึ่งสัปดาห์แล้ว ซื้อ H100s สี่ตัว แล้วพบว่าภาระงานจริงคือใบเสร็จ คุณก็จ่ายแพงกว่ามากเพื่อความสามารถที่คุณไม่เคยเรียกใช้ ความไม่สมมาตรนั้นคือข้อโต้แย้งที่แท้จริงสำหรับการเริ่มจากระดับราคาถูกแล้วค่อยยกระดับ — และนั่นคือเหตุผลที่การเปิดตัวแบบ on-device สมควรได้รับความสนใจที่กำลังได้รับ แม้ว่าเรื่องราว benchmark ของมันจะบางกว่าก็ตาม

ตัวชี้ขาด ถ้าคุณมีกล่องทั้งสองใบพร้อมใช้ ก็คือพิกเซลอยู่ที่ไหน เฟรมที่ไม่สามารถออกนอกอาคารได้ก็ให้ไปที่โมเดลที่รันอยู่ภายในนั้น ส่วนเฟรมที่ต้องใช้คอนเท็กซ์ระดับล้านโทเค็นและลูปการให้เหตุผลก็ให้ไปที่ตัวที่ถูกสร้างมาเพื่อสิ่งนั้น และคุณก็ยอมรับเวอร์ชันรันไทม์ที่ถูกปักหมุดไว้เป็นราคาค่าเข้า