NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB ในกระเป๋า เทียบกับ 4× H100 ในตู้แร็ก

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

สิ่งที่ทำให้พวกมันยังน่ามาเปรียบเทียบกันก็คือ พวกมันเห็นตรงกันเรื่องกลไก แต่ไม่ตรงกันเรื่องขนาด ทั้งคู่เป็นโมเดล Mixture-of-Experts ที่สร้างมาเพื่อแลกขนาดรวมกับต้นทุนต่อโทเคน ทั้งคู่บีบอัดโทเคนภาพก่อนที่โมเดลภาษาจะต้องมาคิดเกี่ยวกับ它們 ทั้งคู่เดิมพันว่าอนาคตของงานด้านภาพและภาษาคือโมเดลจำนวนมากในหลายที่ มากกว่าจะเป็นโมเดลขนาดใหญ่ตัวเดียวที่อยู่เบื้องหลัง API เดียว พวกมันเพียงวางเดิมพันห่างกันถึงสามอันดับขนาดในด้านฮาร์ดแวร์

ความบังเอิญของพารามิเตอร์ที่แอ็กทีฟ

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

การมีส่วนร่วมของ OpenBMB ต่อปัญหานั้นคือ Lookahead Expert Scheduling ซึ่งเป็นสิ่งที่ทำให้โมเดล 3B-active เก็บ experts ของตนไว้ในหน่วยความจำได้โดยไม่ทำให้บัสหน่วยความจำถูกกระหน่ำ — นี่คือเหตุผลที่มันรันได้ในหน่วยความจำ 3 GB แทนที่จะต้องใช้เวิร์กสเตชัน ส่วนการนำไปใช้งานอยู่ในฟอร์กชื่อ llama.cpp-omni และข้ออ้างที่แนบมากับมันก็ถูกถ้อยคำอย่างระมัดระวัง: โมเดล MoE โอเพนซอร์สตัวแรกที่รันบนอุปกรณ์ได้อย่างราบรื่นโดยไม่ลดทอนสมรรถนะ คำถามที่ว่า "โดยไม่ลดทอน" จะยังคงเป็นจริงเมื่อเทียบกับโมเดล 120B หรือไม่ ไม่ใช่สิ่งที่การ์ดนี้กล่าวถึง และก็ไม่ควรกล่าวถึง — โมเดลที่รันบนโทรศัพท์ไม่ได้แข่งขันกับโมเดลที่ต้องใช้ H100 สี่ตัวในเรื่องความแม่นยำ มันแข่งขันกันที่การมีอยู่ให้ใช้งานได้เลยต่างหาก

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

สองคำตอบที่แตกต่างกันสำหรับ "โทเค็นมีราคาแพง"

ทั้งสองทีมต่างเข้าจัดการกับคอขวดเดียวกัน — นั่นคือจำนวนโทเคนภาพที่รูปภาพหนึ่งรูปต้องแลกมา — แต่กลับไปถึงจุดที่แตกต่างกัน

MiniCPM-V 4.7 35B-A3B ทำสิ่งนี้ภายใน vision encoder โดยมีการบีบอัดตั้งแต่ช่วงต้นซึ่งต่อยอดมาจาก LLaVA-UHD v4 จากนั้นใช้การบีบอัดโทเคนภาพแบบผสม 4× และ 16× ตามความเหมาะสมของแต่ละภาพ รายละเอียดเล็ก ๆ จะได้เส้นทางที่แพงกว่า ส่วนใบเสร็จจะได้เส้นทางที่ถูกกว่า การบีบอัดเกิดขึ้นก่อนที่โมเดลภาษาจะเข้ามาเกี่ยวข้อง ซึ่งเป็นสิ่งที่ทำให้ตัวเลขบนอุปกรณ์เป็นไปได้

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

นั่นเป็นปรัชญาที่เข้ากันไม่ได้ และทั้งสองก็ถูกต้องสำหรับการนำไปใช้ของมัน ถ้าคุณมี 3 GB คุณก็บีบอัด ถ้าคุณมี 4× H100 คุณก็เก็บรายละเอียดไว้และจ่ายเพื่อแลกกับบริบท

สิ่งที่ตัวเลขบอกคุณได้และบอกคุณไม่ได้

นี่คือจุดยืนที่ตรงไปตรงมาของทั้งสองฝ่าย

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

การ์ดของ MiniCPM-V 4.7 35B-A3B นำเสนอผลการทดสอบ benchmark ของตนในรูปแบบแผนภูมิจากผู้จำหน่าย แทนที่จะเป็นตารางตัวเลข ดังนั้นจึงไม่มีตัวเลขใดให้อ้างอิงและไม่มีรายการ baseline ให้ตรวจสอบ ข้อกล่าวอ้างเฉพาะที่ชัดเจนที่สุดในการ์ดเป็นการเปรียบเทียบและบอกทิศทาง — คะแนนโดยรวมที่สูงกว่าโดยใช้เวลา inference น้อยกว่า Qwen3.6 35B-A3B ในโหมด Instruct — ซึ่งเป็นข้อกล่าวอ้างเกี่ยวกับประสิทธิภาพภายในระดับน้ำหนักเดียวกัน ไม่ใช่เกี่ยวกับความสามารถเมื่อเทียบกับโมเดลที่มีขนาดใหญ่กว่าสิบสองเท่า

ดังนั้นตารางเปรียบเทียบของสองตัวนี้ในแง่ตัวเลข benchmark จึงไม่มีอยู่จริงและไม่สามารถสร้างขึ้นได้ ใครก็ตามที่นำเสนอตารางเช่นนั้นกำลังนำแผนภูมิของผู้ขายมารวมกับตารางของผู้ขาย แล้วเรียกผลลัพธ์ที่ได้ว่าการวัด

รายละเอียดตอนดีพลอยที่ชี้ขาดโปรเจกต์ได้มากกว่าความแม่นยำ

MiniCPM-V 4.7 35B-A3B มาพร้อมการสนับสนุนตั้งแต่วันแรกสำหรับชิป Rockchip, Houmo, Intel, AMD และ Arm ควบคู่กับ SGLang, vLLM, llama.cpp และ Ollama และการควอนไทซ์ในรูปแบบ GGUF, BNB, AWQ, GPTQ และ FP8 นอกจากนี้ยังผสานรวมกับ SWIFT และ LLaMA-Factory สำหรับการปรับแต่งละเอียด รายการนั้นคือตัวผลิตภัณฑ์จริง โมเดลที่รันบนตัวเร่งความเร็วที่คุณซื้อมาแล้ว ในรูปแบบควอนไทซ์ที่รันไทม์ของคุณรองรับอยู่แล้ว คือโมเดลที่คุณสามารถส่งมอบได้ในไตรมาสนี้

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

เหตุผลที่ควรรันทั้งคู่

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

อันไหน ตัดสินจากตำแหน่งที่พิกเซลอยู่

เลือก MiniCPM-V 4.7 35B-A3B หากการอนุมานจำเป็นต้องเกิดขึ้นในที่ที่ข้อมูลอยู่ — บนโทรศัพท์ ในยานพาหนะ บนพื้นที่โรงงาน ในคลินิกที่รูปภาพไม่สามารถออกจากอาคารได้ — หรือหากผู้ใช้ของคุณออฟไลน์ หรือหากต้นทุนต่อการเรียกใช้ของ VLM ที่โฮสต์ไว้คือสิ่งที่ทำลายเศรษฐศาสตร์ต่อหน่วย ใบอนุญาตของมันคือ Apache-2.0 ตัวเลือกการควอนไทซ์ของมันมีหลากหลาย และรายการซิลิคอนที่รองรับของมันก็ตั้งใจให้ยาวเป็นพิเศษ

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

หากคุณยังไม่แน่ใจ คำถามที่ชี้ขาดไม่ใช่ความแม่นยำ แต่เป็นว่าภาพนั้นได้รับอนุญาตให้ออกจากอุปกรณ์หรือไม่ คำตอบนั้นเป็นตัวกำหนดว่าจะเลือกโมเดลใดก่อนที่จะดูผลการวัดประสิทธิภาพใด ๆ ด้วยซ้ำ

การ์ดของ MiniCPM-V 4.7 35B-A3B เป็นแหล่งที่มาของข้อกล่าวอ้างบนอุปกรณ์ — ทั้ง 13+ โทเคนต่อวินาที, ขนาดพื้นที่ประมาณ 3 GB, รายชื่อซิลิคอน day-0 และรูปแบบควอนไทเซชัน — ซึ่งทั้งหมดนี้เป็นผลลัพธ์ที่โมเดลรายงานเอง อ่านรายชื่อซิลิคอนก่อนตัดสินใจ เพราะคำว่า "supported" ในนั้นหมายความว่ามีเส้นทางรันไทม์อยู่ ไม่ได้หมายความว่าบอร์ดเฉพาะของคุณได้รับการทดสอบประสิทธิภาพแล้ว

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

เบนช์มาร์กนั้นเก่าไปตามกาลเวลาและราคาเปลี่ยนแปลง แต่บันทึกความล้มเหลวไม่เป็นเช่นนั้น: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่บันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในคลาสนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และแฟล็กข้อโต้แย้งของตนเอง