NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB trong túi đối đầu 4× H100 trong tủ rack

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Điều khiến chúng đáng được so sánh với nhau là chúng đồng thuận về cơ chế nhưng bất đồng về quy mô. Cả hai đều là các mô hình Mixture-of-Experts được xây dựng để đánh đổi tổng kích thước lấy chi phí trên mỗi token. Cả hai đều nén các token thị giác trước khi mô hình ngôn ngữ phải suy nghĩ về chúng. Cả hai đều đặt cược rằng tương lai của công việc thị giác-ngôn ngữ là nhiều mô hình ở nhiều nơi, thay vì một mô hình lớn duy nhất đứng sau một API. Chúng chỉ khác nhau ở chỗ đặt cược lệch nhau ba bậc độ lớn về phần cứng.

Sự trùng hợp tham số hoạt động

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

Đóng góp của OpenBMB cho vấn đề đó là Lookahead Expert Scheduling, thứ cho phép một mô hình 3B-active giữ các expert của nó thường trú mà không làm quá tải bus bộ nhớ — lý do nó có thể chạy trong 3 GB thay vì cần một máy trạm. Phần triển khai nằm trong một bản fork, llama.cpp-omni, và tuyên bố đi kèm rất thận trọng: mô hình MoE mã nguồn mở đầu tiên chạy mượt ngay trên thiết bị mà không đánh đổi hiệu năng. Liệu "không đánh đổi" có đứng vững trước một mô hình 120B hay không không phải là điều mà thẻ đề cập, và nó cũng không nên — một mô hình chạy trên điện thoại không cạnh tranh với một mô hình cần bốn H100 về độ chính xác. Nó đang cạnh tranh ở việc có mặt mà thôi.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Hai câu trả lời khác nhau cho “tokens rất tốn kém”

Cả hai nhóm đều tấn công cùng một nút thắt cổ chai — số lượng token thị giác mà một bức ảnh tiêu tốn — và đi đến những kết quả khác nhau.

MiniCPM-V 4.7 35B-A3B thực hiện điều đó bên trong bộ mã hóa thị giác, với nén sớm được dẫn xuất từ LLaVA-UHD v4, rồi sau đó dùng nén token thị giác hỗn hợp 4× và 16× tùy theo nhu cầu của hình ảnh. Chi tiết mịn nhận đường xử lý đắt đỏ; một hóa đơn nhận đường rẻ. Việc nén diễn ra trước khi mô hình ngôn ngữ tham gia, và chính điều đó khiến các con số trên thiết bị trở nên khả thi.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

Đó là những triết lý không tương thích, và cả hai đều đúng với cách triển khai của chúng. Nếu bạn có 3 GB, bạn nén. Nếu bạn có 4× H100, bạn giữ chi tiết và trả giá cho ngữ cảnh.

Điều mà những con số có thể và không thể cho bạn biết

Đây là quan điểm trung thực về cả hai phía.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

Thẻ của MiniCPM-V 4.7 35B-A3B trình bày kết quả benchmark dưới dạng biểu đồ của nhà cung cấp thay vì bảng số liệu, nên không có con số nào để trích dẫn và không có danh sách baseline nào để kiểm tra. Tuyên bố cụ thể mạnh nhất trong thẻ mang tính so sánh và định hướng — điểm tổng thể cao hơn trong thời gian suy luận ít hơn so với Qwen3.6 35B-A3B ở chế độ Instruct — đây là tuyên bố về hiệu quả trong cùng hạng cân của nó, không phải về năng lực so với một mô hình có kích thước gấp mười hai lần.

Vậy nên một bảng so sánh hai thứ này dựa trên các con số benchmark là không tồn tại và không thể được lập ra. Bất kỳ ai trình bày một bảng như vậy đều đang ghép một biểu đồ của nhà cung cấp với một bảng của nhà cung cấp và gọi kết quả đó là một phép đo.

Chi tiết triển khai quyết định nhiều dự án hơn cả độ chính xác

MiniCPM-V 4.7 35B-A3B được phát hành với hỗ trợ ngay từ ngày ra mắt cho chip Rockchip, Houmo, Intel, AMD và Arm, cùng với SGLang, vLLM, llama.cpp và Ollama, và lượng tử hóa ở GGUF, BNB, AWQ, GPTQ và FP8. Nó cũng tích hợp với SWIFT và LLaMA-Factory để tinh chỉnh. Danh sách đó mới chính là sản phẩm thực sự. Một mô hình chạy trên bộ tăng tốc mà bạn đã mua, ở định dạng lượng tử hóa mà runtime của bạn đã hỗ trợ, chính là mô hình mà bạn có thể đưa vào triển khai ngay trong quý này.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

Lý do nên chạy cả hai

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Cái nào, được quyết định bởi các pixel nằm ở đâu

Hãy chọn MiniCPM-V 4.7 35B-A3B nếu suy luận phải diễn ra ngay tại nơi có dữ liệu — trên điện thoại, trong xe, trên sàn nhà máy, trong phòng khám nơi hình ảnh không thể rời khỏi tòa nhà — hoặc nếu người dùng của bạn đang ngoại tuyến, hoặc nếu chi phí mỗi lần gọi của một VLM chạy trên máy chủ đang là thứ bóp chết tính kinh tế đơn vị. Giấy phép của nó là Apache-2.0, danh mục lượng tử hóa của nó rộng, và danh sách hỗ trợ chip của nó dài một cách có chủ đích.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Nếu bạn không chắc, câu hỏi quyết định không phải là độ chính xác. Mà là liệu hình ảnh có được phép rời khỏi thiết bị hay không. Câu trả lời đó chọn mô hình trước khi bất kỳ benchmark nào được xem xét.

Card của MiniCPM-V 4.7 35B-A3B là nguồn cho các tuyên bố về chạy trên thiết bị — tốc độ hơn 13 token mỗi giây, mức chiếm dụng khoảng 3 GB, danh sách silicon ngày-0 và các định dạng lượng tử hóa — tất cả đều là kết quả do chính mô hình báo cáo. Hãy đọc danh sách silicon trước khi bạn quyết định, vì “được hỗ trợ” ở đó nghĩa là có tồn tại một đường chạy runtime, chứ không phải bo mạch cụ thể của bạn đã được đo hiệu năng.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Điểm chuẩn thì lỗi thời, giá cả thì biến động; nhưng hồ sơ thất bại thì không: những sự cố AI và lỗi tác nhân (agent) được ghi nhận đằng sau các mô hình thuộc nhóm này đều được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều đi kèm nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ đánh dấu tranh chấp.