MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: Cỗ máy rẻ nhất thực sự chạy được từng mô hình

Cả hai đều là mô hình thị giác-ngôn ngữ trọng số mở, cả hai đều là hỗn hợp chuyên gia, và cả hai đều nén token thị giác trước khi mô hình ngôn ngữ nhìn thấy chúng. Do đó, việc lựa chọn giữa MiniCPM-V 4.7 35B-A3B và NVIDIA Nemotron 3.5 Super VL không phải là quyết định về kiến trúc. Đó là quyết định về cỗ máy nhỏ nhất mà bạn sẵn sàng mua, và về những gì cỗ máy đó mang lại cho bạn tính theo số trang mỗi giờ. Nếu định giá theo cách đó, hai mô hình nằm ở những cuộc thảo luận mua sắm hoàn toàn khác nhau: một mô hình chạy từ bản tải xuống 21 GB trên phần cứng mà bạn có thể đã sở hữu, mô hình kia cần bốn H100 ở BF16 hoặc một H200 ở FP4. Bài viết này thực hiện phần tính toán mà các bảng thông số để bạn tự làm — theo từng bậc bộ nhớ và từng trang. Ngăn xếp thị giác vẫn ở trên phần cứng của bạn. Phần điều phối xung quanh nó thì không nhất thiết phải vậy. Xem danh mục được lưu trữ Hơn 200 mô hình được lưu trữ chỉ với một khóa, giá niêm yết được chuyển nguyên với mức phụ phí 0%. Các lỗi AI và sự cố agent đã được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong OrcaRouter AI Incident Archive trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.

Hai bậc thang lượng tử hóa, hai mức sàn rất khác nhau

OpenBMB và NVIDIA đã giải quyết cùng một vấn đề — một mô hình quá lớn so với thiết bị mà bạn muốn chạy nó — theo hai hướng ngược nhau. MiniCPM-V 4.7 35B-A3B giữ một tập kích hoạt nhỏ thường trú và truyền phát các chuyên gia từ lưu trữ vào, rồi phát hành toàn bộ ở mọi kích cỡ GGUF để bạn có thể chọn mức sàn của mình. Nemotron 3.5 Super VL giữ toàn bộ mô hình thường trú và thay vào đó huấn luyện một tầng 4-bit (NVFP4) giúp cắt giảm yêu cầu bộ nhớ khoảng bốn lần mà không phải chịu tổn thất lượng tử hóa hậu kiểm.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21,2 GB trên đĩa. Vừa với một GPU tiêu dùng 24 GB với mức dự phòng mỏng, hoặc một máy Mac 32 GB với dung lượng dư dả.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 GB / 69.4 GB. Một card 48 GB hoặc một máy trạm 96 GB, tùy thuộc vào lượng ngữ cảnh bạn muốn có cùng với trọng số.

• Nemotron 3.5 Super VL, BF16 — khoảng 231,8 GiB trọng số trải trên 64 shard. Công thức phục vụ của chính NVIDIA là tensor-parallel 4 trên 4x H100, hoặc TP2 trên 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — triển khai trên 1x DGX Spark, 1x H200, 2x H100 hoặc 1x GB200, theo model card của mô hình.

Dòng cuối cùng đó chính là con số làm thay đổi cuộc thảo luận mua hàng. Một mô hình 120B trên một H200 thay vì bốn H100 không phải là mức tiết kiệm biên; đó là sự khác biệt giữa việc đặt trước cả một cụm và chỉ một node đơn lẻ. Và vì NVIDIA thực hiện chuyển đổi 4-bit trong quá trình huấn luyện bằng chưng cất nhận biết lượng tử hóa thay vì làm sau đó, hãng tuyên bố không có chi phí phụ trội khi suy luận — một tuyên bố mà card đưa ra nhưng không chứng minh bằng chênh lệch độ chính xác BF16 so với NVFP4 đã được công bố.

Số trang mỗi giờ, con số quyết định mọi thứ

Thông lượng tính bằng token mỗi giây là một thước đo thay thế kém cỏi cho công việc xử lý tài liệu, vì chi phí của một trang bị chi phối bởi số lượng token thị giác mà bộ mã hóa xuất ra trước khi mô hình ngôn ngữ nói ra một từ. Đây là chỗ hai thiết kế khác biệt sắc nét nhất, và cũng là chỗ ngôn ngữ tiếp thị ít hữu ích nhất.

MiniCPM-V 4.7 35B-A3B nén bên trong tháp thị giác, sử dụng kỹ thuật nén sớm mà OpenBMB ghi công cho LLaVA-UHD v4, với việc giảm mẫu hỗn hợp 4x và 16x. Mặc định là 16x; 4x là đường xử lý chi tiết mịn, được chọn theo từng ảnh. Một trang văn bản dày đặc đi theo đường rẻ, còn sơ đồ bộ phận đi theo đường đắt. Việc nén diễn ra trước khi mô hình ngôn ngữ tham gia, và chính điều đó khiến một mô hình 35B khả thi trên điện thoại.

Nemotron 3.5 Super VL không lấy nén làm điểm dẫn đầu. Câu trả lời của nó là ngữ cảnh: lên tới một triệu token, đầu vào video tối đa hai phút và một lớp Mamba-2 lai để giữ cho chuỗi rất dài không trở thành bậc hai. Công thức video của nó lấy mẫu ở 2 FPS và 256 khung hình theo mặc định, giảm xuống 1 FPS và 128 khung hình ở 1080p — một chính sách lấy mẫu chứ không phải mẹo nén, và bạn có thể tinh chỉnh tăng lên nếu khối lượng công việc có chuyển động dày đặc.

Hệ quả thực tế: MiniCPM-V 4.7 mang đến cho bạn chi phí token cố định, thấp trên mỗi trang và yêu cầu bạn chấp nhận việc mất chi tiết; Nemotron 3.5 Super VL cho phép bạn giữ lại chi tiết và yêu cầu bạn trả tiền cho ngữ cảnh. Đối với việc rà soát hợp đồng trăm trang, cái đầu rẻ hơn trên mỗi trang và cái thứ hai tốt hơn ở trang mà điều khoản nằm trong một chú thích cuối trang cỡ chữ 6 point. Đối với video phẫu thuật dài hai phút, chỉ cái thứ hai mới có mặt trong cuộc trò chuyện.

Một trong hai bản phát hành này đi kèm số liệu; bản còn lại đi kèm biểu đồ.

Đây là phần của phép so sánh mà không lượng tính toán phần cứng nào có thể khắc phục được, nên nó nên nằm ở đây thay vì bị chôn vùi trong một chú thích cuối trang.

Thẻ mô hình của NVIDIA có một bảng đánh giá hiệu năng gồm khoảng bốn mươi dòng, và nó công khai một cách hiếm thấy: bảng nêu tên các đường cơ sở, và một số dòng cho thấy mô hình thua. So với Qwen3.5-122B-A10B, các con số của chính hãng đặt MMLU-ProX ở 76.91 so với 83.2, tau2-bench telecom ở 73.19 so với 87.2, OCRBench v2 Chinese ở 59.15 so với 67.3, và MathVision ở 78.16 so với 83.3. Nó thắng GPQA-Diamond với 89.52 so với 86.7, SWE-bench Pro với 51.78 so với 44.9 và CritPt với 10.86 so với 1.1. Mọi con số, kể cả các đường cơ sở, đều được thu thập thông qua NeMo Gym harness của chính NVIDIA — thẻ nói thẳng điều đó và công bố ghi chú về khả năng tái lập. Do nhà cung cấp tự chạy, được ghi nhãn trung thực, với các kết quả thua vẫn được giữ lại.

Thẻ của MiniCPM-V 4.7 có năm biểu đồ đánh giá và không có bảng số liệu nào. Các tuyên bố so sánh mang tính định hướng: điểm tổng thể cao hơn trong thời gian suy luận ít hơn so với Qwen3.6 35B-A3B ở chế độ Instruct, và mức cải thiện đáng kể so với Qwen3.5 0.8B đối với biến thể 1B. Không có điểm số theo từng benchmark để trích dẫn, không có danh sách baseline để kiểm tra, và không có trọng số được công bố cho chỉ số tổng hợp đang được biểu diễn. Điều đó không giống với một mô hình tồi — phần kỹ thuật được ghi lại trong config.json và các trọng số có thể kiểm tra từng byte một — nhưng nó có nghĩa là nửa độ chính xác của phép so sánh này không thể xây dựng được. Bất kỳ ai trình bày một bảng điểm MiniCPM-V 4.7 so với các con số của Nemotron 3.5 Super VL đều đang đọc biểu đồ của một nhà cung cấp như thể đó là một phép đo và bảng của nhà kia như thể đó là trung lập.

Các đường dẫn runtime, và cái nào sẽ khiến bạn phải trả giá về sau

MiniCPM-V 4.7 có câu chuyện triển khai như một thực đơn: SGLang, vLLM, llama.cpp và Ollama, một lối đi OpenVINO cho CPU, GPU và NPU Intel, tinh chỉnh thông qua SWIFT và LLaMA-Factory, lượng tử hóa ở GGUF, BNB, AWQ, GPTQ và FP8, cùng với hỗ trợ day-0 được công bố cho Rockchip, Houmo, Intel, AMD và silicon Arm song hành cùng iOS, Android và HarmonyOS. Độ rộng chính là sản phẩm. Cái giá của độ rộng là không ai kiểm chứng tổ hợp cụ thể của bạn, và đường đi llama.cpp upstream hiện tại có một lỗi đang tồn tại: vị trí dấu đánh dấu hình ảnh được tính toán sai, nên tọa độ trả về bị thấp một cách có hệ thống khi bạn hỏi một thứ gì đó ở đâu. Một bản sửa đã được kiểm thử đang mở và chưa được hợp nhất tính đến ngày 20 tháng 10.

Câu chuyện của Nemotron 3.5 Super VL thì hẹp mà sâu: vLLM ở một thẻ image được ghim cố định và SGLang ở một thẻ được ghim cố định, với Multi-Token Prediction được tích hợp sẵn vào kiến trúc nên không cần mô hình nháp riêng. Thẻ chỉ rõ các phiên bản vì các phiên bản đó chính là tổ hợp đã được kiểm chứng. Chệch khỏi chúng chính là con đường khiến một triển khai đang hoạt động tốt biến thành một buổi gỡ lỗi.

Nếu bạn đang chọn phần cứng để phù hợp với mô hình, hãy chọn MiniCPM-V 4.7. Nếu bạn đang chọn mô hình để phù hợp với phần cứng bạn đã có, hãy chọn Nemotron 3.5 Super VL và tuân theo đúng các phiên bản trên card của nó.

Vị trí của router trong kiến trúc hai hộp

Mô hình xuất hiện trong môi trường production không phải là sự lựa chọn giữa hai phương án này. Đó là một mô hình nhỏ trên thiết bị hoặc máy cục bộ đảm nhận những công việc phải tức thời và riêng tư, còn một mô hình lớn xử lý những công việc phải chính xác. MiniCPM-V 4.7 35B-A3B được xây dựng cho vai trò thứ nhất; Nemotron 3.5 Super VL được xây dựng cho vai trò thứ hai, với cửa sổ một triệu token và 12B tham số hoạt động để đảm nhận các tài liệu dài và vòng lặp agentic.

Chạy cả hai nghĩa là có hai ngăn xếp mô hình, hai tập hợp các kiểu lỗi và — khi bạn thêm một mô hình văn bản cho phần điều phối xung quanh chúng — là ba. Đó là lúc OrcaRouter phát huy tác dụng mà không nói quá về bản chất của nó: không checkpoint nào nằm trong danh mục của chúng tôi, vì cả hai đều là trọng số mở do bạn tự lưu trữ, nhưng các mô hình văn bản và mã bao quanh chúng thì có. Một khóa dùng chung cho hơn 200 mô hình được lưu trữ, giá niêm yết của nhà cung cấp được chuyển thẳng với mức chênh lệch 0% và tự động chuyển đổi dự phòng khi một nhà cung cấp thượng nguồn bị suy giảm.Ngăn xếp thị giác vẫn nằm trên phần cứng của bạn; phần còn lại của pipeline không còn phải ký hợp đồng mới mỗi khi bạn thêm một công đoạn.

Cái giá bạn phải trả khi hiểu sai về từng thứ một

Mua chiếc máy nhỏ rồi phát hiện ra bạn cần suy luận trên tài liệu dài, thế là bạn đã tiêu vài nghìn đô và một tuần. Mua bốn chiếc H100 rồi phát hiện ra khối lượng công việc chỉ là xử lý hóa đơn, thế là bạn đã tiêu nhiều hơn hẳn để có năng lực mà bạn chẳng bao giờ dùng đến. Sự bất đối xứng đó chính là lý lẽ thực sự cho việc bắt đầu ở phân khúc rẻ rồi nâng cấp dần — và đó là lý do bản phát hành trên thiết bị xứng đáng nhận được sự chú ý mà nó đang có, dù câu chuyện benchmark của nó mỏng hơn.

Yếu tố quyết định, nếu bạn có cả hai phương án, là các pixel nằm ở đâu. Những khung hình không thể rời khỏi tòa nhà sẽ đi đến mô hình chạy bên trong đó. Những khung hình cần một triệu token ngữ cảnh và một vòng lập luận sẽ đi đến mô hình được xây dựng cho việc đó, và bạn chấp nhận các phiên bản runtime được ghim như cái giá phải trả để tham gia.