MiniCPM-V 4.7 對比 NVIDIA Nemotron 3.5 Super VL：真正能運行各自模型的最便宜機器

這兩者都是開放權重視覺語言模型，都是混合專家架構，且都會在語言模型看到視覺 token 之前先壓縮它們。因此，在 MiniCPM-V 4.7 35B-A3B 與 NVIDIA Nemotron 3.5 Super VL 之間做選擇，並不是架構層面的決定。這是關於你願意購入的最小機器，以及那台機器每小時能替你換來多少頁的決定。若以這種方式衡量價格，這兩款模型會落入完全不同的採購討論：一款只需 21 GB 的下載檔，就能跑在你大概已經擁有的硬體上；另一款則需要四張 H100（BF16）或單張 H200（FP4）。本文就來做規格表留給你自己算的數學——一個記憶體層級接一個記憶體層級，一頁接一頁。視覺堆疊留在你的硬體上。圍繞它的編排則不必如此。查看託管模型目錄一把金鑰即可使用 200 多個託管模型，牌價以 0% 加價原樣轉嫁。像這類發布背後有紀錄的 AI 失效與代理事件，都收錄在OrcaRouter AI 事件檔案庫其中每筆紀錄都附有自己的來源、嚴重程度、信心等級與爭議標記。

兩套量化階梯，兩個截然不同的下限

OpenBMB 與 NVIDIA 以相反的方向，解決了同一個問題——模型對你想執行它的裝置而言過於龐大。MiniCPM-V 4.7 35B-A3B 讓一組小型的作用中參數常駐，並從儲存裝置串流載入專家，然後以每種 GGUF 尺寸提供完整模型，讓你能選擇自己的下限。Nemotron 3.5 Super VL 則讓完整模型常駐，改為訓練一個 4 位元等級（NVFP4），將記憶體需求削減約四倍，且沒有事後量化懲罰。

• MiniCPM-V 4.7 35B-A3B、Q4_K_M — 磁碟佔用 21.2 GB。可勉強裝進 24 GB 的消費級 GPU，或游刃有餘地裝進 32 GB 的 Mac。

• MiniCPM-V 4.7 35B-A3B、Q8_0 / F16 — 36.9 GB / 69.4 GB。視你在權重之外想要多少上下文而定，需要一張 48 GB 的顯示卡，或一台 96 GB 的工作站。

• Nemotron 3.5 Super VL，BF16 — 約 231.8 GiB 的權重，分散於 64 個分片。NVIDIA 自家的部署配置是在 4 張 H100 上使用張量平行度 4，或在 2 張 GB200 上使用 TP2。

• Nemotron 3.5 Super VL、NVFP4 — 依其模型卡所述，可部署於 1x DGX Spark、1x H200、2x H100 或 1x GB200。

最後那一行數字，正是改變採購對話的關鍵。在單張 H200 上運行 120B 模型，而非四張 H100，這不是邊際節省；這是叢集預留與單一節點之間的差別。而且，因為 NVIDIA 是在訓練期間透過量化感知蒸餾進行 4 位元轉換，而不是事後才做，所以它宣稱沒有推論額外開銷——這是該卡所聲稱、卻未以公開的 BF16 對 NVFP4 準確度差異加以佐證的說法。

每小時頁數，這個數字決定一切

以每秒詞元數衡量吞吐量，對文件處理工作而言是很差的替代指標，因為一頁的成本主要取決於編碼器在語言模型說出一個詞之前輸出多少視覺詞元。這正是兩種設計分歧最劇烈的地方，也是行銷語言最不具參考價值的地方。

MiniCPM-V 4.7 35B-A3B 在視覺塔內部進行壓縮，採用 OpenBMB 歸功於 LLaVA-UHD v4 的早期壓縮技術，並混合 4 倍與 16 倍降取樣。預設為 16 倍；4 倍是精細細節路徑，會依每張影像選擇。密集的文字頁面走低成本路徑，零件圖則走高成本路徑。壓縮發生在語言模型介入之前，而這正是讓 35B 模型能在手機上可行的關鍵。

Nemotron 3.5 Super VL 並非以壓縮為主打。它的解法在於上下文：最多一百萬個 token、影片輸入最長可達兩分鐘，並以混合 Mamba-2 層避免極長序列的複雜度變成二次方。其影片處理方案預設以 2 FPS 取樣 256 幀，在 1080p 下則降至 1 FPS 與 128 幀——這是取樣策略，而非壓縮技巧；若工作負載是密集運動，也可以向上調整。

實際後果是：MiniCPM-V 4.7 提供固定且低廉的每頁 token 成本，並要求你接受細節損失；Nemotron 3.5 Super VL 則讓你保留細節，但要求你為上下文付費。以一份一百頁的合約審查來說，前者每頁更便宜，而後者在條款藏在 6 點字腳註裡的那一頁表現更好。以兩分鐘的手術影片來說，只有後者還稱得上派得上用場。

這些發行版中，一個附上的是數字；另一個附上的是圖表。

這是比較中無論多少硬體算力都無法修正的部分，所以它該放在這裡，而不是埋在腳註裡。

NVIDIA 的模型卡附有一張約四十列的基準測試表，而且異常坦率：它列出了基準模型，且有好幾列顯示該模型落敗。面對 Qwen3.5-122B-A10B，其自家數據顯示 MMLU-ProX 為 76.91 對 83.2、tau2-bench telecom 為 73.19 對 87.2、OCRBench v2 中文為 59.15 對 67.3，MathVision 則為 78.16 對 83.3。它在 GPQA-Diamond 以 89.52 對 86.7 勝出、SWE-bench Pro 以 51.78 對 44.9 勝出、CritPt 以 10.86 對 1.1 勝出。每一項數據，包括基準模型在內，都是透過 NVIDIA 自家的 NeMo Gym 測試框架收集而來——模型卡直接如此說明，並公布了可重現性註記。由廠商自行執行、誠實標註，且保留失利結果。

MiniCPM-V 4.7 的模型卡附有五張評估圖表，沒有數值表格。比較性說法是方向性的：在 Instruct 模式下，整體分數高於 Qwen3.6 35B-A3B，且推論時間更少；1B 版本相較 Qwen3.5 0.8B 有大幅提升。沒有任何逐項基準分數可引用，沒有基準清單可檢視，也沒有公布所繪製複合指標的權重。這不等同於模型很差——其工程設計記錄於 config.json，權重可逐位元組檢查——但這確實意味著此比較中關於準確度的那一半無法建立。任何人若拿 MiniCPM-V 4.7 分數表對上 Nemotron 3.5 Super VL 的數字，就是把某一供應商的圖表當成實測數據來讀，卻把另一家的表格當成中立資料。

執行階段路徑，以及哪一種日後會反咬你一口

MiniCPM-V 4.7 的部署方案就像一份選單：SGLang、vLLM、llama.cpp 與 Ollama，針對 Intel CPU、GPU 與 NPU 的 OpenVINO 路徑，透過 SWIFT 與 LLaMA-Factory 進行微調，以 GGUF、BNB、AWQ、GPTQ 與 FP8 進行量化，並宣稱在 Rockchip、Houmo、Intel、AMD 與 Arm 晶片上，以及 iOS、Android 與 HarmonyOS 上提供 day-0 支援。廣度就是產品本身。廣度的代價是，沒有人驗證過你的特定組合，而且目前上游 llama.cpp 路徑有一個現行缺陷：影像標記位置計算錯誤，因此當你詢問某個東西在哪裡時，回傳的座標會系統性偏低。截至 10 月 20 日，一個已測試的修正仍處於開放且未合併狀態。

Nemotron 3.5 Super VL 的故事範圍狹窄卻深入：在固定映像標籤上執行 vLLM，並在固定標籤上執行 SGLang，且架構內建多詞元預測（Multi-Token Prediction），因此不需要另外的草稿模型。這張卡之所以指定版本，是因為這些版本就是經過驗證的組合。偏離這些版本，正是讓一個能正常運作的部署變成除錯馬拉松的原因。

如果你是根據模型來挑選硬體，就選 MiniCPM-V 4.7。如果你是根據現有硬體來挑選模型，就選 Nemotron 3.5 Super VL，並完全依照其模型卡上的版本。

路由器在雙盒架構中的位置

在生產環境中出現的模式，並不是在這兩者之間做選擇。而是由裝置上或本地主機上的小型模型，負責必須即時且私密的工作；並由大型模型處理必須正確無誤的工作。MiniCPM-V 4.7 35B-A3B 是為第一種角色打造；Nemotron 3.5 Super VL 則為第二種角色而生，具備百萬 token 的視窗與 12B 活躍參數，用來承載長篇文件與代理式迴圈。

同時執行兩者，代表兩套模型堆疊、兩組失效模式，而且——一旦你為它們周邊的編排再加上一個文字模型——就變成三套。這正是 OrcaRouter 能幫上忙的地方，同時也不誇大它的本質：這兩個檢查點都不在我們的目錄裡，因為兩者都是你自己託管的開放權重，但圍繞它們的文字與程式碼模型則在。一組金鑰打通 200 多個託管模型、以 0% 加價直通供應商定價，並在上游服務品質下降時自動容錯轉移。視覺堆疊留在你自己的硬體上；管線其餘部分則不必每加一個階段就得簽一份新合約。

每一項若判斷錯誤，會讓你付出什麼代價

買下小型設備，才發現你需要的是長文件推理，結果花掉幾千美元和一週時間。買四張 H100，才發現工作負載只是處理收據，結果花了更多錢，買下你從未動用的能力。這種不對稱正是應該從便宜層級起步、再逐步升級的真正理由——也正是為什麼這個裝置端版本值得它目前獲得的關注，儘管它的基準測試說法較為薄弱。

如果兩台機器都能用，決定性因素就是像素存放在哪裡。無法離開這棟大樓的畫面，就交給在內部執行的模型。需要百萬 token 上下文與推理迴圈的畫面，就交給專為此打造的模型，而你得接受鎖定的執行環境版本，當作入場的代價。