MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: 각각을 실제로 구동할 수 있는 가장 저렴한 박스

이 둘은 모두 오픈 웨이트 비전-언어 모델이고, 둘 다 전문가 혼합(mixture-of-experts)이며, 둘 다 언어 모델이 보기 전에 시각 토큰을 압축합니다. 따라서 MiniCPM-V 4.7 35B-A3B와 NVIDIA Nemotron 3.5 Super VL 중에서 고르는 것은 아키텍처에 관한 결정이 아닙니다. 그것은 여러분이 기꺼이 구매할 가장 작은 머신에 관한 결정이며, 그 머신이 시간당 몇 페이지를 처리해 주는지에 관한 결정입니다. 그런 식으로 가격을 따지면, 두 모델은 완전히 다른 조달 논의에 놓입니다. 하나는 아마 이미 보유한 하드웨어에서 21GB 다운로드로 실행되고, 다른 하나는 BF16으로 H100 네 대 또는 FP4로 H200 한 대를 요구합니다. 이 글은 스펙 시트가 여러분에게 맡기는 계산을 대신합니다 — 메모리 계층별로, 그리고 페이지별로. 비전 스택은 여러분의 하드웨어에 남습니다. 그 주변의 오케스트레이션은 그럴 필요가 없습니다. 호스팅 카탈로그 보기 하나의 키로 200개 이상의 호스팅 모델, 정가가 0% 마크업으로 그대로 적용됩니다. 이와 같은 릴리스 뒤에 있는 문서화된 AI 실패 및 에이전트 사고는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.

두 개의 양자화 사다리, 두 개의 매우 다른 바닥

OpenBMB와 NVIDIA는 실행하려는 기기에 비해 모델이 너무 크다는 동일한 문제를 정반대 방향으로 해결했습니다. MiniCPM-V 4.7 35B-A3B는 작은 활성 세트만 상주시키고 전문가를 스토리지에서 스트리밍한 뒤, 전체 모델을 모든 GGUF 크기로 제공해 사용자가 자신의 하한선을 선택할 수 있게 합니다. Nemotron 3.5 Super VL은 전체 모델을 상주시킨 대신 메모리 요구량을 약 4분의 1로 줄이면서 사후 양자화 페널티가 없는 4비트 티어(NVFP4)를 훈련합니다.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 디스크상 21.2 GB. 24 GB 소비자용 GPU에는 아슬아슬하게 들어가고, 32 GB Mac에는 여유가 남습니다.

MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9GB / 69.4GB. 가중치와 함께 원하는 컨텍스트 양에 따라 48GB 카드 또는 96GB 워크스테이션이 필요합니다.

• Nemotron 3.5 Super VL, BF16 — 64개 샤드에 걸쳐 약 231.8 GiB의 가중치. NVIDIA 자체 서빙 레시피는 4x H100에서 텐서 병렬 4, 또는 2x GB200에서 TP2입니다.

• Nemotron 3.5 Super VL, NVFP4 — 모델 카드에 따르면 1x DGX Spark, 1x H200, 2x H100 또는 1x GB200에 배포됩니다.

마지막 줄의 그 숫자는 구매 논의를 바꾸는 숫자다. 120B 모델을 H100 네 대 대신 H200 한 대에서 돌린다는 것은 한계적 절감이 아니다. 그것은 클러스터 예약과 단일 노드 사이의 차이다. 그리고 NVIDIA가 4비트 변환을 사후가 아니라 양자화 인식 증류(quantisation-aware distillation)를 통해 훈련 중에 수행하기 때문에 추론 오버헤드가 없다고 주장한다 — 카드가 내세우는 주장이지만, 공개된 BF16 대 NVFP4 정확도 차이로 이를 입증하지는 않는다.

시간당 페이지 수, 그것이 모든 것을 결정하는 숫자입니다.

초당 토큰 처리량은 문서 작업을 대표하기에 부적절한 지표입니다. 왜냐하면 한 페이지의 비용은 언어 모델이 단어를 내놓기 전에 인코더가 얼마나 많은 시각 토큰을 출력하는지에 의해 좌우되기 때문입니다. 바로 이 지점에서 두 설계가 가장 뚜렷하게 갈라지며, 마케팅 언어가 가장 쓸모없어집니다.

MiniCPM-V 4.7 35B-A3B는 비전 타워 내부에서 압축하며, OpenBMB가 LLaVA-UHD v4에서 비롯됐다고 밝힌 조기 압축 기법을 사용하고, 4x와 16x 다운샘플링을 혼합합니다. 기본값은 16x이며, 4x는 세밀한 디테일 경로로 이미지마다 선택됩니다. 텍스트가 빽빽한 페이지에는 저렴한 경로가, 부품 도면에는 비용이 더 드는 경로가 적용됩니다. 압축은 언어 모델이 관여하기 전에 일어나며, 바로 이것이 35B 모델을 휴대폰에서 실행 가능하게 만듭니다.

Nemotron 3.5 Super VL은 압축을 앞세우지 않습니다. 이 모델의 해답은 컨텍스트입니다. 최대 100만 토큰, 최대 2분의 비디오 입력, 그리고 매우 긴 시퀀스가 2차 복잡도로 커지지 않게 하는 하이브리드 Mamba-2 레이어입니다. 비디오 레시피는 기본적으로 2 FPS와 256프레임으로 샘플링하고, 1080p에서는 1 FPS와 128프레임으로 낮춥니다. 이는 압축 기법이라기보다 샘플링 정책이며, 워크로드가 밀도 높은 모션일 경우 더 높게 조정할 수 있습니다.

실질적인 결과는 이렇습니다. MiniCPM-V 4.7은 페이지당 고정된 낮은 토큰 비용을 제공하는 대신 세부 정보 손실을 감수하라고 요구합니다. Nemotron 3.5 Super VL은 세부 정보를 유지할 수 있게 해주는 대신 컨텍스트 비용을 지불하라고 요구합니다. 100페이지 분량의 계약서 검토에서는 첫 번째가 페이지당 더 저렴하고, 두 번째는 조항이 6포인트 각주에 들어 있는 페이지에서 더 뛰어납니다. 2분짜리 수술 영상에서는 두 번째만이 논의 대상에 오릅니다.

이 릴리스 중 하나는 숫자를 제공하고, 다른 하나는 차트를 제공합니다.

비교에서 아무리 하드웨어 연산을 동원해도 해결되지 않는 부분이 바로 이것이므로, 각주 속에 묻어두기보다는 여기에 두는 것이 맞습니다.

NVIDIA의 모델 카드에는 약 40개 행으로 구성된 벤치마크 표가 실려 있으며, 이례적으로 솔직하다. 기준선의 이름을 밝히고, 여러 행에서 이 모델이 뒤지는 모습을 보여준다. Qwen3.5-122B-A10B와 비교해 자체 수치는 MMLU-ProX를 76.91 대 83.2, tau2-bench telecom을 73.19 대 87.2, OCRBench v2 Chinese를 59.15 대 67.3, MathVision을 78.16 대 83.3으로 제시한다. GPQA-Diamond에서는 89.52 대 86.7로, SWE-bench Pro에서는 51.78 대 44.9로, CritPt에서는 10.86 대 1.1로 이긴다. 기준선을 포함한 모든 수치는 NVIDIA 자체 NeMo Gym 하네스를 통해 수집됐다 — 카드에 그렇게 직접 밝히고 있으며 재현성 노트도 공개한다. 벤더가 직접 실행했고, 정직하게 표기했으며, 패배도 그대로 남겨 두었다.

MiniCPM-V 4.7의 카드에는 다섯 개의 평가 차트가 실려 있고 숫자 표는 없습니다. 비교 주장은 방향성에 그칩니다. Instruct 모드에서 Qwen3.6 35B-A3B보다 더 짧은 추론 시간에 더 높은 종합 점수를 냈고, 1B 변형은 Qwen3.5 0.8B 대비 상당한 향상을 보였다는 것입니다. 인용할 벤치마크별 점수도, 살펴볼 기준선 목록도, 플롯되는 복합 지표의 공개된 가중치도 없습니다. 그것은 나쁜 모델이라는 뜻과 같지는 않습니다. 엔지니어링은 config.json에 문서화되어 있고 가중치는 바이트 단위로 확인할 수 있습니다. 다만 이 비교의 정확도 절반은 구성할 수 없다는 뜻입니다. MiniCPM-V 4.7 점수 표를 Nemotron 3.5 Super VL 수치와 맞대어 제시하는 사람은 한쪽 벤더의 차트를 측정값인 양 읽고, 다른 쪽의 표를 중립적인 것인 양 읽는 것입니다.

런타임 경로들, 그리고 그중 어느 것이 나중에 발목을 잡는가

MiniCPM-V 4.7의 배포 방식은 메뉴판과 같습니다. SGLang, vLLM, llama.cpp, Ollama, Intel CPU·GPU·NPU용 OpenVINO 경로, SWIFT와 LLaMA-Factory를 통한 파인튜닝, GGUF·BNB·AWQ·GPTQ·FP8 양자화, 그리고 iOS·Android·HarmonyOS와 함께 Rockchip·Houmo·Intel·AMD·Arm 실리콘에 대한 day-0 지원이 내세워집니다. 폭넓은 지원 자체가 이 제품입니다. 그 대가는 사용자의 특정 조합을 아무도 검증하지 않았다는 점이며, 현재 업스트림 llama.cpp 경로에는 실제 결함이 있습니다. 이미지 마커 위치가 잘못 계산되어, 무언가가 어디 있는지 물으면 반환되는 좌표가 체계적으로 낮게 나옵니다. 검증된 수정 사항은 10월 20일 기준으로 공개되어 있지만 아직 병합되지 않았습니다.

Nemotron 3.5 Super VL의 이야기는 좁고도 깊습니다. 고정된 이미지 태그의 vLLM과 고정된 태그의 SGLang을 사용하며, Multi-Token Prediction이 아키텍처에 내장되어 있어 별도의 드래프터가 필요하지 않습니다. 카드에서 버전을 명시하는 이유는 해당 버전들이 검증된 조합이기 때문입니다. 여기서 벗어나는 순간 정상 작동하던 배포가 디버깅 세션으로 변합니다.

모델에 맞춰 하드웨어를 선택하는 경우에는 MiniCPM-V 4.7을 선택하세요. 이미 보유한 하드웨어에 맞춰 모델을 선택하는 경우에는 Nemotron 3.5 Super VL을 선택하고 해당 카드의 버전을 정확히 따르세요.

라우터는 2박스 아키텍처에서 어디에 위치해야 하는가

프로덕션에서 나타나는 패턴은 이 둘 중 하나를 고르는 것이 아니다. 즉각적이고 프라이빗해야 하는 작업은 기기나 로컬 박스에서 작은 모델이 처리하고, 정확해야 하는 작업은 대형 모델이 처리하는 것이다. MiniCPM-V 4.7 35B-A3B는 첫 번째 역할을 위해 만들어졌고, Nemotron 3.5 Super VL은 두 번째 역할을 위해 만들어졌으며, 100만 토큰 윈도와 12B 활성 파라미터로 긴 문서와 에이전틱 루프를 감당한다.

둘 다 실행한다는 것은 모델 스택 두 개, 서로 다른 장애 모드 두 세트를 뜻하며, 그 주변 오케스트레이션을 위한 텍스트 모델까지 추가하면 세 세트가 됩니다. 바로 이 지점에서 OrcaRouter가 도움이 되는데, 그렇다고 그 정체를 과장하지는 않겠습니다. 두 체크포인트 모두 우리 카탈로그에는 없습니다. 둘 다 직접 호스팅하는 오픈 웨이트이기 때문입니다. 하지만 그 둘을 둘러싼 텍스트 및 코드 모델은 카탈로그에 있습니다. 200개 이상의 호스팅 모델을 아우르는 단일 키, 제공업체 목록 가격을 0% 마크업으로 그대로 적용, 업스트림 성능 저하 시 자동 장애 조치. 비전 스택은 귀하의 하드웨어에 그대로 남고, 파이프라인의 나머지 부분은 단계를 추가할 때마다 새 계약을 맺을 필요가 없어집니다.

각각에 대해 잘못 판단했을 때 당신이 치르는 대가

작은 박스를 사고 나서야 장문 문서 추론이 필요했다는 사실을 알게 된다면, 당신은 수천 달러와 일주일을 쓴 셈이다. H100 네 대를 사고 나서 워크로드가 영수증 처리였다는 사실을 알게 된다면, 당신은 한 번도 쓰지 않을 성능에 훨씬 더 많은 돈을 쓴 셈이다. 그 비대칭성이 값싼 티어에서 시작해 단계적으로 올려야 하는 진짜 이유이며, 벤치마크 스토리가 더 빈약함에도 온디바이스 릴리스가 지금 받는 관심을 받을 자격이 있는 이유이기도 하다.

두 시스템을 모두 사용할 수 있다면 결정을 가르는 기준은 픽셀이 어디에 있는지입니다. 건물 밖으로 나갈 수 없는 프레임은 그 안에서 실행되는 모델로 보냅니다. 백만 토큰의 컨텍스트와 추론 루프가 필요한 프레임은 그런 용도로 만들어진 모델로 보내고, 고정된 런타임 버전은 입장료로 받아들입니다.