NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 주머니 속 3 GB, 랙에 있는 4× H100에 맞서다

이 중 하나는 iPhone에서 실행됩니다. 다른 하나는 H100 4개에서 실행됩니다. 그게 비교의 전부이고, 나머지는 모두 세부 사항입니다. MiniCPM-V 4.7 35B-A3B는 OpenBMB의 MiniCPM-V 라인에 추가된 최초의 전문가 혼합(Mixture-of-Experts) 모델이며, 모델 카드의 주장은 확인할 만큼 구체적입니다: 약 3GB의 메모리를 사용해 iPhone 17 Pro Max에서 초당 13개 이상의 토큰을 처리하고, 실행이 데모라기보다 매끄럽다고 묘사됩니다. NVIDIA Nemotron 3.5 Super VL은 총 120B, 활성 12B의 비전-언어 모델이며, 모델 카드에서는 배포 범위를 H100 4개 또는 GB200 2개로 제시합니다. 둘 다 오픈 웨이트입니다. 둘 다 비전-언어 모델입니다. 같은 결정을 위한 선택지가 아닙니다.

그럼에도 이 둘을 비교할 가치가 있는 이유는, 두 모델이 메커니즘에는 동의하면서 규모에는 동의하지 않는다는 점이다. 둘 다 총 크기를 토큰당 비용과 맞바꾸기 위해 만들어진 Mixture-of-Experts 모델이다. 둘 다 언어 모델이 그것들에 대해 생각해야 하기 전에 시각 토큰을 압축한다. 둘 다 비전-언어 작업의 미래는 하나의 API 뒤에 있는 하나의 큰 모델이 아니라 여러 곳에 있는 여러 모델이라고 베팅하고 있다. 다만 그 베팅을 하드웨어에서 세 자릿수, 즉 1000배 차이로 걸었을 뿐이다.

활성 매개변수 일치

NVIDIA Nemotron 3.5 Super VL은 총 120B에 토큰당 12B가 활성화되는 모델로, C-RADIO 비전 인코더와 MoE 레이어당 512개의 라우팅된 전문가를 갖춘 Mamba-2–Transformer 하이브리드 MoE이며, 최대 1M 토큰의 컨텍스트를 유지합니다. MiniCPM-V 4.7 35B-A3B는 총 35B에 3B가 활성화됩니다. 총 크기에서 네 배, 활성 연산에서 네 배 차이가 나지만, 아키텍처적 본능은 같습니다: 지식에는 높은 파라미터 수를, 속도에는 낮은 토큰당 비용을 유지하는 것입니다.

OpenBMB가 이 문제에 내놓은 기여는 룩어헤드 전문가 스케줄링(Lookahead Expert Scheduling)이며, 이는 3B 활성 모델이 메모리 버스를 요동치게 하지 않고 전문가들을 상주시킬 수 있게 해주는 것으로, 워크스테이션이 필요하지 않고 3 GB에서 실행될 수 있는 이유다. 구현은 포크인 llama.cpp-omni에 들어 있으며, 여기에 붙은 주장은 신중하다. 성능을 타협하지 않고 온디바이스에서 매끄럽게 실행되는 최초의 오픈소스 MoE 모델이라는 것이다. "타협하지 않고"가 120B 모델을 상대로도 성립하는지는 이 카드가 다루는 바가 아니며, 다룰 필요도 없다. 휴대폰에서 실행되는 모델은 정확도에서 H100 네 대가 필요한 모델과 경쟁하는 것이 아니다. 그것은 애초에 존재한다는 점에서 경쟁하는 것이다.

• 총 파라미터 / 활성 파라미터 — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• 배포 대상 — Nemotron 3.5 Super VL: 4× H100 또는 2× GB200, vLLM 또는 SGLang을 통해 제공됨. MiniCPM-V 4.7 35B-A3B: 휴대폰, 노트북, 엣지 박스 — iOS, Android 및 HarmonyOS가 모두 명시됨.

• 가장 작은 쪽의 메모리 — N​emotron 3.5 Super VL: 해당 없음. MiniCPM-V 4.7 35B-A3B: 약 3 GB.

• 맥락 — N​emotron 3.5 Super VL: 최대 100만 토큰, 최대 2분 길이의 비디오. MiniCPM-V 4.7 35B-A3B: 모델의 셀링 포인트는 아니며, 카드는 풋프린트와 속도를 앞세운다.

• 라이선스 — Nemotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

"토큰은 비싸다"에 대한 두 가지 다른 답변

두 팀 모두 이미지 하나에 드는 시각 토큰 수라는 같은 병목을 공략했지만, 서로 다른 지점에 도달했다.

MiniCPM-V 4.7 35B-A3B는 이를 비전 인코더 내부에서 처리하는데, LLaVA-UHD v4에서 파생된 조기 압축을 사용한 다음 이미지가 필요로 하는 것에 따라 4×와 16× 시각 토큰 압축을 혼합해 적용합니다. 세밀한 디테일은 값비싼 경로를, 영수증은 저렴한 경로를 거칩니다. 압축은 언어 모델이 관여하기 전에 이루어지며, 바로 이것이 온디바이스 수치를 가능하게 만듭니다.

Nemotron 3.5 Super VL은 토큰 압축을 전혀 앞세우지 않습니다. 이 모델의 답은 컨텍스트입니다. 1M 토큰이므로 세부 정보를 버리기보다 유지할 여유가 있고, 매우 긴 시퀀스의 비용이 폭증하지 않도록 하는 하이브리드 Mamba-2 레이어가 있습니다. 모델 자체의 비디오 경로는 기본적으로 넉넉하게 구성되어 있습니다. 2 FPS와 256 프레임이며, 1080p에서는 1 FPS와 128 프레임으로 낮아집니다. 이는 압축에 대한 답이 아니라 샘플링에 대한 답입니다.

그것들은 서로 양립할 수 없는 철학이며, 각자의 배포 환경에서는 둘 다 옳습니다. 3GB가 있다면 압축합니다. 4× H100이 있다면 세부 정보를 유지하고 컨텍스트 비용을 지불합니다.

숫자가 말해 줄 수 있는 것과 말해 줄 수 없는 것

양측에 대한 솔직한 입장은 이렇습니다.

N​emotron 3.5 Super VL의 벤치마크 표는 광범위하며 NeMo Gym을 통해 벤더가 수집한 것입니다: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2는 영어 68.12, 중국어 59.15, CharXiv 추론 80.82, V* 85.60. N​VIDIA가 기준선을 선택했습니다. 그중 어느 것도 독립적으로 재현되지 않았습니다.

MiniCPM-V 4.7 35B-A3B의 모델 카드는 벤치마크 결과를 수치 표가 아니라 벤더 차트로 제시하므로, 인용할 수치도, 검토할 베이스라인 목록도 없다. 카드에서 가장 강력한 구체적 주장은 비교적이고 방향성 있는 것 — Instruct 모드에서 Qwen3.6 35B-A3B보다 더 적은 추론 시간에 더 높은 전체 점수 — 인데, 이는 자기 체급 내에서의 효율성에 관한 주장이지, 자신보다 열두 배 큰 모델에 대한 역량에 관한 주장이 아니다.

따라서 이 둘을 벤치마크 수치로 비교한 표는 존재하지 않으며 만들 수도 없다. 그런 표를 제시하는 사람은 벤더 차트와 벤더 표를 합쳐 놓고 그 결과를 측정값이라고 부르는 것이다.

정확성보다 더 많은 프로젝트를 좌우하는 배포 세부 사항

MiniCPM-V 4.7 35B-A3B는 Rockchip, Houmo, Intel, AMD, Arm 실리콘에 대한 출시 첫날 지원과 함께, SGLang, vLLM, llama.cpp, Ollama, 그리고 GGUF, BNB, AWQ, GPTQ, FP8 양자화를 지원하며 출시되었습니다. 또한 미세 조정을 위해 SWIFT 및 LLaMA-Factory와 통합됩니다. 그 목록이 바로 진짜 제품입니다. 이미 구매한 가속기에서 실행되고, 런타임이 이미 지원하는 양자화 형식으로 동작하는 모델은 이번 분기에 출시할 수 있는 모델입니다.

Nemotron 3.5 Super VL의 런타임 스토리는 더 좁고 더 깊습니다: vLLM은 vllm/vllm-openai:v0.32.0, SGLang은 lmsysorg/sglang:v0.5.20이며, topk 1의 EAGLE 추측 디코딩과 아키텍처에 내장된 Multi-Token Prediction을 갖추고 있습니다. 두 런타임 모두 일급이며, 둘 다 정확한 버전으로 지정되어 있습니다. 데이터센터 배포가 원하는 것은 바로 이것입니다 — 메뉴가 아니라 검증된 경로입니다.

하드웨어를 모델에 맞춰 선택하는 경우에는 MiniCPM-V 4.7 35B-A3B를 선택하세요. 이미 가지고 있는 하드웨어에 모델을 맞춰 선택하는 경우에는 N​emotron 3.5 Super VL을 선택하고, 해당 카드의 버전을 정확히 따르세요.

둘 다 실행해야 하는 이유

실제 제품에서 나타나는 패턴은 이 둘 중 하나를 선택하는 것이 아니다. 그것은 즉각적이고 로컬이어야 하는 작업 — 양식을 읽고, 장면을 설명하고, 아무도 신경 쓰지 않는 프레임을 걸러내는 일 — 을 처리하는 기기 내 소형 VLM과, 정확해야 하는 작업을 처리하는 데이터센터 내 대형 VLM이다. MiniCPM-V 4.7 35B-A3B는 첫 번째 역할을 위해 명시적으로 설계되었다. N​emotron 3.5 Super VL은 두 번째 역할을 위해 설계되었다.

그 아키텍처에는 대가가 따르는데, 그 대가는 이제 두 개의 모델 스택과 하나의 텍스트 스택을 운영하게 되며, 세 세트의 자격 증명과 세 세트의 장애 모드를 갖게 된다는 점입니다. OrcaRouter는 두 번째 문제를 없애 주는 부분입니다: 공급자 정가 그대로, 마크업 없이 하나의 키로 207개 모델, 따라서 공급업체의 가격 변경이 같은 날 청구서에 반영되고, 업스트림이 성능 저하를 보이면 자동으로 장애 조치가 이루어집니다. N​VIDIA N​emotron 3.5 Super VL도 MiniCPM-V 4.7 35B-A3B도 그 카탈로그에는 없습니다 — 둘 다 직접 호스팅하는 오픈 가중치이며, 바로 그 점이 둘 중 하나를 선택하는 이유입니다. 하나의 키로 얻을 수 있는 것은 이를 둘러싼 텍스트 및 코드 모델이므로, 파이프라인은 단계를 추가할 때마다 새로운 계약을 맺을 필요가 없습니다.

어느 쪽인지는 픽셀이 어디에 있는지에 따라 결정된다

데이터가 있는 곳에서 추론이 이루어져야 한다면 — 휴대폰, 차량, 공장 현장, 이미지가 건물 밖으로 나갈 수 없는 진료실 — MiniCPM-V 4.7 35B-A3B를 선택하세요. 또는 사용자가 오프라인 상태이거나, 호스팅형 VLM의 호출당 비용이 단위 경제성을 망치는 주범이라면 더욱 그렇습니다. 라이선스는 Apache-2.0이고, 양자화 메뉴는 폭넓으며, 지원 실리콘 목록은 의도적으로 깁니다.

장시간 컨텍스트와 추론 비중이 큰 작업이라면 N​VIDIA N​emotron 3.5 Super VL을 선택하세요. 여러 페이지 문서, 혼합 레이아웃, 해석이 필요한 차트, 2분짜리 비디오 클립, 에이전트 도구 사용 등이 그렇습니다. 1M 토큰 컨텍스트와 12B 활성 파라미터는 바로 이 모델이 존재하는 이유이며, 이를 대체할 온디바이스 모델은 없습니다.

확신이 서지 않는다면, 결정을 내리는 질문은 정확성이 아닙니다. 그것은 이미지가 기기를 벗어나도 되는지의 여부입니다. 그 답이 어떤 벤치마크를 참고하기도 전에 모델을 고릅니다.

MiniCPM-V 4.7 35B-A3B의 카드는 온디바이스 관련 주장, 즉 초당 13개 이상의 토큰, 약 3GB의 풋프린트, 출시 당일 실리콘 목록, 양자화 형식의 출처로, 이 모든 것은 모델 자체가 보고한 결과입니다. 도입하기 전에 실리콘 목록을 읽어 보세요. 그곳에서 "지원됨"은 런타임 경로가 존재한다는 뜻이지, 여러분의 특정 보드가 벤치마크되었다는 뜻은 아니기 때문입니다.

NVIDIA의 Nemotron 개발자 페이지는 4× H100 / 2× GB200 지침과 런타임 버전이 게시되는 곳이며, 벤치마크 표를 뒷받침하는 기술 보고서 링크도 함께 제공합니다. 카드에 적힌 버전 번호가 정확한 데에는 이유가 있습니다: vLLM v0.32.0과 SGLang v0.5.20, EAGLE topk 1이 검증된 조합이며, 이 조합에서 벗어나면 정상 작동하던 배포가 디버깅 세션으로 변합니다.

더 큰 요점은 비전-언어 분야가 하나의 형태로 수렴하는 것을 멈췄다는 것이다. OpenBMB는 활성 파라미터 3B 모델을 주머니 속으로 밀어 넣고 있고 N​VIDIA는 활성 파라미터 12B 모델을 백만 토큰 길이의 컨텍스트 전반으로 밀어붙이고 있다. 같은 달에, 둘 다 상업적 사용을 허용하는 라이선스 아래에서. 이들 중 하나를 고르는 것은 곧 배포를 고르는 일이며, 그 배포는 픽셀이 어디에 자리하느냐에 따라 결정된다.

벤치마크는 낡아가고 가격은 변동하지만, 실패 기록은 그렇지 않습니다: 이 계열의 모델과 관련된 문서화된 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그를 갖추고 있습니다.