NVIDIA Nemotron 3.5 Super VL 출시: 120B 오픈 웨이트, 5배라는 주장, 그리고 249 GB의 함정

NVIDIA Nemotron 3.5 Super VL이 출시되었는데, 이 모델을 써볼지를 결정해야 할 사양은 발표문이 가장 먼저 내세우는 사양이 아니다. 이 모델은 12B 활성 파라미터, 1M 토큰 컨텍스트, 네이티브 추측 디코딩, 텍스트·이미지·문서·동영상 지원을 갖춘 120B 파라미터 비전-언어 시스템이다. NVIDIA의 출시 게시물은 2026년 10월 15일자이며, Artificial Analysis Intelligence Index 리더보드에서 측정된 "동급 다른 모델 대비 최대 5배 빠른 처리량"을 내세우며 이 모델을 동급에서 가장 빠른 오픈 에이전틱 모델로 홍보한다. 이 게시물이 여러분 앞에 내놓지 않는 것은 이번 릴리스가 두 개의 체크포인트로 구성된다는 점, 그 둘의 차이가 174GB VRAM이라는 점, 그리고 더 작은 쪽이 그 절약에 대한 대가를 불균등하게 치른다는 점이다.

10월 15일에 실제로 출시된 것

두 가지 일이 서로 다른 날에 일어났고, 배포 시점을 따지고 있다면 그 간격이 중요하다. 가중치는 10월 12일 15:32 UTC에 Hugging Face에 공개되었다. 발표는 10월 15일에 이어졌다. NVIDIA 자체 모델 카드에는 릴리스가 10/15/2026, 버전 1.0 GA로 나와 있으므로, 벤더는 15일을 출시일로 간주한다; 저장소 타임스탬프는 그와 다르게 말한다. 두 날짜 모두 아직 일주일도 지나지 않았고, 둘 다 너무 최근이어서 이 릴리스에 관한 그 어떤 것도 독립적으로 재현될 시간이 없었다.

이번 릴리스는 발표가 이름을 따온 모델보다 더 광범위합니다:

• Nemotron 3.5 Super VL — 플래그십 모델로, 총 120B / 활성 12B이며, BF16 빌드와 NVFP4 빌드로 제공되고, 둘 다 10월 12일에 공개되었습니다.

• Nemotron 3.5 Super VL Base — 인스트럭트 빌드와 함께 공개된 사전 후처리 학습 체크포인트로, 라이선스가 자체적인 후처리 학습을 실행할 수 있게 해준다는 점에서 중요합니다.

• Nemotron 3.5 Bolt 74B-A9B 24GB — 네이티브 2비트 양자화를 통해 24GB에 들어가는 엣지 모델로, 10월 7일에 공개되었습니다.

• Nemotron 3.5 Bolt E4B 4GB — 이 제품군에서 가장 작은 모델이며, 10월 23일자입니다.

아키텍처는 Multi-Token Prediction을 갖춘 Mamba-2/Transformer 하이브리드 Mixture-of-Experts(MoE)이며, MoE 레이어당 512개의 라우팅된 전문가, C-RADIO 비전 인코더와 비전-언어 커넥터를 갖추고 있습니다. 멀티모달 처리는 OCR, 표, 차트, 여러 페이지 문서 및 시각적 그라운딩을 포괄합니다. 동영상은 최대 2분 길이의 MP4로 허용되며, 2 FPS 및 최대 256프레임으로 샘플링되거나 1080p에서 1 FPS 및 128프레임으로 샘플링됩니다. 라이선스는 OpenMDW-1.1이며, 모델 카드에는 상업적 또는 비상업적 사용이 가능하다고 명시되어 있습니다. 이는 진정으로 허용적인 약관 세트이며, 이번 릴리스가 주목받은 실제 이유 중 하나입니다.

체크포인트 두 개, 그리고 그 사이의 174 GB

GPU 비용을 지불해야 하는 사람이라면 이번 릴리스가 흥미로워지는 지점이 바로 여기입니다. NVIDIA는 동일한 모델을 두 가지 정밀도로 두 번 공개했는데, 두 빌드는 크기가 서로 비슷하지 않습니다. 아래 두 수치는 개별 가중치 샤드의 크기를 보고하는 Hugging Face 저장소 파일 목록에서 읽어온 것입니다:

• BF16 체크포인트 — 63개 샤드에 걸쳐 248.94GB. safetensors 헤더에는 파라미터 수가 1,244억 5천만 개로 나와 있습니다.

• NVFP4 checkpoint — 88개 샤드에 걸쳐 총 75.06 GB입니다. 추론은 Blackwell에서 W4A4로, 그보다 오래된 환경에서는 W4A16으로 실행됩니다.

• 하드웨어, 전체 정밀도 — NVIDIA의 카드에는 텍스트, 이미지, 동영상용으로 4× H100 또는 2× GB200이 기재되어 있습니다.

• 하드웨어, 양자화됨 — 1× H200, 2× H100, 1× GB200 또는 단일 DGX Spark이며, Spark 경로에는 추측 디코딩을 위한 LiLiCorr 드래프터가 필요합니다.

• 절감 효과 — 173.88 GB, 즉 디스크 상에서 약 3.3배 더 작아지며, 4-GPU 노드와 단일 가속기의 차이입니다.

그건 경제성 문제로 읽어야 한다. 실제로 그렇기 때문이다. H100 네 대에서 H200 한 대로 가는 것은 튜닝 결정이 아니다. 이번 분기에 제품에 넣을 수 있는 모델과 그럴 수 없는 모델의 차이다. NVIDIA가 사용한 양자화 레시피도 일반적인 것보다 더 신중하다. 비전 인코더, 커넥터, Mamba 컨볼루션, 임베딩은 BF16으로 유지되고, MoE 라우터는 FP32로 유지되며, 나머지는 BF16 모델로부터의 양자화 인식 증류로 생성되고, 그 위에 200회의 SFT 기반 증류가 더해진다.

양자화된 빌드가 포기하는 것

NVIDIA는 다른 모든 설정을 고정한 채 두 체크포인트를 비교한 짝지은 표를 공개했는데, 이는 이 비교를 수행하는 정직한 방식이며 마땅히 있어야 할 것보다 드문 방식입니다. 아래의 짝들은 NVFP4 모델 카드에서 가져온 NVIDIA 자체 수치이며, 모두 같은 방향인 것은 아닙니다.

양자화된 빌드가 뒤처지는 부분:

• Terminal-Bench 2.1 — BF16에서 66.70, NVFP4에서 60.80. 5.9점 하락이며, 표에서 가장 큰 단일 성능 저하입니다.

• WebVoyager, 오프라인 — 77.72 대 66.31. 브라우저 에이전트 작업에서 11.4포인트 하락.

• DeepSWE, 오프라인 — 18.20 대비 24.65.

• MMLU-ProX — 76.91 대 73.76.

• tau3-bench banking — 17.78 대비 18.88.

이득을 얻거나 유지하는 곳:

• GPQA-Diamond — 89.52 대 89.90.

• APEX 숏리스트 — 89.36 대비 88.36.

• AA-Omniscience 환각률 — 30.0 대 27.7, 즉 양자화 빌드는 NVIDIA 자체 측정 기준에서 환각을 약간 덜 일으킵니다.

• tau2-bench telecom — 양측 모두 73.19, 동일.

• OCRBench v2 EN — 68.34 대비 68.12.

• MMLongBench-Doc — 양쪽 모두 62.82.

이 패턴은 통계학자 없이도 명확히 읽힌다. 문서, OCR, 지식 회상 워크로드는 거의 움직이지 않고, 일부는 오히려 개선된다. 장기 지평 에이전트 워크로드는 크게 움직인다. 애플리케이션이 공시 자료, 영수증, 페이지 이미지를 읽고 구조화된 출력을 반환한다면, 75 GB 체크포인트가 바로 서빙해야 할 것이며 거의 아무것도 포기하지 않는 셈이다. 애플리케이션이 터미널을 실행하거나 브라우저를 조작하며 수십 단계를 연속으로 수행하는 에이전트라면, GPU 비용의 4분의 3을 위해 Terminal-Bench의 약 9퍼센트를 맞바꾸는 것이므로, 이는 벤더 표가 아니라 자체 평가로 판단할 가치가 있는 결정이다.

5배, 그리고 그것이 무엇을 기준으로 측정되는지

NVIDIA의 헤드라인은 처리량이며, 이는 일축하거나 그대로 반복하기보다 정확하게 읽을 가치가 있습니다. 주장은 "동급 다른 모델과 비교해 최대 5배 더 빠른 처리량"이며, 이 게시물에서는 그 '동급'이 정의되지 않았습니다. 측정은 NVIDIA 자체의 것이고, NVIDIA의 서빙 스택에서, 레시피가 선택한 동시성과 시퀀스 조합에서 이루어졌습니다 — 모델 카드 자체의 배포 표에는 하드웨어에 따라 32개의 동시 시퀀스와 5개 또는 3개의 추측 초안 토큰이 명시되어 있는데, 20턴 에이전트 프록시에서의 처리량은 단일 샷 프롬프트에서의 처리량과 매우 다른 수치입니다.

그것들 중 어느 것도 그 주장을 거짓으로 만들지는 않습니다. 그것은 공급업체가 구성한 워크로드에 대한 공급업체 주장이 되게 할 뿐이며, 이는 바로 라벨이 말하는 바입니다. 주목할 점은 이번 릴리스에는 이를 상쇄할 만한 것이 없다는 점입니다. 이 체크포인트들에 대한 독립적인 처리량 측정치는 발표된 바 없으므로, 유통되는 수치는 NVIDIA의 것뿐입니다. 이름이 명시된 기준 모델, 명시된 동시성, 명시된 하드웨어 구성이 없는 처리량 수치는 용량 계획의 근거로 삼을 수 없습니다. 5배가 결정에 결정적인 역할을 한다면, GPU 예약을 체결하기 전에 자체 트래픽에서 이를 재현해 보십시오.

NVIDIA 자체 표에 따르면, 모델이 강한 부분

단일 모델 카드에는 BF16 체크포인트가 동종 모델들과 어떻게 비교되는지도 나열되어 있으며, NVIDIA 자체 열의 오른쪽에 있는 열들도 읽어볼 가치가 있습니다. 그 열들 역시 NVIDIA의 것이기 때문입니다. Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash, Nemotron 3 Ultra, Inkling-Small 및 GLM-5.3-Flash와 비교하면:

• Video-MME v2 — 32.85로, Qwen3.8-Flash-Next의 45.1, GLM-5.3-Flash의 14.8과 비교됩니다. 중간권에 위치하며, 모든 행 중에서 격차가 가장 큽니다.

• OCRBench v2 EN — 68.12로, 67.9를 기록한 Qwen3.8-Flash-Next와 68.3을 기록한 Qwen3.5-122B-A10B와 대략 비슷한 수준입니다.

• CharXiv 추론 — 80.82, 두 Qwen 모델 모두에 뒤처짐.

• MathVision — 78.16, 87.5를 기록한 Qwen3.8-Flash-Next에 뒤처짐.

• MMLU-ProX — 76.91, 해당 행의 모든 비교 대상 열보다 뒤처집니다.

• AA-Omniscience 환각률 — 30.0으로, Qwen3.5-122B-A10B의 84.5, DeepSeek-V4-Flash의 95.9와 대비됩니다. 이 항목에서는 낮을수록 좋으며, 격차는 작지 않습니다.

• Terminal-Bench 2.1 — 66.70, Qwen3.8-Flash-Next의 85.8, GLM-5.3-Flash의 82.7과 비교됩니다.

• SWE-bench Verified — GLM-5.3-Flash의 79.10 대비 71.10.

• OSWorld-Verified — 51.14, GLM-5.3-Flash의 14.78 대비.

그 양상은 NVIDIA가 이 모델의 용도라고 말하는 것과 일치한다. 이 모델은 순수 추론이나 코딩에서 선두주자가 아니며, 그렇다고 주장하지도 않는다. 발표문은 이 모델을 최전선 모델과 견주는 것이 아니라, 약 5분의 1의 파라미터 수로 자사 최대 모델과 견주어 위치시킨다. 환각 억제, 문서 추출, 데스크톱 에이전트 작업에서는 강하고, 비디오에서는 중위권이며, 가장 어려운 에이전트형 터미널 벤치마크에서는 뒤처진다. 발표문 첫 줄에 "비디오 이해"가 있어서 이 릴리스에 관심을 두게 되었다면, 비디오 수치를 특히 자세히 살펴봐야 한다.

운영하는 데 드는 비용

정가가 없으며, 그것은 NVIDIA 측의 누락이 아닙니다 — 오픈 웨이트 릴리스의 형태입니다. NVIDIA는 이 모델을 공개된 요율로 토큰당 판매하지 않습니다. 가중치를 OpenMDW-1.1에 따라 공개하고, 검증된 구성이 포함된 NIM 컨테이너를 공개하며, 여러분은 GPU 비용을 지불합니다. 따라서 비용 문제는 GPU 시간 문제이며, 허용되는 두 가지 답은 BF16의 경우 4× H100 또는 NVFP4의 경우 H200 한 대나 단일 DGX Spark입니다.

그것이 대부분의 팀이 오픈 모델과 호스팅된 API를 비교할 때 잘못 계산하는 부분이다. 호스팅 측은 이미 다른 누군가의 활용 곡선이 포함된 토큰당 요금을 제시한다. 오픈 측은 체크포인트와 최소 하드웨어 목록을 제시하며, 실제 숫자는 전적으로 GPU를 계속 바쁘게 유지할 수 있는지에 달려 있다. 하루에 몇백 번 하나의 내부 워크플로를 처리하는 75GB 체크포인트를 실행하는 단일 H200은 공유 배포에서 동일한 체크포인트를 실행하는 것보다 호출당 훨씬 더 비싸다. 구매하기 전에 임대하고, 프록시 워크로드가 아니라 자신의 프롬프트에서 초당 토큰 수를 측정하라.

제품을 걸기 전에 먼저 시험해 보기

문서가 나온 지 하루밖에 안 된 모델에 대한 정직한 첫걸음은 마이그레이션이 아니라 평가이며, 바로 그 지점에서 게이트웨이는 수사적인 일이 아니라 실질적인 일을 해냅니다. 하나의 키로 공급자 정가 그대로, 0% 마크업으로 200개 이상의 모델을 쓴다는 것은, 여러분이 정말로 원하는 비교 — Nemotron 3.5 Super VL과 현재 운영 중인 텍스트 또는 비전 모델의 비교 — 가 두 번째 벤더 관계를 맺는 일이 아니라 모델 문자열 하나를 바꾸는 일이 된다는 뜻이며, 공급자 전반에 걸친 자동 페일오버는 이제 막 테스트 중인 워크로드가 프로덕션 트래픽과 나란히 실행되면서도 어느 쪽도 다른 쪽에 의존하지 않게 해준다는 뜻입니다. 이 점은 여기서 평소보다 더 중요합니다. 두 체크포인트는 에이전트 작업에서 서로 꽤 다르게 동작하기 때문에, 유용한 실험은 "이 모델이 좋은가"가 아니라 "이 두 빌드 중 어느 것이, 내 어떤 벤치마크에서, 어떤 GPU 비용으로"입니다.

GPU 한 달을 낭비하지 않는 순서: 문서형 워크로드를 먼저 고르세요. BF16과 NVFP4의 격차가 가장 작고 모델 자체의 수치가 가장 좋은 곳이 바로 거기이기 때문입니다. 더 작은 체크포인트에 대해 실행하세요. 직접 작성한 평가로 점수를 매기세요. 그런 다음에야 에이전트형 워크로드—양자화 빌드가 Terminal-Bench에서 5.9점, WebVoyager에서 11.4점을 잃는 바로 그 워크로드—가 249 GB 빌드와 GPU 네 장을 정당화하는지 결정하세요.

아직 답변되지 않은 것은 무엇인가요?

세 가지 격차는 마케팅이 아니라 결정을 바꾸기 때문에 주목할 가치가 있습니다.

첫 번째는 독립적 평가입니다. 이 기사에서 NVIDIA에서 비롯된 모든 수치는 그렇게 표시되어 있으며, 이번 릴리스에서는 그것이 전부입니다. 어떤 제3자도 두 체크포인트 중 어느 것에 대해서도 처리량 측정치, 정확도 재현 또는 평가 하네스 비교를 공개하지 않았습니다. 5배 처리량 주장과 함께 제시된 양자화 표는 내부적으로 일관되고 분명히 공들여 작성되었지만, 여전히 벤더가 보고한 것이며 재현되지 않았습니다. NVIDIA 외부의 누군가가 동일한 실험을 공개할 때까지는 이를 상한값으로 취급하세요.

두 번째는 비디오 경로입니다. 이 모델은 MP4를 받아들이고, 발표에서는 비디오 이해를 앞세우지만, NVIDIA 자체 표에 있는 유일한 비디오 벤치마크에서는 32.85를 기록하는 반면 Qwen3.8-Flash-Next는 45.1에 머뭅니다. 학습 데이터는 10,000시간에서 100만 시간까지의 비디오를 포함했는데, 이는 넓은 범위일 뿐 밀도나 도메인에 대해서는 아무것도 알려주지 않습니다. 비디오가 귀하의 사용 사례라면, 이것이 가장 먼저 테스트해야 할 행이며, 발표만 보고 만든 조달 프레젠테이션을 가장 실망시킬 가능성이 큰 행입니다.

세 번째는 베이스 체크포인트입니다. 동일한 라이선스로 그것을 공개한 것은 이번 릴리스에서 가장 긴 꼬리를 가진 부분입니다. 왜냐하면 자체 데이터를 가진 팀이 벤더의 모델을 프롬프트로 우회하는 대신 포스트트레이닝을 실행할 수 있게 해 주기 때문입니다. NVIDIA가 이 제품군을 위해 자체적으로 만든 포스트트레이닝 코퍼스도 공개되어 있으며, NVIDIA 보고서의 효과 크기는 NVIDIA의 하네스 안에서 수십 포인트에 이릅니다. 아직 아무도 그 베이스를 기반으로 한 신뢰할 만한 독립적 파인튜닝을 공개하지 않았습니다. 누군가 그렇게 하면, 그것은 출시 게시물보다 이 모델의 실제 한계에 대해 더 많은 것을 알려줄 것입니다.

가중치는 오늘 다운로드할 수 있고, 라이선스는 이를 상업적으로 사용할 수 있게 해줍니다. 다운로드할 수 없는 두 가지는 독립적인 벤치마크와 이름이 명시된 기준선이 있는 처리량 수치이며, 현재 나흘 된 모델에 프로덕션 경로를 확정하기 전에 필요한 것은 바로 이 두 가지입니다.