Nemotron 3.5 Super vs DeepSeek V4 Pro: NVIDIA가 공개하지 않은 벤치마크 표

NVIDIA의 모델 카드를 여십시오: NVIDIA Nemotron 3.5 Super VL — 1,200억 매개변수 규모의 오픈 체크포인트로, 공급업체가 NVIDIA Nemotron 3.5 Super라고도 기재하며 Ollama가 nemotron-3.5-super로 제공하는 모델입니다 — 그리고 평가 표로 스크롤하세요. 약 40개의 벤치마크와 7개의 베이스라인 열이 있습니다. 그중 한 열은 DeepSeek이며, 라벨은 DeepSeek-V4-Flash0731입니다. DeepSeek 자사의 저가 티어입니다. DeepSeek V4 Pro는, 0813 리비전에서 4월 프리뷰를 대체한 1.6조 매개변수 플래그십인데, 표 어디에도 나타나지 않습니다.

그 부재는 이 비교에서 가장 유용한 사실이며, 결코 간과한 것이 아니다. V4 Pro는 토큰당 490억 개의 매개변수를 활성화한다. 활성 매개변수 120억 개 모델과 같은 표에 올려놓으면, 누구에게도 유리하지도 않고 누구에게도 정보를 주지도 않는 숫자 묶음이 나올 것이다. 두 모델은 같은 제품이 아니기 때문이다. 대신 벤더가 택한 방식은 이 작업의 정직한 버전, 즉 실제로 대체하려는 등급을 상대로 벤치마킹하는 것이다.

이 페이지는 두 가지 일을 합니다. NVIDIA가 공개한 비교, 즉 Nemotron 3.5 Super 대 DeepSeek의 플래시 등급을 읽고, 그다음 두 모델이 실제로 경쟁하는 지점들에서 플래그십에 관해 무엇을 결론 내릴 수 있고 무엇을 내릴 수 없는지를 명확히 밝힙니다.

나란히 놓인 두 아티팩트

• 전체 및 활성 파라미터 — Nemotron 3.5 Super VL 120B는 총 120B, 토큰당 활성 12B, MoE 레이어당 라우팅된 전문가 512개, 하이브리드 Mamba-2 및 트랜스포머 · DeepSeek V4 Pro는 총 1.6T, 활성 49B, 텍스트 전용.

• 컨텍스트 및 출력 상한 — Super VL은 1,048,576 토큰의 컨텍스트를 지원하며 공개된 출력 상한은 없음 · V4 Pro는 1,048,576 토큰의 컨텍스트와 최대 384,000 토큰의 출력을 지원.

• 모달리티 — 텍스트, 이미지, 비디오 입력 및 텍스트 출력, C-RADIO 비전 인코더와 비전-언어 커넥터를 통해 · 텍스트 입력, 텍스트 출력. 이미지 경로는 전혀 없습니다.

• 가중치 및 라이선스 — NVIDIA 체크포인트에는 OpenMDW-1.1이 적용되며 상업적 사용이 허용됨 · DeepSeek도 자체 가중치를 공개하고 상업적 사용을 허용합니다.

• 종량제 엔드포인트의 가격 — 공개된 가격 없음; 해당 모델은 자체 호스팅 전용 · 입력 토큰 100만 개당 $0.66, 출력 100만 개당 $1.98, 캐시 읽기는 $0.022.

• 공개 범위 — 가중치는 2026년 10월 12일 Hugging Face에 공개, 벤더 발표는 2026년 10월 15일 · V4 Pro가 플래그십으로 서비스되며, 특정 버전을 고정해야 하는 호출자를 위해 날짜가 표기된 0813 리비전도 제공됩니다.

그중 두 가지 항목이 대부분의 실제 배포를 좌우합니다. 첫 번째는 모달리티입니다. 입력이 스크린샷, 스캔한 계약서, 차트 또는 비디오 프레임이라면, 이 비교의 절반은 시작하기도 전에 끝난 것입니다. DeepSeek V4 Pro에는 이미지 경로가 없고, 이를 위한 계획도 발표된 바 없기 때문입니다. 두 번째는 가격 항목인데, 보기보다 훨씬 흥미롭습니다 — NVIDIA는 이 모델에 대한 요금을 전혀 공개하지 않았습니다. 즉, 비용을 알 수 있는 유일한 방법은 토큰 볼륨과 하드웨어 청구서를 아는 것입니다.

NVIDIA가 실제로 공개한 표 읽기

플래시급 비교는 매개변수 수가 시사하는 것보다 더 팽팽하며, NVIDIA에 일률적으로 불리한 것만도 아니다. 두 모델이 가장 근접한 항목에서는 지식에서는 진정한 동점, 에이전틱 실행에서는 실질적 열세라는 결과가 나온다.

• 대학원 수준 과학 분야에서의 통계적 동률 — Super VL의 GPQA-Diamond 89.52 대 DeepSeek-V4-Flash의 89.6. 이 항목에서 120B 모델과 1e12급 베이스라인을 0.04점이 갈랐으며, 두 수치 모두 벤더가 직접 실행한 것입니다.

• 가장 어려운 추론에서의 열세 — Humanity's Last Exam 텍스트 전용 31.79 대 35.8, MMLU-ProX 76.91 대 85.5.

• 경쟁 프로그래밍에서의 열세 — LiveCodeBench v6 88.22 대 94.6.

• 에이전트 소프트웨어 작업에서의 부족 — SWE-bench Verified 71.10 대 75.4, Terminal-Bench 2.1 66.70 대 76.80, DeepSWE 24.65 대 42.3.

• 장문 컨텍스트 검색에서의 뚜렷한 결손 — AA-LCR v1.1은 68.62 대 79.7. 두 모델 모두 100만 토큰을 표방한다; 단 하나의 독립형 리콜 행에서 플래시 티어가 11점 이상 앞선다. 광고된 컨텍스트를 단지 보유하는 데 그치지 않고 실제로 사용하려는 사람이라면, 이는 이 표에서 가장 중대한 단일 수치다.

• NVIDIA가 우승한 행 — GraphWalks 89.71 대 65.4, LMArena v3 프록시 52.67 대 49.8, 그리고 tau2-bench 리테일 69.24 대 73.8은 이렇게 노이즈가 많은 벤치마크에서는 노이즈로 봐도 될 만큼 충분히 근소하다. AA-Omniscience가 더 많은 것을 말해주는 승리다: NVIDIA의 환각률 30.0 대 DeepSeek의 95.9, 그리고 양의 지수 4.03 대 마이너스 7.8. 답변을 삼가는 모델이 단언하는 모델보다 더 가치 있으며, 이 행에서 그 격차는 결코 미미하지 않다.

• Agentic tools — tau2-bench 항공사 76.50 대 83.5, 통신 73.19 대 98.2로 둘 다 패배했습니다. 통신 도메인에서는 flash 티어가 거의 싹쓸이했습니다.

이 모든 것은 NVIDIA 자체의 NeMo Gym 하네스를 통해 공개된 레시피로 벤더가 보고한 것입니다. 이는 단순한 주장보다 높은 기준이고 독립적인 재실행보다는 낮은 기준이며, 이 특정 표에서는 대부분의 행이 발표되는 모델에 불리한 방향을 가리키는데, 이는 적어도 그 하네스가 모델을 띄워주도록 조정되지 않았다는 신호입니다.

V4 Pro에 대해 내릴 수 없는 결론은 무엇이며, 그런데도 왜 중요한가

위의 어느 것도 플래그십 매치업에 대한 예측으로 읽을 수는 없다. 얼버무리기보다 차라리 짚고 넘어갈 만한 세 가지 이유가 있기 때문이다.

먼저, 베이스라인은 플래그십이 아니다. DeepSeek가 자체적으로 공개한 V4 Pro의 0813 리비전에 대한 에이전트 수치는 전혀 다른 차원에 있다: Terminal Bench 2.1에서 87.9, Cybergym에서 83.3, Toolathlon Verified에서 74.1, DeepSWE에서 62.7, NL2Repo에서 61.5, 그리고 Humanity's Last Exam에서 도구 없이 42.7에서 도구를 사용하면 60.0으로 상승한다. NVIDIA의 Terminal-Bench 2.1에서 66.70, HLE 텍스트 전용에서 31.79와 비교하면, 플래그십 격차는 플래시 계층 격차보다 훨씬 크며, 이 격차는 다른 모델의 공급업체에 의해 더 벌어지고 있다. 이는 그 격차를 더 신뢰할 만하게 만들지 않는다 — 오히려 더 날카롭게 만들 뿐이다.

둘째, 플래시 티어 열은 그 자체가 이미 이동한 티어의 스냅샷이다. 오늘 잘 읽히는 행이 두 모델 모두 바뀌지 않아도 다음 달에는 나쁘게 읽힐 수 있는데, 이는 비교가 벤더가 어느 체크포인트를 실행하기로 선택했는지에 달려 있기 때문이다.

셋째, NVIDIA 체크포인트에 대한 독립적인 그림은 타이브레이커로서 거의 도움이 되지 않을 만큼 빈약하다: 이들 모델을 점수 매기는 제3자 패널은 자사 지수에서 이 모델을 20대 중반에 두고 있으며, 작업당 출력 토큰 수가 유난히 많고 모델이 다소 장황하다는 단서를 달았다. 가중치가 공개된 지 나흘 뒤, 단 하나의 패널에서 나온 데이터 포인트 하나뿐이다.

그래서 이 벤치마크 사안에 대한 솔직한 요약은 이렇습니다: 공급업체가 직접 실행한 수치에서는 활성 파라미터 12B의 오픈 비전 모델이 지식 측면에서 DeepSeek의 저가 티어와 대략 동등한 수준이고, 에이전트 실행과 긴 컨텍스트 회상에서는 그보다 뒤처집니다. 그 표에는 플래그십에 대해 말해 주는 내용이 전혀 없으며, 플래그십이 자체 공개한 수치는 둘을 조금이라도 비교할 수 있는 모든 축에서 더 우수합니다.

비교가 사소해지는 단 하나의 축

이미지. Nemotron이 비전을 잘하기 때문이 아니라 — 아무도 그 비전 경로에 대한 독립적인 평가를 공개한 적이 없고, 배포된 런타임은 카드의 텍스트 temperature가 아니라 비전 temperature에서 기본으로 샘플링하며, 이는 처음 시도하는 사람에게 그대로 함정이 된다 — DeepSeek V4 Pro가 이미지를 받지 않기 때문이다.

그 비대칭성에는 놓치기 쉬운 비용상의 결과가 따른다. 비전 지원 호스팅 모델은 스캔 문서 한 페이지를 토큰 수로 청구하는데, 300dpi 페이지는 적은 토큰 수가 아니다. 자체 호스팅 120B 체크포인트는 같은 페이지를 GPU 초 단위로 청구한다. 월 몇천 페이지 규모의 워크로드에서는 그 차이가 잡음에 불과하지만, 수십만 페이지 규모에서는 예산 논의 전체를 좌우한다. NVIDIA 자체의 비전 관련 수치 — MMLongBench-Doc 62.82, MathVision 78.16, CharXiv reasoning 80.82, OCRBench v2 English 68.12 — 는 벤더가 제시한 숫자이지만, 이는 해당 기능이 명목상이 아니라 실제로 갖춰져 있음을 보여준다.

비교가 뒤집히는 또 다른 축은 모두가 묻지만 거의 측정하지 않는 그것, 바로 메모리다. 총 파라미터 수 1조 6,000억 개인 V4 Pro는 단일 머신 근처에도 못 간다. 기본 4비트 태그에서 82.3GiB인 Super VL은 작업 컨텍스트를 위한 여유까지 두고 96GB 카드 한 장에 들어간다. 그것은 품질에 관한 논쟁이 아니다. 그것은 팀이 오늘 밤 내려받아 실행할 수 있는 모델과 빌려 써야 하는 모델의 차이다.

벤치마크 대신 산술을 실행하기

또 다른 표를 읽기 전에 해볼 만한 계산이 하나 있다. 입력 100만 토큰, 출력 10만 토큰의 워크로드를 가정해 보자 — 문서 파이프라인에게는 하찮은 한 달치 분량이고, 채팅 제품에게는 무거운 하루치 분량이다.

DeepSeek V4 Pro의 공개 요금 기준으로, 이는 입력 $0.66에 출력 $0.198을 더한 금액입니다: 캐시 할인으로 입력 쪽 비용이 더 내려가기 전에, 1달러 미만입니다. NVIDIA 체크포인트에는 요금이 없습니다. 엔드포인트가 없기 때문입니다. 비용은 해당 볼륨이 소비하는 GPU-시간의 어느 정도 비율인데, 이런 볼륨에서는 답이 0에 가깝게 반올림됩니다 — 하지만 그 뒤의 고정 비용은 그렇지 않습니다. H100 네 대는 첫 달 트래픽이 적다고 해서 저렴해지지 않습니다.

그것이 이 맞대결의 진짜 형태이며, 이는 품질 문제가 아니라 물량 문제입니다. 특정 처리량 이하에서는 두 모델이 모두 오픈이라 해도 종량제 오픈 웨이트 API가 하드웨어의 전기료와 감가상각보다 단순히 더 저렴합니다. 특정 처리량 이상에서는 고정 비용이 역전되어, Terminal-Bench에서 어느 쪽이 더 높은 점수를 받든 자체 호스팅 체크포인트가 비용상 이깁니다. 교차점은 어느 벤더가 아니라 여러분의 활용률에 달려 있습니다.

그러면 라우팅 문제는 이렇게 남습니다: 클러스터를 아예 운영하고 싶지 않다면, DeepSeek V4 Pro는 OrcaRouter에서 제공업체의 정가로 접근할 수 있으며, 토큰당 마크업 없이 그대로 전달됩니다 — $0.66과 $1.98, DeepSeek이 공개한 것과 같은 숫자입니다. 우리가 여기에 더하지 않기 때문입니다. 공급업체 가격 변경은 다음 계약 갱신 때가 아니라 당일 우리 쪽에 반영됩니다. Nemotron 3.5 Super는 우리 키에 없습니다. 우리는 200개가 조금 넘는 모델을 라우팅하며 이것은 그중 하나가 아닙니다. 따라서 그 체크포인트가 특별히 필요하다면, 공급업체 자체 채널과 로컬 풀이 여러분의 경로입니다.

실제로 해야 할 일

입력이 텍스트이고 워크로드가 에이전트형이라면 — 긴 도구 체인, 저장소 규모의 편집, 터미널 세션 — DeepSeek V4 Pro가 더 나은 모델이자 더 저렴한 모델이며, NVIDIA 체크포인트는 NVIDIA가 자체 공개한 수치에서도 그에 맞설 진지한 경쟁자가 아닙니다. 먼저 V4 Pro에서 워크로드를 실행해 작업 단위당 실제 비용을 파악한 다음에야 클러스터가 필요한지 결정하십시오.

입력이 이미지, 비디오 또는 긴 문서라면, V4 Pro는 해당 입력을 아예 받을 수 없기 때문에 비교는 결국 분량이라는 단 하나의 질문으로 귀결됩니다. 월 수천 페이지 미만이라면 호스티드 방식을 유지하세요. 그 이상이면 96GB 카드 한 장에 올린 4비트 체크포인트는 충분히 신뢰할 만한 인프라입니다 — 다만 두 가지 유의사항은 반복해서 말할 가치가 있습니다: 대부분의 사람이 실행하게 될 버전에는 공개된 평가가 없고, 런타임 자체의 샘플링 기본값은 벤더가 비전 모델이라고 광고하는 것의 텍스트 절반에 맞춰져 있습니다.

그리고 4일 된 체크포인트를 요청 경로 뒤에 둔다면, 그 뒤에 폴백도 함께 두십시오. 운영 이력이 전혀 없는 모델을 위해 구할 수 있는 가장 저렴한 보험은 같은 호출에 두 번째 모델을 두는 것입니다.