Ollama에서 만나는 Nemotron 3.5 Super: NVIDIA가 발표하기 전에 실행할 수 있었던 120B 비전 모델

약 20시간 동안, NVIDIA Nemotron 3.5 Super로 가는 로컬 경로가 그것이 존재한다는 발표보다 먼저 존재했다. Ollama는 2026년 10월 14일 릴리스 v0.40.5에서 체크포인트를 자사 라이브러리에 공개했으며, Nemotron 3.5 지원을 추가한 llama.cpp 업데이트를 반영하고 1,200억 매개변수 비전-언어 모델의 태그 아홉 개를 푸시했다 — ollama run nemotron-3.5-super 하면 바로 실행된다. 동일한 가중치에 대한 NVIDIA 자체 뉴스룸 게시물은 더 완전한 이름인 NVIDIA Nemotron 3.5 Super VL으로 다음 날 오후, 10월 15일 15:00 UTC에 공개되었다. 가중치 자체는 10월 12일부터 Hugging Face에, 이름이 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16인 저장소에 있었으며, 모델 카드 자체의 릴리스 날짜 필드에는 이미 10/15/2026이라고 적혀 있었다.

그중 어느 것도 스캔들이 아니다. 그것은 이제 오픈 웨이트 공개의 정상적인 형태다. 아티팩트가 공개되고, 프레임워크들이 앞다퉈 이를 지원하며, 마케팅이 뒤따라온다. 하지만 그것은 Ollama 리스팅을 읽을 가치가 있는 지점을 바꾼다. 10월 14일에 도착한 것은 런타임이 딸린 제품 발표가 아니다 — 제품이 딸린 런타임이며, 두 문서는 당신이 그것에 디스크 90 GB를 쓰려는 참이라면 중요한 몇 가지 사안에 대해 서로 엇갈린다.

v0.40.5에서 실제로 배포된 것

Ollama 릴리스 노트는 유난히 구체적인데, 이는 편리한 일이다. 이 노트는 Nemotron 3.5 Super를 코딩, 추론, 도구 사용 및 문서 이해를 위한 비전-언어 모델로 설명하며, 총 120B 중 토큰당 12B 활성 파라미터를 갖춘 하이브리드 Mamba-2/Transformer 전문가 혼합(mixture-of-experts) 백본 위에 구축되고 C-RADIO 비전 인코더와 짝을 이룬다고 밝힌다. 또한 도구 호출, 켜고 끄는 사고 모드, 최대 1M 토큰의 컨텍스트를 내세운다. 이미 Ollama를 실행 중인 사람에게 가장 중요한 두 줄은 더 아래에 묻혀 있다: 업데이트된 llama.cpp(Nemotron 3.5 지원 추가) 및 MLX.

그 한 줄이 바로 이 pull이 작동하는 이유의 전부입니다. Ollama는 이 체크포인트를 GGUF 형식으로 자사의 llamacpp 러너를 통해 라우팅합니다 — 레지스트리 매니페스트에 명시되어 있죠 — 따라서 "Ollama가 Nemotron 3.5 Super를 지원한다"와 "llama.cpp가 Nemotron 3.5 Super를 지원한다"는 같은 문장입니다. 0.40.5보다 오래된 Ollama를 사용 중이라면, 그렇지 않습니다. 모델의 config blob에는 "requires":"0.40.5"가 들어 있으므로, 버전 게이트는 단순한 권고가 아니라 강제됩니다.

같은 릴리스 노트에서는 형제 모델인 Nemotron 3.5 Bolt도 언급합니다. 이 모델은 Super를 74B 매개변수, 활성 9B로 증류한 것으로, 노트에 따르면 포함된 드래프터를 통한 추측 디코딩으로 24 GB NVIDIA GPU에 맞도록 튜닝되었습니다. 그 모델은 다른 풀(pull)이고 하드웨어 등급도 다릅니다. 이름 때문에 혼동하기 쉬우니 머릿속에서 따로 구분해 두세요.

아홉 개의 유물, 그리고 각각의 실제 무게

라이브러리 페이지에는 크기 사다리가 표시됩니다. 그 뒤에 있는 레지스트리 매니페스트에는 실제 바이트 수가 나오는데, 둘은 같은 방식으로 반올림되지 않습니다. 그래서 반올림된 배지가 아니라 매니페스트 자체의 숫자를 여기에 제시합니다:

• q4_K_M — 88,419,818,592바이트, 즉 82.3 GiB(라이브러리 페이지에는 80GB–90GB로 표시됨). 태그 이름 :latest, :120b, :120b-a12b 및 :120b-a12b-q4_K_M 모두 이 동일한 레이어를 가리키므로, 아홉 개 항목 중 네 개는 네 가지 이름을 달고 있는 하나의 아티팩트입니다.

• q8_0 — 131,601,243,232바이트, 122.6GiB, 133GB로 표시됨.

• bf16 — 247,403,355,232바이트, 230.4GiB, 249GB로 표시됩니다. 이것은 GGUF 옷을 입은 전체 정밀도 체크포인트이며, 여기서 소비자 하드웨어 근처에도 없는 유일한 태그입니다.

• MLX nvfp4 — 총 79.56 GB로 이 세트에서 가장 작으며, NVFP4는 NVIDIA 자사 카드가 애프터마켓 양자화가 아닌 일급 체크포인트로 기본 제공하는 형식입니다.

• MLX mxfp8 — 총 129.60 GB, q8_0와 비슷한 용량에 해당하는 MLX 대응 버전입니다.

• MLX bf16 — 총 248.92 GB로, MLX가 텐서를 다르게 저장하기 때문에 GGUF bf16보다 약간 더 큽니다.

• 프로젝터 — 모든 태그는 예외 없이 1,733,696,896바이트의 mmproj-bf16.gguf 미디어 레이어를 포함합니다. 이는 가장 작은 것까지 포함해 모든 다운로드에 함께 딸려 오는 1.61 GiB의 비전 인코더입니다. 이미지 경로는 선택 사항이 아니며 별도로 받는 것도 아닙니다.

아홉 개 항목 중 세 가지 — MLX 관련 항목들 — 는 CUDA가 아니라 Apple silicon용으로 태그되어 있고, 라이브러리 페이지에서 각각 간단히 "MLX"라고만 표시됩니다. Mac에서 태그를 고른다면, nvfp4가 79.56 GB로 96 GB 또는 128 GB 통합 메모리 머신에 여유를 두고 들어맞는 선택이며, mxfp8는 129.60 GB라서 KV 캐시까지 감안하면 128 GB 머신에는 전혀 들어가지 않습니다.

라이브러리 페이지와 매니페스트가 컨텍스트 길이에 대해 서로 일치하지 않습니다

GGUF 태그는 1M 토큰 컨텍스트 윈도를 광고한다. 세 개의 MLX 태그는 아무것도 광고하지 않는다 — 다른 항목들이 "1M"이라고 표시되는 자리에서 해당 열은 "- context window"라고 표시된다. MLX 경로가 긴 컨텍스트 구성에 대해 연결되지 않았거나 페이지가 단순히 채워지지 않았을 수 있지만, 외부에서 보기에는 이 둘을 구별할 수 없다. 그리고 솔직한 입장은 긴 컨텍스트 주장이 GGUF 태그에 대해서는 검증되었고 MLX 태그에 대해서는 검증되지 않았다는 것이다.

같은 방향의 두 번째 격차가 있습니다. 기본 태그의 config blob은 "model_type":"123.6B"라고 선언하지만, 사용자에게 보이는 모든 명칭은 120B라고 표기합니다. 이는 가중치의 불일치가 아니라, 두 시스템 간에 파라미터 수가 반올림되는 방식의 불일치이며, 주어진 도구가 어떤 숫자를 당신에게 제시하는지 아는 것은 알아 둘 가치가 있습니다.

그리고 세 번째, 가장 문제가 될 가능성이 큰 것: params 블롭이 함께 제공됩니다 {"draft_num_predict":3,"temperature":1,"top_p":0.95}. 이 샘플링 값들은 모델 카드의 권장 설정입니다 — 텍스트용입니다. 카드는 비전 작업에는 다른 조합, temperature 0.6 대 top_p 0.95를 권장합니다. 따라서 Ollama 기본값은 Ollama가 비전 모델로 광고하는 모델의 텍스트 절반에 맞춰 조정되어 있습니다. 차트나 스캔한 페이지에서 이 모델을 처음 경험한 결과가 실망스럽다면, 체크포인트에 대해 어떤 결론을 내리기 전에 가장 먼저 돌려볼 손잡이가 바로 그것입니다.

The draft_num_predict: 3 필드는 그 자체로 한 줄을 차지할 가치가 있습니다. 이는 추측 디코딩(speculative decoding) 매개변수이며, 매니페스트에는 별도의 드래프트 모델 계층이 없습니다 — 모델 GGUF와 프로젝터만 있을 뿐입니다. 따라서 런타임이 수행하는 추측은 NVIDIA의 카드가 BF16 및 NVFP4 체크포인트와 함께 제공된다고 언급한 독립형 LiLiCorr 드래프터가 아니라, 모델에 내장된 다중 토큰 예측 헤드에 의존하고 있습니다. 이는 합리적인 엔지니어링 선택이며, 동시에 Ollama 경로가 공급업체의 처리량 수치가 설명하는 바로 그 구성은 아니라는 뜻이기도 합니다.

config blob이 조용히 알려주는 것

매니페스트 구성의 네 가지 필드는 그 크기가 시사하는 것보다 더 많은 정보를 제공합니다.

• model_family: nemotron_h_moe — 패밀리 문자열은 단순히 nemotron이 아닙니다. 채팅 템플릿이나 토크나이저를 선택하기 위해 모델 패밀리를 기준으로 분기하는 스택의 모든 요소는 단순한 접두사 매칭으로는 일치하지 않습니다.

• 렌더러: nemotron-3.5-super — 전용 렌더러이므로 채팅 템플릿은 상속된 기본값이 아니라 실제로 이 모델의 것입니다.

• 파서: nemotron-3-nano — 그리고 여기서 파서는 더 작은 Nano 형제 모델에서 차용했습니다. 사고 모드와 도구 호출 출력 형식은 모델군 전반에서 충분히 안정적이어서 새 파서가 필요하지 않았던 것으로 보입니다. 또한 이미 Nemotron 3 Nano용 도구 호출 처리를 구축했다면 여기서도 변경 없이 작동할 가능성이 높습니다.

• file_type: Q4_K_M — 기본 태그는 4비트 양자화이며, 대부분의 사람들이 이 모델을 판단하는 기준이 되는 구성입니다.

라이선스 계층은 OpenMDW 라이선스 계약 버전 1.1을 담고 있는 2,618바이트 블롭으로, 이는 Hugging Face 카드가 openmdw-1.1로 명시한 것과 동일한 라이선스입니다. 허용적 라이선스로 상업적 사용이 가능하며, 주변의 Ollama 생태계가 대부분 Apache-2.0이니 이 역시 그럴 것이라고 단정하기 전에 읽어볼 가치가 있습니다.

벤치마크: 한 세트는 벤더의 것이고, 다른 한 세트는 그렇지 않다

NVIDIA가 자체적으로 공개한 표는 방대하며 전적으로 자체 보고 수치입니다. 이 표에서 모델은 GPQA-Diamond 89.52, Humanity's Last Exam 텍스트 전용 31.79, MMLU-ProX 76.91, LiveCodeBench v6 88.22, SWE-bench Verified 71.10, SWE-bench Multilingual 67.72, SWE-bench Pro 51.78, Terminal-Bench 2.1 66.70, IFBench 70.86, MMLongBench-Doc 62.82, MathVision 78.16, 그리고 OCRBench v2에서 영어 68.12(중국어 59.15)를 기록합니다. 에이전트 관련 행도 강력합니다. tau2-bench에서 소매 69.24, 항공 76.50, 통신 73.19입니다. 또한 이 회사는 Artificial Analysis Intelligence Index 리더보드에서 이 모델이 동급 다른 모델보다 최대 5배 빠른 처리량을 달성하며, NVIDIA Dynamo에서 실행하면 조직이 지연 시간을 85% 낮추면서 최대 8배 더 많은 사용자에게 서비스를 제공할 수 있다고 주장합니다. 이는 공급업체가 공급업체의 인프라에서 산출한 공급업체 수치이므로, 감사 결과가 아니라 사양으로 취급해야 합니다.

독립적인 그림은 더 얇지만, 바로 그렇게 얇기 때문에 더 유용하다. Artificial Analysis는 현재 이 체크포인트를 Intelligence Index 26에 두며, 이를 비슷한 규모의 오픈웨이트 모델 중앙값 8보다 훨씬 높다고 설명한다 — 이는 실질적인 격차이며, 하드웨어 벤더의 120B 오픈 모델이 이 분야의 중간쯤에 위치한다고 가정해 왔다면 의미 있는 격차다. 같은 페이지는 Index를 실행하며 소비된 출력 토큰을 170M로 기록하는데, 이는 중앙값 100M과 대비되며, 이를 "다소 장황함"으로 읽는다: 이는 확장 사고 모드를 갖춘 추론 모델이며, 장황함은 각주가 아니라 비용 항목이다. 이는 1.0M 컨텍스트, 총 120B에 활성 12B, 이미지 입력과 텍스트 출력, 그리고 OpenMDW-1.1 라이선스를 확인해 준다.

그 페이지가 알려줄 수 없는 단 한 가지는 토큰당 비용입니다. 견적을 낼 호스팅 가격이 없기 때문입니다. 모델이 API를 통해 이용 가능한지에 대한 Artificial Analysis 자체의 답변은, 이 모델이 자체 호스팅할 수 있는 오픈 웨이트 모델이라는 것입니다. 그것이 한 문장으로 된 경제적 이야기 전체입니다: 한계 비용은 전기와 GPU 시간이고, 고정 비용은 다운로드입니다.

실제로 실행하려면 필요한 것

모델 카드는 공개된 체크포인트에 H100 4개 또는 GB200 2개를 권장하며, vLLM 레시피는 텐서 병렬 처리를 4로, method가 mtp인 추측 구성을 지정합니다. 그것은 데이터센터용 해답이며 BF16을 대상으로 합니다. Ollama 목록을 읽는 사람에게 흥미로운 질문은 사다리의 반대쪽 끝입니다.

q4_K_M에서 82.3GiB의 가중치에 1.61GiB의 프로젝터를 더하면 모델이 단일 96GB 카드나 128GB 통합 메모리 Mac 안에 들어가며, KV 캐시 여유 공간은 컨텍스트를 높일수록 빠르게 줄어듭니다. 광고된 1M 토큰에서는 해당 등급의 하드웨어에서 캐시가 가중치와 함께 들어가지 않습니다. 배지가 뭐라 하든 말이죠 — 단일 머신에서의 긴 컨텍스트는 동시성을 맞바꾸는 일이지, 그것을 공짜로 여는 일이 아닙니다. 한계보다 훨씬 낮은 실사용 컨텍스트를 계획하고, 1M이라는 수치는 배포 환경의 한계가 아니라 아키텍처의 한계로 취급하세요.

MLX nvfp4 태그(79.56 GB)는 애플 실리콘을 위한 실용적인 선택이며, 벤더가 기본으로 제공하는 형식이기도 하므로, 작은 태그들 중 품질 면에서 예상 밖의 결과를 낼 가능성이 가장 낮습니다.

자체 호스팅 대신 라우팅을 사용하는 경우 이것이 어디에 해당하는지

NVIDIA Nemotron 3.5 Super는 공급업체 자체 빌드 및 배포 채널을 통해서도, 위에서 설명한 Ollama 풀을 통해서도 이용할 수 있습니다. 이 모델은 OrcaRouter에는 없습니다. 우리는 200개가 조금 넘는 모델을 라우팅하며, 이것은 그중 하나가 아닙니다. 따라서 이 체크포인트가 특별히 필요하다면 로컬 풀이 그 경로이며, 이 글의 어떤 내용도 우리 키로 이 모델을 호출할 수 있다는 암시가 아닙니다.

이 플랫폼이 여기서 진정으로 하는 일은 그 주변의 의사결정입니다. 이런 모델을 평가하려면 어떤 벤치마크 표로도 없앨 수 없는 고정 비용이 듭니다: 90GB 다운로드, 설정에 들이는 저녁 한 번, 그리고 아무것도 알기 전에 준비해야 할 여러분만의 프롬프트 세트입니다. 더 저렴한 첫걸음은 이미 접근할 수 있는 호스팅 모델에 실제 워크로드를 돌려보는 것입니다 — 200개 이상의 모델을 아우르는 단일 API로, 제공업체 정가를 토큰당 마크업 없이 그대로 전달하므로 벤더가 가격을 인하하면 같은 날 우리 쪽에도 반영됩니다 — 그리고 그것을 통해 해당 워크로드가 120B 추론 모델로 개선될 여지가 있는지 판단하게 하세요. 그런 다음 살아남은 사례에 다운로드를 투자하세요.

그리고 정말로 신뢰하기 전에 새로 출시된 오픈 모델을 프로덕션 경로에 투입한다면, 자동 장애 조치가 가격보다 더 중요합니다. 10월 14일에 출시된 모델은 이틀 동안 전 세계의 주목을 받았습니다. 폴백 뒤에 라우팅하는 것이 요청 경로를 그것에 걸지 않고 그 이점을 얻는 방법입니다.

무엇이 확인되었고 무엇이 확인되지 않았는지에 대한 솔직한 요약

레지스트리와 릴리스 노트에서 직접 확인했습니다: 태그, 해당 다이제스트, 바이트 수, 0.40.5 최소 버전, llamacpp 러너를 통한 GGUF 형식, 공유 비전 프로젝터, 모델 패밀리 문자열, 렌더러, 상속된 Nano 파서 및 OpenMDW-1.1 라이선스. NVIDIA 자체 뉴스룸과 모델 카드에서 확인했습니다: 아키텍처, 파라미터 분할, 라이선스, 권장 샘플링 설정, 학습 규모 — 사전 학습 및 지속 사전 학습에 걸쳐 약 26조 토큰, 이어서 수십 개 환경에서 강화 학습을 통해 약 380만 개 샘플에 대한 사후 학습 — 그리고 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어의 언어 지원 범위.

확인되지 않음: 모든 벤치마크 수치는 벤더가 보고한 것이며, Artificial Analysis의 지수 26과 1억 7천만 토큰 장황함만이 이 글에서 유일한 독립 측정치로 읽힌다. 확인되지 않음: MLX 태그가 광고된 컨텍스트 길이를 지원한다는 점, 라이브러리 페이지가 해당 태그에 대해 이를 주장하지 않기 때문이다. 확인되지 않음: 비전 경로가 기본 설정으로 튜닝되어 있다는 점, 제공되는 샘플링 기본값이 텍스트용이기 때문이다. 그리고 확인되지 않음: 4비트 양자화가 공개된 점수를 어떻게 바꾸는지, 이는 Ollama 목록을 보는 대부분의 독자가 실제로 신경 쓰는 수치이자 아무도 공개하지 않은 수치다.

96GB 카드가 있고, 진짜 120B 백본을 갖춘 오픈 비전-언어 모델을 원할 이유가 있으며, 출시 첫 주에 의존하는 데 거부감이 없다면, 이것은 이번 달에 등장한 이 체급에서 가장 강력한 물건이고 내려받는 일도 별일 아니다. NVIDIA가 벤치마크한 정확한 구성이 필요하거나, 비전 기능이 첫 시도에 작동해야 하거나, 그 두 문서 중 어느 쪽이 권위 있는지 알아내는 데 저녁을 들일 여유가 없다면 — 양자화 평가와 커뮤니티 보고서를 기다려라. 웨이트는 나온 지 나흘이고 런타임 지원은 이틀이다.