Nemotron 3.5 Bolt 출시: NVIDIA의 24GB 2비트 체크포인트에 실제로 담긴 것

저장소는 N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB2026년 10월 7일 Hugging Face에 나타나 8일 동안 조용히 그 자리에 있었습니다. 10월 15일 N​VIDIA가 이를 발표했습니다 — 블로그 게시물, 뉴스룸 보도자료, 그리고 그 날짜가 찍힌 리서치 페이지 — 이는 이 이야기에서 흥미로운 부분이 출시가 아니라는 뜻입니다. 바로 그 공백입니다. 8일 동안 누구나 N​emotron 3.5 Bolt에 대해 알 수 있었던 것은 모델 카드와 safetensors 세트가 말해준 것이 전부였고, 나머지 전부는 추론이었습니다. 이제 그 공백은 닫혔으며, 그것이 닫히면서 실제로 무엇이 확정되었는지 정확히 따져볼 가치가 있습니다. 왜냐하면 사람들이 이 모델에 대해 반복해서 말하는 상당 부분은 발표문이 아니라 저장소에서 나온 것이고, 그 둘은 같은 문서가 아니기 때문입니다.

지금 확실한 점을 한 문단으로 정리하면 이렇다. N​emotron 3.5 Bolt 74B-A9B 24GB는 토큰당 90억 개 매개변수가 활성화되는 740억 개 매개변수의 전문가 혼합(mixture-of-experts) 비전-언어 모델로, 2026년 10월 15일 OpenMDW-1.1 라이선스로 공개되었으며, 전문가 가중치를 요소당 2.0625비트로 저장해 전체가 24GB에 들어간다. 이는 RTX 및 DGX Spark 하드웨어에서 로컬 에이전트 작업 — 도구 호출, 브라우징, 터미널 사용 — 을 실행하도록 설계되었다. Ollama에 256K 컨텍스트 창을 갖춘 25GB 태그로 올라와 있다. 어떤 호스팅 API에도 없고, 가격도 없다. 그 문장 중 한 부분은 독립적으로 측정된 것이고, 나머지는 벤더의 말이다.

두 개의 날짜, 그리고 그중 어느 것을 인용할지

두 날짜 사이에는 실질적인 차이가 있으며, 이 차이가 이 글의 나머지 부분을 어떻게 읽어야 할지를 결정합니다.

Hugging Face 저장소는 2026년 10월 7일 17:50 UTC에 생성되었습니다. 그 안에 들어 있는 모델 카드에는 릴리스 날짜(Release Date) 필드가 있으며 Hugging Face 2026년 10월 15일. 체크포인트에 관한 N​VIDIA 자체 연구 페이지에는 게시일: 2026년 10월 15일. Bolt 티어를 발표하는 벤더 블로그 게시물은 2026년 10월 15일자이며, Super VL과 Bolt 74B-A9B가 "지금 이용 가능합니다"라고 그대로 명시하고 있습니다.

정직하게 읽자면 10월 15일이 출시일이고, 10월 7일은 폴더가 나타난 시점입니다. 10월 7일을 출시일이라고 인용하는 사람은 파일 타임스탬프를 인용하는 것이고, 10월 15일을 인용하는 사람은 벤더를 인용하는 것입니다. 하지만 이 8일의 간격은 날짜와는 다른 이유로 중요합니다. 그것은 일주일이 넘는 동안 이 모델이 저장소만이 유일한 접점인 상태로 존재했다는 뜻입니다. 발표도, 가격 페이지도, 리더보드 등재도, 이게 무엇을 위한 것인지 밝히는 N​VIDIA 관계자도 없었습니다. 그 기간에 쓰인 Bolt에 관한 모든 초기 설명은, 지금 돌아다니는 것들을 포함해, 그 카드에서 나온 것이었습니다. 그 카드는 결국 정확했던 것으로 드러났습니다. 이 점은 분명히 말할 가치가 있습니다. 이런 상황의 보통 결과는 정확하지 않기 때문입니다.

저장소만으로 증명되는 것

이 섹션의 모든 내용은 N​VIDIA가 한마디 하기 전에 모델 카드와 구성 파일에서 읽을 수 있었으며, 여전히 모두 사실입니다.

• 매개변수 — 총 740억 개, 토큰당 90억 개 활성. 조밀 모델이 아닌 희소 전문가 혼합.

• 아키텍처 — LatentMoE 백본과 C-RADIO v4-H 비전 인코더를 갖춘 Mamba-2 및 Transformer 하이브리드입니다. 구성은 해당 클래스를 NemotronH_Omni_Reasoning_V3로 등록합니다.

• 저장 정밀도 — 라우팅된 전문가와 공유 전문가의 FC1 및 FC2 레이어에서 요소당 2.0625비트의 IQ2_XXS이며, 이곳에 가중치의 대부분이 있습니다. Mamba 선형 레이어는 NVFP4에 있고, 임베딩, 출력 헤드, 어텐션 및 LatentMoE 가중치는 Q8_0입니다.

• 컨텍스트 — 최대 256K 토큰, 또는 배포 레시피에서는 262,144

• 입력과 출력 — 텍스트, 이미지, 동영상 입력, 텍스트 출력.

• 라이선스 — OpenMDW-1.1이며, 카드에는 "상업적 또는 비상업적 사용이 가능합니다"라고 명확히 명시되어 있습니다.

• 기반 및 출처 — 이 카드는 기본 모델을 같은 이름의 BF16 체크포인트로 명시하고 이와의 관계를 양자화됨으로 선언하며, 데이터셋 태그는 NVIDIA의 Nemotron 사전 학습 및 사후 학습 컬렉션을 가리킵니다.

• 모델 날짜 — 2025년 12월~2026년 5월, 포스트트레이닝 데이터 컷오프는 2026년 5월입니다. 최신성이 중요하다면 이 점을 주의 깊게 읽어 보세요: 이 모델은 2026년 출시작이며, 출시되기 4개월 반 전에 멈춘 데이터를 기반으로 만들어졌습니다.

• 런타임 — NVIDIA Ampere, Hopper, Blackwell에서의 vLLM, 그리고 RTX Spark와 DGX Spark를 위한 llama.cpp. Ollama의 기재 내용은 한계에 대해 더 노골적입니다: CUDA 배포는 문서화되어 있고, Apple Silicon과 Metal은 현재 지원되지 않습니다.

발표가 무엇을 추가했는지

공급업체 자료는 저장소가 알려줄 수 없었던 세 가지를 추가합니다.

먼저, 패밀리 프레이밍입니다. Bolt는 N​emotron 패밀리의 엣지 티어로 포지셔닝되어 있으며, 상시 작동 서버 에이전트를 위한 120B의 N​emotron 3.5 Super VL 아래에 있고, 특별히 위에 있는 것은 없습니다 — N​VIDIA의 문장은 이들을 다음과 같이 정리합니다: Super VL과 Bolt는 "대규모 엔터프라이즈 서버부터 엣지 디바이스 및 로컬 하드웨어에 이르기까지 전체 에이전트 배포 범위를 커버합니다." 대화형 및 물리적 에이전트를 위한 40억 매개변수 모델인 N​emotron 3.5 Bolt E4B 4GB는 10월 23일에 출시됩니다.

둘째, 압축 이야기입니다. 바로 여기서 진정으로 새로운 엔지니어링 주장이 나옵니다. Bolt는 작게 학습한 뒤 양자화한 모델이 아닙니다. Bolt는 Nemotron 3.5 Super VL — 전체 120B, 활성 12B — 을 NVIDIA의 라우터 기반 아키텍처 탐색 기법인 Star Elastic에 통과시킨 것으로, 배치 크기 1과 128K 컨텍스트에서 메모리 24GB 미만에 들어가야 한다는 엄격한 제약 아래 이루어졌습니다. Expert top-K는 원본 모델의 22에서 Bolt의 9로 줄었고, MoE 중간 폭은 레이어별로 탐색되었으며, 그다음 압축된 네트워크를 양자화하고 양자화 인식 증류를 거쳐 정확도를 되찾았습니다. NVIDIA가 밝힌 결론이 흥미로운 부분인데, 이는 허풍이 아니라 실제 입장입니다. 즉, 고정된 메모리 예산에서는 큰 모델을 압축하는 것이 작은 모델을 처음부터 학습하는 것보다 낫다는 것입니다. 이는 검증할 수 있는 주장이며, NVIDIA 외부에서는 아무도 검증하지 않았습니다.

셋째, 벤더가 제시한 두 가지 리더보드 순위입니다. PinchBench에서 동급 1위 오픈 모델, 그리고 BrowseComp에서 2위 오픈 모델입니다. 두 순위 모두 자사가 정의한 동급 기준에 대해 자사 모델을 설명한 NVIDIA의 주장입니다.

이번 발표가 추가하지 않은 것은 서비스되는 엔드포인트입니다. 호스팅된 API도 없고, 토큰당 가격도 없으며, N​emotron 3.5 Bolt가 실행되는 하드웨어를 확보하지 않고서는 이를 호출할 방법도 없습니다. 이 모델을 평가한 Artificial Analysis가 속도와 비용 항목을 사용할 수 없음으로 표시한 것도 바로 그 때문입니다: 측정할 수 있는 공개 API가 없기 때문입니다.

NVIDIA 외부에서는 아무도 실행해 본 적 없는 부분

여기서 이 글은 속도를 늦춰야 한다. 왜냐하면 측정된 것과 주장된 것 사이의 간극이 이 정도 규모의 모델로서는 이례적으로 크기 때문이다.

측정된 측면에서 숫자가 하나 있고, 그것은 좋은 숫자입니다: Artificial Analysis는 N​emotron 3.5 Bolt 74B-A9B를 자사의 Intelligence Index에서 21로 평가하며, 이는 비교 클래스 내 67개 모델 중 4위에 위치시킵니다. 이는 BF16 참조 빌드가 아니라 실제 2-bit 체크포인트에 대한 독립적인 측정치이며, 오늘날 이 모델에 대해 이용 가능한 가장 유용한 단일 수치입니다.

On the asserted side there is everything else. The model card carries a thirteen-benchmark table with four columns — Qwen3.6-35B-A3B in BF16, Gemma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16, and Bolt in IQ2 — and every row of it was produced by N​VIDIA, including the three baseline columns, which N​VIDIA selected because they fit in 24GB with 4-bit quantisation. Bolt is the bolded winner in ten rows and is not the winner in three: AA-Omniscience accuracy, where Gemma 4 26B-A4B scores 22.17 against Bolt's 16.90; AA-Omniscience non-hallucination, where N​emotron 3.5 Lightning 30B-A3B scores 68.81 against Bolt's 61.27; and PinchBench, where Qwen3.6-35B-A3B scores 88.07 against Bolt's 87.82. Publishing the three rows you lose is a point in the vendor's favour and does not change what the table is: unreproduced.

The speed numbers deserve their own paragraph because they cut against the marketing. N​VIDIA's own measurement table, taken with llama.cpp on Windows 11 ARM64 on a Surface Laptop Ultra with 128GB, shows Bolt at 83.99 tokens per second on AIPerf SPEED-Bench-Coding — behind Qwen3.6-35B-A3B at 96.63 and Gemma 4 26B-A4B at 100.56. On the same page, end-to-end replay duration across realistic agent trajectories is 600.80 seconds for Bolt against 453.97 for Qwen3.6 and 480.68 for G​emma. The pitch is intelligence per gigabyte, not speed, and the vendor's own table is consistent with that pitch rather than with a claim of being fastest.

그래서 증거의 형태는 이렇습니다: 존중할 만한 독립적 종합 점수 하나, 아무도 재현하지 못한 벤더 벤치마크 표 하나, NVIDIA 밖에서는 아무도 실행해 본 적 없는 노트북에서의 벤더 속도 표 하나, 그리고 독립적인 지연 시간 측정치는 전무합니다. Bolt의 PinchBench 수치를 누가 산출했는지 밝히지 않고 보도하는 기사는, 이 글에 동의하는 기사까지 포함해, 신뢰할 수 없는 것으로 취급하십시오.

그것과 함께 무엇이 도착했나요?

모델 공개는 좀처럼 가중치만으로 끝나는 법이 없으며, Bolt의 조연阵容은 API가 없는 무언가치고는 이례적으로 크다.

LiLiCorr 추측 드래프터가 함께 제공됩니다. 공유 임베딩과 출력 헤드를 제외하면 11억 3천만 개의 매개변수를 가지며, 대상 모델과 공동으로 학습되고, N​VIDIA는 vLLM에서 동시성 64에서 7개의 드래프트된 토큰을 사용할 때 그리디 디코딩에서 평균 수락 길이 4.68, 확률적 샘플링에서 4.25를 보고합니다. 이 드래프터는 런타임 플래그가 아니라 별도로 다운로드할 수 있는 체크포인트이며, RTX Spark에 대해 제시된 84 TPS 수치를 만들어내는 메커니즘입니다.

프레임워크 지원이 빠르게 이루어졌습니다. Ollama는 nemotron-3.5-bolt를 세 가지 태그로 나열합니다 — 기본, 74B-A9B 태그, IQ2 태그 — 각각 25GB이며 256K 컨텍스트와 텍스트 및 이미지 입력을 지원하고, Claude Code, OpenCode, Hermes Agent, OpenClaw용 한 줄 런처도 함께 제공됩니다. 그 외에도 NVIDIA의 GGUF 빌드, 4비트 및 8비트 커뮤니티 양자화 체인, 그리고 발표 하루 만에 등장한 MLX 변환이 있습니다. 단일 24GB 기기에서 실행되는 체크포인트의 경우, 48시간 만에 도착한 그 생태계는 이것이 시연용이 아니라 사용 가능한 결과물이라는 진짜 신호입니다.

이것을 사용하려는 사람에게 실질적인 경고: 24GB라는 수치는 가중치의 하한이지, 워크로드의 상한이 아니다. 이미지, 비디오 프레임, 대화 기록, 도구 결과가 모두 컨텍스트 예산을 공유하며, Ollama 자체 설명에 따르면 사용 가능한 컨텍스트는 가용 메모리에 달려 있다. 여유롭게 들어가는 25GB 다운로드와 여유롭게 들어가는 256K 토큰 세션은 같은 것이 아니다.

이것이 당신을 어디에 두는지, 그리고 어디에 두지 않는지

워크로드가 로컬이고 에이전트형이라면—직접 소유한 기기에서의 터미널 사용, 브라우징, 도구 호출, 코드 디버깅—N​emotron 3.5 Bolt 74B-A9B 24GB는 이제 하나의 독립적인 점수와 직접 살펴볼 수 있는 가중치 세트를 갖춘 정당화할 수 있는 선택입니다. 그 이면의 압축 논거는 정말 흥미롭고, 라이선스는 상업적 사용을 허용하며, 툴링은 하루 만에 등장했습니다.

워크로드가 여러분이 소유하지 않은 곳에서 실행되는 코드에서 호출되어야 한다면, 이 모델은 오늘날 선택지가 아닙니다. "어떻게 사용하나요"에 대한 솔직한 답은 N​VIDIA 하드웨어에서 직접 실행하거나 기다리는 것입니다. 우리는 추측하지 않고 자체 카탈로그를 확인했으며, 그 안에 N​VIDIA 모델은 없습니다 — 따라서 우리가 라우팅할 것은 아무것도 없고, 다르게 말하는 것은 거짓말일 것입니다. OrcaRouter가 실제로 제공하는 것은 혼합 배포의 나머지 절반입니다: 요청이 2비트 로컬 체크포인트에 너무 어렵거나, 너무 길거나, 너무 낯설 때 호출하게 될 모델들을제공업체의 정가에 추가 마진 없이 200개 이상의 모델에 걸쳐 하나의 키로 이용할 수 있게 해주며, 제공업체가 흔들릴 때 자동 장애 조치가 이루어집니다. 로컬 Bolt를 라우팅된 API와 짝지어 쓰는 것은 합리적인 아키텍처입니다. Bolt가 라우팅되는 쪽에 있다고 가정하는 것은 그렇지 않습니다.

주목해야 할 것은 다음 벤치마크 표가 아니다. 그것은 N​VIDIA 외부의 누군가가 독자가 실제로 보유한 하드웨어에서 24GB 체크포인트에 대한 지연 시간 실행 결과를 공개하는지, 그리고 호스팅된 엔드포인트가 아예 등장하는지 여부다. 그중 하나가 실제로 일어나기 전까지, 그 명세는 약속에 불과하며 그것을 뒷받침하는 것은 단 하나의 인덱스 점수뿐이다.

이런 결과는 모델의 실수가 이미 문서화되어 있다는 점을 다시 일깨워 주기도 합니다: 이 계열 모델의 배후에 있는 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그를 함께 갖추고 있습니다.