Nemotron 3.5 Bolt 24GB: NVIDIA가 24GB 파일에 실제로 담은 것

대표 숫자는 파라미터 수가 아니다. 바이트 수다. 2026년 10월 15일 NVIDIA는 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB를 출시했다. 740억 개 파라미터가 23.75GB를 차지하는 비전-언어 에이전트 모델이며, 대부분의 사람들이 실제로 다운로드하게 될 형식 기준이다 — 22.02GB GGUF와 1.73GB 비전 프로젝터 파일. 두 수치 모두 블로그 게시물이 아니라 공개된 리포지토리의 자체 파일 목록에서 나온 것이고, 이름이 숫자로 끝나는 이유이기도 하다. 이것이 그 숫자가 사주는 것, 숨기는 것, 그리고 포함하지 않는 것이다.

무엇이 출시되었고, 언제였는가

NVIDIA의 뉴스룸은 10월 15일을 단일 모델 출시가 아니라 제품군 확장으로 규정했다: Nemotron 3.5 Super VL은 1200억 개 파라미터의 멀티모달 모델이자 120억 개 활성 파라미터를 갖춘 모델로 Bolt 체크포인트와 함께 등장했으며, 훨씬 더 작은 형제 모델인 Nemotron 3.5 Bolt E4B 4GB는 10월 23일로 예정되어 있다. Bolt는 Nemotron 3.5 Lightning(8월)과 Nemotron 3 Ultra와 함께 이제 데이터센터 추론, 고처리량 서빙, 로컬 엣지 에이전트를 아우르는 제품군에 합류한다.

이번 릴리스는 진정으로 새롭고, 동시에 발표보다 약간 더 이른 시점의 것이기도 하다. Hugging Face 리포지토리 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB는 2026년 10월 7일에 생성되었다; 그 안의 모델 카드에는 10월 15일이라는 출시 날짜가 적혀 있는데, 이는 NVIDIA 자체 연구 페이지에 "게시됨"으로 표시된 날짜와 같다. 설명 한마디도 나오기 전에 파일들이 8일 동안 대중의 눈에 공개되어 있던 것은 하드웨어와의 엠바고 조율 아래 제품을 출시하는 벤더에게 흔한 패턴이다 — RTX Spark 노트북은 발표 다음 날인 10월 16일로 날짜가 찍혀 있다 — 그리고 이 모델의 공개 기록 중 어느 절반이 마케팅 결정에서 비롯되었고 어느 절반이 파일 목록에서 비롯되었는지 알아 두는 것은 가치가 있다.

740억 개의 매개변수가 24기가바이트에 어떻게 들어가는가

두 가지 메커니즘이 있으며, 이들은 분리 가능합니다.

첫 번째는 구조적이다. Bolt는 처음부터 학습한 더 작은 모델이 아니다. 그것은 NVIDIA가 Star Elastic이라고 부르는 알고리즘으로 압축된 Super 3.5 VL 부모 모델이다. 이 알고리즘은 라우터가 이끄는 아키텍처 탐색으로, 배치 크기 1과 128K 컨텍스트에서 24GB 미만의 배포 풋프린트라는 하나의 제약을 충족해야 했으며, 동시에 지식 증류 정확도를 가능한 한 적게 잃어야 했다. 그 결과물은 부모가 22를 사용했던 전문가 top-K를 9로 고정한, 총 74B / 활성 9B의 전문가 혼합(MoE) 하이브리드다. 이 결과에 대한 NVIDIA 자신의 설명은 직설적이고 검증 가능하다. 고정된 메모리 예산에서는 큰 모델을 압축하는 것이 작은 모델을 학습하는 것보다 낫다.

두 번째는 정밀성이며, 대부분의 절감 효과가 바로 여기에서 나옵니다.

• 전문가 가중치 — 라우팅 및 공유 FC1과 FC2 레이어는 요소당 2.0625비트로 IQ2_XXS로 양자화되었으며, 이는 매개변수 수 기준으로 모델의 대부분을 차지합니다.

• Mamba 레이어 — NVFP4, 4비트 부동 소수점 형식이며, 추가 정밀도가 더 많은 바이트를 쓸 가치가 있는 레이어에만 적용됩니다.

• 임베딩, 출력 헤드, 어텐션 및 잠재 MoE 가중치 — Q8_0.

• 복원 — 사후 최근접 반올림 패스가 아니라 양자화 인식 증류, 이것이 압축된 모델과 망가진 모델의 차이입니다.

그것들을 함께 읽으면 "24GB"는 더 이상 마케팅 요약이 아니라 예산 배분이 된다. 2비트 전문가들은 바이트당 저렴하고 수가 많으며, 안정성에 중요한 층은 4비트나 8비트를 유지한다.

파일들과 대조하여 확인한 24GB 수치

그 주장은 감사를 통과하는데, 그것이 항상 사실인 것은 아니다.

• GGUF 가중치 — 22,018,326,528바이트, 즉 십진수 기준 22.02GB, 단일 파일.

• 비전 프로젝터 — 1,733,692,736바이트, 즉 1.73GB이며, mmproj로 별도 제공되는데, 이것이 llama.cpp가 이미지와 비디오 입력을 받아들이는 방식입니다.

• Safetensors 빌드 — vLLM에서 바로 쓸 수 있는 샤드로 구성한 동일 모델은 90개 파일에 걸쳐 총 24.12GB로, 제시된 수치를 소폭 웃돕니다.

• BF16 레퍼런스 — 63개 샤드에 걸쳐 149.8GB, 추론이 아닌 파인튜닝을 원하는 사람을 위해 별도로 공개되었습니다.

그 위에는 두 가지 솔직한 단서가 놓여 있다. 첫째, 가중치는 실행 중인 모델이 아니다. NVIDIA가 공개한 vLLM 레시피는 KV 캐시를 fp8로 고정하고 서빙 컨텍스트를 262,144 토큰으로, 그리고 max-num-seqs 1로 설정한다 — 즉 동시 시퀀스 하나다. 이것이 24GB에 들어가는 것과 24GB에서 빠르게 실행되는 것의 차이이며, 메모리 크기 헤드라인이 결코 담지 않는 종류의 세부 사항이다. 둘째, 24GB는 아키텍처 탐색에 주어진 숫자이지 당신의 머신에서 측정된 숫자가 아니다. 드라이버 오버헤드, 운영체제, 그리고 노트북에 있는 다른 온갖 것들은 모두 그 밖에 있다. 그래서 이 제안은 "앱들 대신 실행"이 아니라 "앱들과 나란히 실행"인 것이다.

속도 주장, 그리고 그것이 측정된 기계

NVIDIA는 최소 초당 80토큰을 목표로 설계했으며 AIPerf SPEED-Bench-Coding에서 83.99를 보고합니다. 그 숫자가 의미를 가지려면 세 가지 맥락이 필요합니다. 이 수치는 Windows 11 ARM x64에서 llama.cpp를 사용해, 128GB 메모리를 갖춘 Surface Laptop Ultra에서, LiLiCorr 추측성 드래프터를 붙이고 단계당 7개의 드래프트 토큰을 사용해 산출되었습니다. 드래프터는 선택적인 장식이 아닙니다. 드래프터는 수용 길이(acceptance length)를 높이는 것이 존재 목적인 1.13B 동반 체크포인트입니다(NVIDIA는 vLLM에서 동시성 64에서 그리디 디코딩 시 평균 4.68, 샘플링 시 4.25를 보고합니다). 드래프터를 빼면 다른 모델을 측정하는 셈입니다.

두 번째 속도 지표가 더 흥미롭습니다. 이는 처리율이 아니라 완료 시간이기 때문입니다. AA-AgentPerf Local에서 리플레이 시간이 600.80초인 반면, Qwen3.6 35B-A3B는 453.97초, Gemma 4 26B-A4B는 480.68초, Qwen3.8 27B는 1,043.28초입니다. 모두 NVIDIA 자체 표에서 가져온 수치이며, 모두 동일한 하드웨어에서 측정되었습니다. Bolt는 더 작은 모델보다 동일한 에이전트 트래젝터리를 더 빨리 완료하여 해당 행을 이기고, 처리량 행에서는 초당 83.99토큰으로 96.63토큰과 100.56토큰을 기록한 다른 두 모델에 모두 뒤처집니다. 빠름과 신속함은 같은 측정 기준이 아니며, 이 모델은 후자를 전자와 맞바꾼 모델입니다.

독립적인 측정이 말하는 것

Bolt에 관한 공개 기록에서 NVIDIA가 산출하지 않은 수치가 하나 있다. Artificial Analysis Intelligence Index는 이 모델에 21점을 부여하는데, 이는 동급 67개 모델 중 4위에 해당한다. 이 지표는 또한 호출할 수 있는 공개 API가 없기 때문에 이 모델의 속도와 비용을 보고하지 않으며 — 이 모델의 입력 양식을 비디오가 아닌 텍스트와 이미지로 표기하는데, 이는 벤더의 설명보다 좁은 해석이다.

같은 페이지는 모델이 평가되는 동안 2억 3천만 개의 토큰을 생성했다고 지적하며, 이를 중앙값 1억 개에 비해 매우 장황하다고 표시한다. 같은 작업에서 더 많은 토큰을 생성하는 추론이 자동으로 더 나쁜 것은 아니지만, 모든 토큰이 팬에 의해 생성되는 로컬 기기에서는 비용이 발생한다.

유통되는 나머지 정보는 모두 벤더가 보고한 것이다. NVIDIA 자체의 13개 벤치마크 표에서 Bolt는 PinchBench에서 해당 메모리 클래스 1위를 차지하고 WebArena와 BrowseComp에서는 2위에 오르는데, 이 표는 4비트에서 24GB에 들어간다는 점이 부분적인 선택 이유가 된 모델들과 비교한다 — Bolt가 충족하도록 설계된 제약으로 정의된 동종 그룹이다. 그것이 부정직한 것은 아니며, 일반적인 에이전트 모델의 순위도 아니다. 그리고 반대 방향을 가리키는 단 하나의 셀은 시사하는 바가 크다: AA-Omniscience 정확도에서 16.90인 Bolt는 같은 표에서 22.17인 Gemma 4 26B-A4B에 뒤처진다.

상자 안에 없는 것은 무엇인가요

엔드포인트가 없다. 종량제 요금도, 그것을 서빙하는 제공업체도, 배포를 완료하지 않고서는 자체 트래픽으로 그것을 평가할 방법도 없다. 대신 있는 것은 몇 달 뒤가 아니라 출시 시점에 나온 런타임 지원이다: llama.cpp와 GGUF 체크포인트, Ollama, LM Studio, 파인튜닝을 위한 Unsloth, 그리고 DGX Spark에서는 양자화된 체크포인트를, 다른 환경에서는 BF16 체크포인트를 위한 vLLM이다. NVIDIA 자체 블로그에서 이 다섯 가지를 이름으로 나열하며, 이 폭넓은 지원이 바로 여기서 진짜 제품이다 — 24GB 파일은 그것을 로드하는 것이 이미 당신의 머신에 존재할 때만 유용하다.

하드웨어 지원 범위는 RTX Spark 노트북에 관한 출시 당일 이야기가 시사하는 것보다 더 넓습니다. GeForce RTX PC, DGX Spark, DGX Station, RTX PRO 워크스테이션이 모두 언급되어 있으며, 모델 카드는 vLLM 경로에 대해 Ampere, Hopper, Blackwell을 나열합니다.

라이선스는 OpenMDW-1.1인데, 이는 그 위에 구축할 수 있을 만큼 충분히 허용적이면서도 법률 검토가 형식이 아닌 실제 단계가 될 만큼 충분히 낯설다 — 아키텍처 결정이 그것에 의존하기 전에 알아 둘 가치가 있다.

NVIDIA 자체 기술 블로그의 복사-붙여넣기 실수로 인해 체크포인트 목록이 Bolt가 아니라 "Nemotron 3.5 Super VL 74B-A9B 24GB"라는 제목 아래에 놓여 있습니다. 이는 빠른 출시 과정에서 생긴 오타일 뿐, 제품군의 분기가 아니지만, 발표 당일에 작성된 벤더 페이지란 게시 날짜만 찍힌 초안이라는 점을 일깨워 주는 유용한 사례입니다.

자신이 소유하지 않은 모델도 함께 호출하는 팀을 위한

에이전트 스택에서 로컬로 실행되는 절반과 호스팅되는 절반은 대개 같은 프로젝트이며, Bolt는 그중 한쪽만 다룹니다. OrcaRouter는 어떤 Nemotron 체크포인트도 호스팅하지 않습니다 — 이는 가정이 아니라 자체 카탈로그와 대조해 확인한 사실입니다 — 따라서 여기서 우리가 제공하는 모델을 홍보하려는 것은 아닙니다. 우리가 하는 일은 혼합 배포의 나머지 한쪽입니다. 하나의 키로 200개가 넘는 모델을 제공사 정가에 추가 마크업 없이, 자동 장애 조치를 제공사가 요청 처리 도중 흔들릴 때 수행하고, 라우팅 DSL로 폴백 체인을 애플리케이션 코드가 아니라 구성으로 기술할 수 있습니다. Bolt가 로컬 쪽 절반을 실행한다면, 그 절반은 청구서에 절대 나타나지 않습니다. 라우팅 문제란 나머지가 어떻게 되는가입니다.

볼 만한 것

이 모델의 평판을 결정지을 세 가지가 있는데, 그중 어느 것도 발표 내용에는 없다.

첫 번째는 실제 하드웨어에서의 독립적인 지연 시간이다. NVIDIA의 초당 83.99토큰은 추측 드래프터가 붙은 통제된 벤치마크이며, 언젠가 누군가는 브라우저와 편집기를 동시에 실행하는 노트북에서 이것이 어떤 성능을 내는지 공개할 것이고, 그 숫자가 이 숫자보다 더 중요해질 것이다. 두 번째는 10월 23일의 E4B 변형으로, 압축 레시피가 더 작은 규모로도 확장되는지, 아니면 한 가지 크기에서만 작동하는지를 시험한다. 세 번째는 NVIDIA 외부의 누군가가 BF16 체크포인트를 사후 학습하는지 여부다. 왜냐하면 공개 라이선스가 있는 24GB 배포 아티팩트와 그 옆의 150GB 커스터마이징 아티팩트는 의도된 두 갈래 릴리스이며, 이것이 플랫폼이 될지 아니면 하나의 체크포인트가 될지를 결정하는 쪽은 두 번째 트랙이기 때문이다.

현재로서는 이 사실 자체로 충분히 의미가 있다. 740억 개 매개변수 규모의 멀티모달 에이전트가 워크스테이션보다 저렴한 노트북의 메모리에 들어가고, 드래프터를 붙이면 초당 약 84토큰으로 실행되며, 이를 측정한 유일한 독립 지수에서 21점을 기록하고, 누구도 API로 호출할 수 없다. 이는 구체적이고 이례적인 조합이며, 그중 어느 절반이 필요한지를 정확히 따져볼 가치가 있다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.