Nemotron 3.5 Bolt vs Nemotron 3 Ultra: 7.4배 압축에서 살아남는 것은 무엇인가

같은 공급업체의 두 모델은 매개변수 수에서 7.4배, 실행에 필요한 하드웨어에서는 약 100배 차이가 납니다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 모델은 2026년 10월 15일에 Spark 디바이스나 Blackwell GPU에서 다른 애플리케이션과 나란히 실행되는 24GB 파일로 출시되었습니다. NVIDIA Nemotron 3 Ultra 550B-A55B 모델은 2026년 6월 3일부터 Hugging Face에 공개되어 있으며, BF16에서 최소 16개의 H100을 요구합니다.

흥미로운 질문은 어느 쪽이 더 강한가가 아니다 — 답은 명백하고 접전도 아니다. 질문은 대형 모델을 작은 메모리 한도 안으로 압축할 때 구체적으로 무엇이 살아남는가이며, 그것이야말로 소형 모델이 어떤 워크로드는 흡수할 수 있고 어떤 워크로드에서는 난처해질지를 알려주기 때문이다. NVIDIA 자체 연구 노트는 그 질문의 일부에 직접 답하며, 답하지 않는 부분에 바로 실제 결정이 달려 있다.

이름이 무엇을 암시하든, 그들은 부모와 자식이 아니다

당연한 가정은 Bolt가 축소된 Ultra라는 것이다. 하지만 그렇지 않으며, 이 점을 제대로 이해하면 그 파일에서 무엇을 기대할지가 달라진다. 2026년 8월 11일의 30B-A3B 등급인 Nemotron 3.5 Lightning은 Ultra에서 증류되었다. Bolt는 그렇지 않다. Bolt는 120B-A12B 비전-언어 모델인 Nemotron 3.5 Super VL에서 압축되었으며, NVIDIA가 Star Elastic이라고 부르는 라우터 기반 검색을 사용한 뒤, IQ2_XXS 형식에서 전문가 가중치당 2.0625비트까지 양자화 인식 증류를 거쳤다.

그 계보는 어떤 벤치마크 항목보다 더 중요한 단 하나의 차이를 설명한다. Bolt에는 C-RADIO v4-H 비전 인코더가 있어 이미지와 영상을 입력받는다. Ultra는 텍스트 입력, 텍스트 출력이며, 이는 보고 누락이 아니다. 그 체크포인트에는 점수를 매길 비전 타워가 없다. 더 작고 최신이며 양자화가 많이 된 모델은 보지만, 제품군에서 가장 큰 추론 모델은 보지 못한다.

압축이 남긴 것

Bolt는 Mamba-2와 Transformer 하이브리드 백본을 기반으로 하며, 740억 개의 파라미터를 보유하고 토큰당 90억 개가 활성화됩니다. Ultra는 5500억 개의 파라미터를 보유하며 그중 550억 개가 활성화됩니다. 활성 파라미터 비율은 6.1 대 1이고, 전체 파라미터 비율은 7.4 대 1입니다. 이는 압축이 토큰당 연산량보다 전체 용량을 비례적으로 더 많이 제거했음을 의미합니다 — 모델은 더 얕아진 것보다 더 빠르게 좁아졌습니다.

이용 가능한 증거로 볼 때, 그것이 만들어내는 것:

• 독립 지능 — Artificial Analysis는 Nemotron 3.5 Bolt를 자사의 Intelligence Index에서 21점으로 평가하며, 풋프린트 필터링 클래스에서 클래스 중앙값 8에 맞서 67개 중 4위다. Ultra는 같은 클래스가 아니며 동일한 인덱스 버전에서 훨씬 높은 점수를 받는다. 이것이 압축의 측정 가능한 비용이다.

• 독립적 속도 — Artificial Analysis는 Ultra를 초당 156.1 출력 토큰으로 측정했으며, 해당 페이지의 74개 모델 중 10위이고 최상위 속도 구간에 속한다. Bolt의 경우 동일한 항목은 N/A로 표시되는데, 호출할 호스팅 엔드포인트가 없기 때문이다. NVIDIA 자체 수치 — RTX Spark에서 AIPerf SPEED-Bench 기준 초당 84토큰, Surface Laptop Ultra에서 llama.cpp 기준 83.99 — 는 벤더가 보고한 것이며 재현되지 않았다.

• 지시 따르기 — Ultra는 IFBench에서 82.9를 기록합니다. 이는 긴 도구 정책을 준수해야 하는 에이전트에서 주목해야 할 항목이며, 양자화 인식 증류가 고르지 않게 보존하는 종류의 능력입니다.

• 장문맥 추론 — Ultra는 100만 토큰 사양 기준 AA-LCR에서 75.2점을 기록합니다. Bolt의 공개된 윈도우는 262,144토큰이며, KV 캐시, 이미지, 대화와 함께 24GB를 공유합니다. 선언된 넓은 윈도우와 그것을 실제로 활용하는 능력은 별개의 속성입니다. 여기서는 더 큰 모델이 두 가지 모두에서 더 앞섭니다.

• 사실적 절제 — Ultra는 AA-Omniscience 환각에서 22.1, 비환각에서 77.91을 기록한다. Bolt 자체 카드에서는 비환각 61.27을 기록하는데, 이는 훨씬 더 작은 Nemotron 3.5 Lightning에게 뒤지는 유일한 항목이다. 같은 방향을 가리키는 두 가지 독립적 신호: 바로 여기서 공격적인 2비트 압축이 가장 큰 대가를 치르며, 더 많이 지어내는 모델은 어떤 라우팅 기법으로도 고칠 수 없다.

배포 엔벨로프, 즉 둘이 실제로 분리되는 지점

이것은 점수로 환원되지 않는 비교의 부분입니다.

• 메모리 — Bolt는 단일 24GB 아티팩트이며, 이미 양자화되어 있어 한 머신에서 브라우저 및 IDE와 공존하도록 만들어졌다. BF16의 Ultra는 자체 모델 카드 기준으로 H100 16개, H200 8개 또는 GB200급 노드 8개를 요구한다. NVFP4 빌드는 이를 최소 H100 8개로 좁힌다. 이 두 문장의 차이는 구매 주문서와 조달 프로그램의 차이다.

• 컨텍스트 구성 — Bolt는 공개된 vLLM 레시피에서 262,144개 토큰을 직접 서빙합니다. Ultra의 레시피는 기본값이 256K이며, 전체 1,048,576에 도달하려면 환경 플래그가 필요합니다. 그래서 패널은 1M 사양에도 불구하고 Ultra에 대해 262K를 기록합니다. 사양을 읽고, 그다음 레시피를 읽으십시오.

• 서빙 스택 — Bolt는 Ampere, Hopper, Blackwell에서 vLLM으로, 또는 RTX Spark 및 DGX Spark 하드웨어에서 llama.cpp로 실행되며, 상업적 사용을 허용하는 OpenMDW-1.1 라이선스를 따릅니다. Ultra는 데이터센터급 병렬 처리 환경에서 동일한 라이선스로 실행됩니다. 둘 다 오픈 웨이트이며, 그중 하나만 이식 가능합니다.

• 프롬프트 비용 — Ultra는 100만 입력 토큰당 $0.60, 100만 출력 토큰당 $2.50로 과금되며 73% 캐시 할인이 적용되어, Intelligence Index 작업 하나를 실행하는 데 약 $0.60이 듭니다. 그 규모의 모델로서는 정말 저렴하고, 다른 누군가가 클러스터를 운영하기 때문에 이용할 수 있습니다. Bolt는 가격이 아예 없습니다. 호스팅 엔드포인트도, 벤더 API도, 요금표도 없으며, Bolt를 나열하는 유일한 독립 패널의 속도 및 비용 필드 모두에서 N/A입니다.

발표문이 말하는 것과 말하지 않는 것을 읽기

Bolt의 체크포인트는 모델 카드만 첨부된 채 2026년 10월 7일부터 Hugging Face에 있었다. 그 이름을 언급한 벤더 발표는 — 게임 캐릭터를 겨냥하고 10월 23일자로 예정된 4GB 형제 모델 Nemotron 3.5 Bolt E4B와 함께 — 10월 15일에 나왔다. 가중치가 설명문보다 8일 먼저 공개되는 것은 이례적인 일이 아니지만, 이는 대중 기록의 일주일 동안 그 모델에 대한 설명이 전혀 없었다는 뜻이며, 그 기간에 작성된 어떤 글도 모델 카드만을 근거로 삼고 있었음을 의미한다.

그 발표는 무엇이 빠져 있는지 살펴볼 곳이기도 하다. 호스팅된 엔드포인트도, API도, 요금표도, Bolt를 계량하는 제3자 플랫폼도 없으며, 누구도 24GB 가중치에 대해 독립적인 벤치마크를 실행하지 않았다. 벤더의 수치는 실제이며 구체적이고, 128GB Surface Laptop Ultra에서 llama.cpp로 측정한 것이다. 다만 NVIDIA 외부에서는 재현되지 않았을 뿐이다.

각 모델이 어디에 속하는지, 그리고 라우터가 어디에 속하는지

이 두 모델은 모두 OrcaRouter의 카탈로그에 없습니다. 우리는 어떤 NVIDIA 체크포인트도 호스팅하지 않으며, Bolt 엔드포인트도 Ultra 엔드포인트도 없고, 여기 있는 어떤 것도 둘 중 하나를 제공하겠다는 제안이 아닙니다. 단일 엔드포인트가 실제로 사 주는 것은, 둘 중 하나 또는 둘 다를 직접 운영하고 있다면, 워크플로의 로컬 절반과 호스팅 절반을 하나의 키 아래에 두는 방법입니다 — 우리 카탈로그의 200개 이상 모델은 하나의 API 키와 하나의 청구서 뒤에 있으며, 각 공급자의 정가에 0%의 마크업만 더해 전달되므로, 벤더의 가격 변경은 다음 갱신 때가 아니라 같은 날 우리 쪽에 바로 반영됩니다. 100만 토큰 전체 윈도가 필요하거나 프런트엔드 규모의 추론기가 필요한 요청은 호스팅 모델로 나갑니다. 로컬 파일은 건물 밖으로 나가서는 안 되는 대용량·개인정보 민감 작업을 맡습니다. 자동 페일오버는 업스트림이 저하되면 요청을 실패시키는 대신 옮긴다는 뜻입니다.

배치는 점수가 아니라 배포 계산에서 비롯된다. Bolt는 데이터를 이동할 수 없을 때, 워크로드에 비디오가 포함될 때, 또는 볼륨 때문에 토큰당 청구가 지배적인 비용 항목이 될 때 — 그리고 262K 창과 이미 드러난 사실적 절제의 격차를 감수할 수 있을 때 워크스테이션에 어울린다. Ultra는 작업에 백만 토큰에 이르는 범위와 제품군에서 가장 강력한 지시 수행, 그리고 NVIDIA가 현재 공개하는 가장 낮은 환각률이 필요할 때 종량제 엔드포인트에 어울린다.

누가 행동해야 하고, 누가 기다려야 하는가

워크로드가 로컬이고 비디오를 포함한다면 지금 행동하세요: Bolt는 이 제품군에서 24GB에 들어가면서 볼 수 있는 유일한 모델이며, 그 규모에서 독립 인덱스 21점을 받는 다른 오픈 체크포인트는 없습니다. 워크로드가 장문맥 텍스트 추론을 대량으로 처리하는 것이라면 지금 행동하세요: Ultra는 사용량이 계량되고 측정되며, Intelligence Index 작업당 비용이 자기 크기의 모델로서는 있을 수 없을 만큼 저렴합니다.

잠깐, 결정이 처리량에 달려 있다면. Bolt의 속도는 어디에도 독립적인 측정치가 없는 유일한 차원이고, 로컬에 배포된 모델에서 속도는 매일 매초 체감하는 것입니다. 24GB 가중치에 대한 제3자 지연 시간 측정 단 한 번이면 다음에 나올 열 개의 공급업체 벤치마크 행보다 더 많은 것을 판가름할 것입니다 — 그리고 그것이 존재하기 전까지 Bolt의 용량 계획은 하나의 주장에 기대어 세우는 계획일 뿐입니다.