Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: 하나의 모델, 두 개의 아티팩트

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

두 아티팩트가 실제로 무엇인지

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

둘 다 모델 카드에 2026년 10월 15일자로 표기되어 있습니다. 둘 다 동일한 OpenMDW-1.1 라이선스, 동일한 256,000토큰 컨텍스트 윈도우, 동일한 Mamba-2 하이브리드 LatentMoE 백본, 동일한 C-RADIO v4-H 비전 인코더를 갖추고 있습니다. 저장소 메타데이터는 단일 필드에서 이 관계를 명시적으로 보여줍니다. 24GB 체크포인트의 카드에는 base_model_relation: quantized가 BF16 릴리스에 대해 기재되어 있습니다.

차이점은 각각의 용도에 있다. 24GB 카드는 사용 사례를 로컬 에이전트 하네스 — 도구 호출, 브라우징, 터미널 작업 — 로, 배포 환경을 Ampere, Hopper 또는 Blackwell에서의 vLLM으로 명시한다. BF16 카드는 사용 사례를 NeMo RL 및 NeMo Gym을 사용한 포스트 트레이닝, 도메인 적응, 증류, 자체 양자화 변형 생성으로 명시하고, 같은 문단에서 지연 시간과 처리량에 최적화된 추론에는 대신 24GB 버전을 사용해야 한다고 경고한다. 방금 다운로드한 체크포인트를 실행하지 말라고 하는 벤더의 말은 문자 그대로 읽을 가치가 있다.

파일 목록에서 확인한 크기 차이

• BF16 — safetensors 샤드 63개에 걸쳐 총 149.8GB, 최대 샤드 3.71GB, 그리고 228MB의 비전 타워.

• 24GB safetensors — vLLM 지원 빌드에서 90개 샤드에 걸쳐 24.12GB이며, 이는 모델 이름에 적힌 숫자를 약간 웃도는 수치입니다.

• 24GB GGUF — 단일 파일에 22.02GB, 여기에 별도의 1.73GB 비전 프로젝터까지 더해 총 23.75GB.

• 비율 — 바이트 기준 대략 6대 1로, 16비트 전문가에서 2비트 전문가에 더해 나머지 모든 것에 대한 혼합 정밀도 처리까지 포함합니다.

63개의 샤드 대 90개는 단지 크기 차이가 아니라 형태 차이이기도 합니다. BF16 릴리스는 어떤 병렬 레이아웃을 사용하든 학습 프레임워크에서 로드되도록 만들어졌고, 24GB 릴리스는 하나의 GPU 또는 한 대의 머신에서 llama.cpp로 로드되도록 만들어졌으며, 샤드 수는 서로 다른 작업을 반영합니다.

24GB 범위 중 3GB는 저장 공간을 계획하기 전에 이해해 둘 가치가 있습니다. 비전 프로젝터는 GGUF 빌드에서 별도 파일입니다. llama.cpp가 멀티모달 입력을 처리하는 방식이 그렇기 때문이며, 가중치만 내려받고 나서 이미지가 왜 작동하지 않는지 궁금해하는 사람은 이를 건너뛴 것입니다. safetensors 빌드에서는 비전 타워가 샤드 안에 들어 있고 총합이 24GB 선을 넘습니다.

What the quantisation cost, on N​VIDIA's own numbers

BF16 카드는 두 열을 나란히 공개하는데, 이는 이례적으로 솔직한 편이다. 같은 벤치마크 표에 동일한 13개 평가에 대한 IQ2 24GB 수치와 BF16 수치가 함께 실려 있다. 벤더가 보고했고 재현되지 않았지만, 전문가당 2비트가 어떤 비용을 치르게 하는지에 관해 이용 가능한 가장 직접적인 증거임에는 변함이 없다.

• Terminal-Bench 2.1 — IQ2에서 50.98, BF16에서 53.93으로 2.95점 하락.

• BrowseComp — 70.00 대비 66.75, 3.25 손실.

• GPQA Diamond — 86.43 대 88.83, 2.40 하락.

• AA-LCR 장문맥 추론 — 64.06 대 67.38, 3.32 손실.

• 도구 없이 HLE — 28.73 대비 25.30, 3.43 손실.

• AA-Omniscience 정확도 — 21.80 대비 16.90, 4.90 하락으로 표에서 가장 큰 폭.

• PinchBench — 87.82 대 90.35, 2.53의 손실.

• GDPVal-AA-V2 — 31.13 대비 28.47, 2.66 손실.

두 개의 행이 패턴을 깨뜨리는데, 바로 그 행들이 흥미로운 행들이다. AA-Omniscience 비환각 평가에서 양자화된 모델이 더 높은 점수를 기록한다, 61.27 대 56.14 — 전문가를 압축한 것이 모델이 모르는 경우 확신 있게 답할 가능성을 낮췄다는 뜻이며, 이는 표를 전체 그대로 공개할 가치가 있게 만드는 종류의 발견이다. WebArena 비전에서는 두 모델이 50.86 대 50.25로 동등한데, 이는 비전 경로가 압축을 대체로 온전하게 견뎌냈음을 시사하며, 모델 카드에 설명된 비전 어댑터 재훈련이 아마 그 이유일 것이다.

함께 읽으면: 대부분의 역량 행에 2~5포인트의 세금, 시각적 그라운딩에는 거의 0, 그리고 하나의 캘리브레이션 지표에서는 개선이다. 이는 6:1 압축에 대해 유리한 결과이며, 그럼에도 여전히 외면하기보다 계산해야 할 세금이다.

당신이 실제로 제공할 수 있는 것은 어느 것인가요?

24GB 아티팩트에는 런타임 이야기가 있고 BF16 아티팩트에는 학습 이야기가 있는데, 이 둘은 플래그만 다른 같은 이야기가 아니다.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

BF16 체크포인트의 서빙 문제는 당신이 해결해야 할 몫입니다. KV 캐시를 전혀 고려하기 전에도 양자화 빌드보다 약 6배의 메모리가 필요하므로, 단일 80GB 가속기로는 감당할 수 없고 멀티 GPU 또는 멀티 노드를 기본 전제로 삼게 됩니다. 이는 포스트트레이닝에는 올바른 트레이드오프이고 추론에는 잘못된 트레이드오프이며, 이는 정확히 카드가 말하는 바와 같습니다.

분명하게 밝힌 결정

오늘 직접 보유한 하드웨어에서 에이전트를 실행하려면, 24GB 빌드를 다운로드하고, 2~5포인트의 세금을 감수하며, 가중치뿐 아니라 드래프터와 프로젝터에 대한 예산도 잡으세요.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

게이트웨이가 로컬 스택에서 차지하는 위치

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

그것이 우리가 운영하는 계층입니다. 200개 이상의 호스팅 모델 전반에서 제공업체의 정가로 하나의 키로, 추가 마크업 없이; 자동 페일오버, 제공업체가 요청 처리 중 성능이 저하될 때; 라우팅 DSL은 "Bolt를 로컬에서 시도하고, 작업이 이를 초과하면 호스팅 모델로 에스컬레이션하라"를 코드가 아닌 구성으로 바꿔 줍니다. 스택의 24GB 절반은 하드웨어와 야간 컨테이너에 대한 허용도에 따라 결정됩니다. 에스컬레이션 반대편의 절반은 키를 쥔 사람이 결정합니다.

이 그림을 바꿀 수 있는 것은 무엇일까요?

두 가지인데, 둘 다 예측 가능한 일이다.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

두 번째는 두 아티팩트 중 어느 것에 대한 독립적 평가입니다. Artificial Analysis 패널은 24GB 모델을 자사의 Intelligence Index에서 21점으로 측정했으며, 속도와 비용은 공개하지 않았습니다. 가격을 견줄 기준이 없기 때문입니다. 아무도 BF16 체크포인트의 재현 가능한 실행을 전혀 공개하지 않았는데, 이는 훈련용으로 의도된 150GB 다운로드로서는 놀라운 일이 아닙니다. 누군가 그렇게 하기 전까지는 위의 두 열 사이의 격차는 자사 압축에 대한 벤더의 설명이며, 이를 읽는 정직한 방식은 증거의 형태 덕분에 마침 유난히 잘 뒷받침되는 주장으로 보는 것입니다.

이런 결과는 모델의 실수가 이미 문서화되어 있다는 점을 다시 일깨워 주기도 합니다: 이 계열 모델의 배후에 있는 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그를 함께 갖추고 있습니다.