Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: 같은 레시피, 두 가지 메모리 상한

NVIDIA Nemotron 3.5 제품군 계보에서 양쪽 모두 같은 팀이 같은 작업을 위해 서로 다른 두 가지 크기로 만들었고, 공급사가 이미 직접 일대일 비교까지 수행한 유일한 비교입니다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB와 NVIDIA Nemotron 3.5 Lightning 30B-A3B는 둘 다 추측 디코딩 헤드를 갖춘 Mamba-2 하이브리드 전문가 혼합(MoE) 체크포인트이며, 둘 다 상업적 사용을 위해 OpenMDW-1.1로 공개되었고, 둘 다 데이터 센터에서 임대하는 대신 이 글을 읽는 사람이 직접 실행하도록 의도된 모델입니다. Lightning은 2026년 8월 11일에 출시되었습니다. Bolt의 가중치는 2026년 10월 7일에 공개되었고 NVIDIA는 10월 15일에 이를 발표했습니다.

차이를 만드는 것은 메모리 상한선입니다: 하나는 24GB, 다른 하나는 양자화된 형태로 대략 16GB이며, 둘 사이의 Artificial Analysis Intelligence Index 8점 차이가 바로 그 상한선이 확보해 주는 것입니다.

하나의 레시피, 두 가지 크기로 실행

Lightning이 먼저 등장했고, 이는 전체 3.5 세대가 따르는 구조를 확립했습니다: Mamba-2 상태 공간 블록을 전문가 혼합(mixture-of-experts) 및 어텐션 레이어와 인터리브하는 하이브리드 스택, 모델이 한 번에 여러 토큰을 초안하고 병렬로 검증할 수 있게 하는 Multi-Token Prediction 헤드, 그리고 추측적 디코딩을 연구 트릭이 아닌 지원되는 구성으로 만드는 별도의 동반 드래프터 — 저동시성 데이터센터 배포를 위한 DSpark, DFlash, 그리고 나중에 LiLiCorr 드래프터 — 로 구성됩니다. Nemotron 3 Ultra 교사 모델로부터의 증류가 레시피의 나머지 절반입니다.

Bolt는 훨씬 더 빡빡한 예산을 겨냥한 동일한 레시피다. Bolt의 74B 매개변수는 NVIDIA의 라우터 기반 아키텍처 탐색인 Star Elastic에 의해 24GB로 압축된다. Star Elastic은 부모 체크포인트를 입력으로 받아, 지식 증류 손실을 최소화하면서 엄격한 배포 풋프린트를 충족하는 계층별 전문가 수와 MoE 중간 폭을 탐색한다. Bolt의 경우 탐색은 배치 크기 1, 128K 컨텍스트에서 24GB 미만으로 제한되었고, 전문가 top-K는 부모의 22에서 9로 낮아졌으며, 이후 전문가 가중치는 정확도를 회복하기 위한 양자화 인식 증류를 적용해 요소당 2.0625비트의 IQ2-XXS로 양자화되었다. Mamba 계층은 NVFP4, 임베딩과 출력 계층은 Q8_0을 사용한다.

Bolt의 부모는 Lightning이 아닙니다. 바로 같은 날 N​VIDIA가 출시한 1,200억 매개변수 멀티모달 모델인 N​emotron 3.5 Super VL 120B-A12B이며, 이것이 Bolt에는 C-RADIO v4-H 비전 인코더가 탑재되고 Lightning에는 탑재되지 않은 이유입니다.

스펙 대비, 양쪽 모두 한 줄에

• 전체 및 활성 파라미터 — Bolt: 전체 74B, 토큰당 활성 9B. Lightning: 전체 30B, 토큰당 약 3B 활성.

• 아키텍처 — Bolt: Mamba-2–Transformer 하이브리드 LatentMoE와 C-RADIO v4-H 비전 인코더. Lightning: 어텐션을 갖춘 Mamba-2 하이브리드 MoE, 비전 타워 없음.

• 정밀도와 풋프린트 — Bolt: 요소당 2.0625비트의 IQ2로, 24GB 미만으로 패킹됩니다. Lightning: BF16, NVFP4 및 기타 양자화 빌드는 별도로 공개됩니다.

• 컨텍스트 — Bolt: 최대 256,000토큰이며, 개별 배포 레시피는 그보다 적게 사용해도 됩니다. Lightning: 원칙적으로 최대 1,000,000토큰이며, 단일 H100에서 실질적인 상한은 대략 256,000토큰입니다.

• 입력과 출력 — Bolt: 텍스트, 이미지, 동영상 입력, 텍스트 출력. Lightning: 텍스트 입력, 텍스트 출력.

• 라이선스 — 둘 모두 OpenMDW-1.1이며, 상업적 및 비상업적 사용에 대해 N​VIDIA의 승인을 받았습니다.

• 추측 디코딩 — Bolt: DFlash를 통한 LiLiCorr 드래프터, 참조 레시피에서 7개의 추측 토큰. Lightning: MTP 헤드에 DFlash 및 DSpark 드래프터.

• 인텔리전스 지수 — Bolt: 21.4, 동급 크기 67개 중 4위, Artificial Analysis가 독립적으로 측정. Lightning: 12.9, 독립적으로 측정.

• 가격 — Bolt: 어디에도 종량제 요금이 없습니다. Artificial Analysis는 입력 또는 출력 가격을 명시하지 않으며, 공개된 호스팅 엔드포인트도 없습니다. Lightning: Artificial Analysis가 추적한 기준으로 백만 입력 토큰당 $0.06, 백만 출력 토큰당 $0.20이며, 캐시된 입력은 약 $0.006입니다.

• 출력 속도 — Bolt: 독립적으로 측정된 수치가 공개되지 않았습니다. Lightning: 초당 출력 토큰 305개, 첫 토큰까지 0.57초로, 두 수치 모두 독립적으로 측정된 것이며 패널 보드에서 가장 빠른 수치 중 하나입니다.

벤더가 직접 내놓은 정면 비교, 주의 깊게 읽어보세요

Bolt에 대한 NVIDIA의 모델 카드는 Lightning이 세 가지 베이스라인 중 하나로 등장하는 표를 공개하는데, 그 표는 점수판이라기보다 하나의 논증으로 읽을 만하다. 왜냐하면 이 회사는 자사의 새 모델이 이기는 벤치마크를 선택했기 때문이다.

• Terminal-Bench 2.1 — Bolt 50.98 대 Lightning의 23.46. 둘 다 벤더가 실행했으며, 둘 다 BF16 Lightning 빌드에서 측정되었습니다.

• GPQA Diamond — Bolt 86.43 대 Lightning 75.57.

• BrowseComp — Bolt 66.75 대 Lightning의 36.81.

• 도구 없이 HLE — Bolt 25.30 대 Lightning의 10.47.

• PinchBench — Bolt 87.82 대 Lightning 83.43으로, 다른 항목들보다 훨씬 좁은 격차이며, 해당 벤치마크에서 Bolt가 동급 1위 오픈 모델이라는 NVIDIA의 주장과 일치합니다.

• AA-Omniscience 비환각 — Bolt 61.27 대 Lightning의 68.81. 이 항목은 Lightning이 이기며, 그럼에도 NVIDIA가 공개하기로 선택한 행이기도 한데, 이는 이 표에 유리한 점이다.

• AA-Omniscience 정확도 — Bolt은 16.90, Lightning은 16.63. 사실상 동률이며, 절대적인 수치로 볼 때 이 표에서 가장 약한 숫자 쌍이다.

그 목록의 모든 수치는 모델 카드에 공급업체가 보고한 것이며 재현되지 않았다. 이후 Artificial Analysis가 두 지수 점수를 독립적으로 측정했는데 — 21.4와 12.9 — 방향성은 일치하며, 이는 오늘날 말할 수 있는 최선이다.

더 작은 모델이 더 나은 답인 경우

인덱스 격차는 실재하며, 그것이 유일한 축도 아니다. 라이트닝은 특정 배포 환경에서 중요한 세 개의 행에서 우위를 차지한다.

그것은 Bolt 쪽에서 아무도 측정하지 않은 배수만큼 더 빠릅니다. 초당 305 출력 토큰과 1초 미만의 첫 토큰 시간은, 아직 측정되지 않은 2비트 74B 체크포인트가 현재 도달할 수 있다고 가정할 수 있는 그 어떤 것과도 차원이 다른 반응성이며, 게다가 이는 측정된 값입니다. LiLiCorr 드래프터가 활성화된 상태에서 AIPerf SPEED-Bench-Coding상 Bolt 자체의 공개 처리량인 초당 83.99토큰은 NVIDIA의 연구 페이지에서 노트북급 머신을 기준으로 한 것이며, 이 패널의 장비와는 비교할 수 없습니다.

컨텍스트가 네 배입니다. 100만 토큰 대 256,000토큰이고, 그 차이는 독립적인 장문 컨텍스트 검색 점수에서 드러납니다. NVIDIA 표에서 Lightning은 AA-LCR에서 49.19점, Bolt는 64.06점을 기록합니다. Bolt가 장문 컨텍스트를 더 잘 활용하지만, 둘 중 100만 토큰 윈도우를 내세우는 쪽은 Lightning뿐입니다. 따라서 작업 부하가 "저장소 전체 읽기"라면, 그 안의 검색 품질보다 상한이 더 중요할 수 있습니다.

그것은 둘 중 가격이 있는 유일한 쪽이다. Lightning은 백만 토큰당 입력 $0.06, 출력 $0.20에 이용할 수 있으며, 이는 이를 하드웨어 프로젝트가 아니라 호출 가능한 인프라로 만든다. 아무도 Bolt의 호스팅 요금을 공개하지 않았으므로, 그것을 실행하는 유일한 방법은 그 기계를 직접 소유하는 것이다.

Lightning이 할 수 없는 것은 보는 것입니다. Lightning은 텍스트 전용이며, Bolt는 C-RADIO v4-H 인코더를 통해 이미지와 비디오를 받아들이고, Lightning이 아예 진입하지 못한 WebArena 비전에서 50.86점을 기록합니다. 에이전트가 스크린샷을 읽거나 PDF를 열거나 브라우저를 구동한다면, 그 행 하나만으로 선택이 결정됩니다 — 그리고 그 행은 Bolt의 파라미터 수가 아니라 Bolt의 Super VL 계보에서 비롯된 행입니다.

Bolt를 실제로 운영하는 데 드는 비용

NVIDIA의 24GB 체크포인트를 위한 레퍼런스 서빙 레시피는 붙여넣는 단일 명령어가 아닙니다. 이 레시피는 특정 vLLM 나이틀리 이미지를 고정하고, b12x 커널 패키지를 설치한 뒤 커널을 다운로드하며, 추론 파서 플러그인 파일을 별도로 가져온 다음, v2 모델 러너, 선형 및 MoE 백엔드를 b12x로, 어텐션 및 Mamba 백엔드를 FlashInfer로 설정하고, Mamba 캐시 dtype을 명시적으로 지정하며, 청크드 프리필 플래그와 7개의 드래프트 토큰을 가진 LiLiCorr 드래프터를 가리키는 추측 디코딩 구성을 설정합니다. 도구 호출 및 추론 파서는 명시적으로 이름이 지정되며, 미디어 제한은 요청당 이미지 하나와 비디오 하나로 제한하고 비디오 프루닝 비율은 0.5입니다.

Lightning의 배포 방식은 Docker 컨테이너, OpenAI 호환 엔드포인트, 그리고 호스팅 제공업체에서도 백만 토큰당 6센트에 얻을 수 있는 모델 이름입니다. 실제로 그 차이가 비교의 전부입니다: Bolt는 주말 동안의 작업과 직접 소유한 머신이고, Lightning은 오후 한나절과 청구서입니다.

어떻게 선택할지, 그리고 무엇이 그것을 결정지을지

워크로드가 텍스트이고, 지연 시간 예산이 빠듯하며, 컨텍스트 요구 사항이 크거나 하드웨어를 구매하기보다 토큰당 비용을 지불하는 편이 낫다면 Lightning을 선택하세요. 독립적인 프로필 — 동급에서 측정된 가장 빠른 출력 속도, 1초 미만의 첫 토큰, 공개된 가격 — 덕분에 제품군에서 가장 위험 부담이 낮은 옵션이며, 더 낮은 지능 점수는 그에 맞게 가격이 책정되어 있습니다. 또한 소규모 로컬 실행기를 더 큰 호스팅 플래너와 짝지을 계획이라면 올바른 기본값이며, 이는 바로 N​VIDIA가 이 제품을 포지셔닝하는 방식입니다.

에이전트가 픽셀을 다루거나 네트워크 없이 실행된다면 Bolt를 선택하세요. 비전 행은 Bolt에만 독점적으로 제공되며, 74B 규모 추론은 8 인덱스 포인트 앞서고, 24GB 용량은 이 제품군에서 74B 교사 증류 체크포인트를 단일 소비자급 가속기에 올릴 수 있는 유일한 구성입니다. GPU 호스팅 플래너를 로컬에서 실행하고 있으며, 아직 예측할 수 없는 지연 시간으로 그 대가를 치르고 있다는 점을 받아들이세요.

두 아키텍처 중 호스팅되는 쪽의 경우, OrcaRouter는 우리가 실제로 라우팅하는 모델들을 공급자 정가에 0퍼센트 마크업을 추가한 가격으로 단일 키 뒤에 둡니다, 그리고 공급자 전반에 걸친 자동 페일오버는 업스트림 용량 문제가 표면화되는 대신 재시도된다는 것을 의미합니다. 우리는 어떤 N​emotron 모델도 호스팅하지 않습니다 — 카탈로그는 가정한 것이 아니라 확인했으며, 해당 제품군은 그 안에 없습니다 — 따라서 이 비교의 로컬 측면은 우리가 하는 어떤 일에도 영향을 받지 않습니다. 라우팅된 설정이 사 주는 것은 평가하는 동안 플래너를 위한 플랜 B이며, 이는 여기서 중요한데, 이 두 체크포인트 중 어느 것도 프로덕션 경로의 규모를 가늠할 기준으로 삼을 만한 공개된 독립 지연 시간 프로필을 갖고 있지 않기 때문입니다.

선택을 확정할 것은 아직 존재하지 않는 하나의 숫자다: 24GB 체크포인트에서 배치 크기 1로 수행한 독립적인 처리량 및 지연 시간 실행 결과다. 누군가 그것을 공개하기 전까지, Bolt에 대한 근거는 Lightning이 따라올 수 없는 두 가지 — 파라미터 규모와 시야 — 에 전적으로 달려 있고, Lightning에 대한 근거는 독립적으로 측정된 네 개의 숫자에 달려 있다.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.