Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: 같은 패밀리, 상반된 배포

한 패밀리에서 나온 두 모델이 네 달 간격으로 출시되었으며, 같은 질문의 양극단을 겨냥해 만들어졌습니다. N​VIDIA N​emotron 3.5 Lightning 30B-A3B는 2026년 8월에 데이터센터 서빙을 위한 고처리량 텍스트 모델로 출시되었습니다. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 2026년 10월 15일에 노트북에 들어가는 멀티모달 에이전트로 출시되었습니다. Bolt는 총 파라미터가 Lightning의 두 배이고 활성 파라미터는 세 배이며, Lightning이 시작조차 할 수 없는 하드웨어에서 실행됩니다. 이것이 실제로 둘을 구분 짓는 차이이며, 같은 패밀리라는 유사성이 오해를 불러일으키는 지점입니다.

둘 다 같은 훈련 방식에서 나온다

N​VIDIA의 이 쌍에 대한 기술 보고서는 두 모델 모두 동일한 두 단계로 시작한다고 명시한다: 멀티 토큰 예측 헤드를 위한 1,000억 토큰 워밍업, 그다음 한 단계 더 큰 N​emotron 3 모델로부터의 1조 토큰 증류. Lightning은 N​emotron 3 Super Base에서 증류하고, Bolt는 N​emotron 3.5 Super VL 라인에서 증류한다. 그래서 Bolt는 볼 수 있고 Lightning은 볼 수 없다.

그 후 길들은 갈라지고, 그 갈라짐이 이야기의 전부다.

Lightning은 210억 토큰 규모의 장문맥 단계를 거쳐 100만 토큰으로 확장되고, 이어서 SFT 및 RLVR 후속 학습 파이프라인을 거친 뒤, DSpark, DFlash 및 MTP 추측 옵션과 NVFP4 가중치를 갖추고 H100 하나 또는 DGX Spark 하나를 단일 GPU 배포 대상으로 하는 30B 전체 / 3B 활성 텍스트 모델로 공개됩니다.

Bolt는 Star Elastic 아키텍처 탐색을 통해 1,200억 개 매개변수 규모의 부모 모델로부터 압축되고, 자사의 비전 타워에 다시 연결된 뒤, 비전 비중이 높은 지도 학습 단계를 거쳐 재학습되고, 이어서 에이전트 환경에서 종단간 강화 학습을 거친 다음, 마지막으로 양자화 인식 증류를 통해 전문가 가중치당 2.0625비트로 양자화됩니다. 여기에는 하나의 드래프터인 LiLiCorr와 하나의 배포 형태, 즉 24GB 메모리를 갖추고 다른 애플리케이션과 함께 실행할 수 있는 형태가 함께 제공됩니다.

스펙 대비, 나란히

• 파라미터 — Bolt: 총 74B, 활성 9B. Lightning: 총 30B, 활성 3B.

• 제공되는 그대로의 정밀도 — Bolt: 요소당 2.0625비트의 IQ2_XXS 전문가, NVFP4 Mamba 레이어, Q8_0 임베딩 및 어텐션. Lightning: 배포 체크포인트 전반에 NVFP4를 적용했으며, 사용자 지정을 위한 BF16 참조 릴리스도 제공합니다.

• 컨텍스트 — Bolt: 262,144 토큰. Lightning: 100만 토큰, 전용 장문 컨텍스트 학습 단계의 결과.

• 모달리티 — Bolt: 텍스트, 이미지, 동영상 입력. Lightning: 텍스트만. 각 모델에 대한 Artificial Analysis 항목이 같은 패널에서 같은 문구로 이를 명시하므로, 이는 두 모델을 별도의 단서 없이 직접 비교할 수 있는 몇 안 되는 행 중 하나가 된다.

• 호스트 하드웨어 — Bolt: RTX Spark 노트북, GeForce RTX PC, DGX Spark, DGX Station, RTX PRO 워크스테이션. Lightning: DGX Spark 또는 H100, 혹은 W4A16을 통한 Blackwell 및 Ampere.

• 추측적 디코딩 — Bolt: LiLiCorr, 1.13B 드래프터, 스텝당 7개의 드래프트된 토큰. Lightning: 저동시성 작업용 DSpark, DFlash와 MTP도 공개됨.

• 라이선스 — 두 항목 모두 OpenMDW-1.1이며, 둘 다 상업적 사용이 허용됩니다.

둘 모두 다른 누군가에 의해 측정되는 유일한 장소

이 두 모델에는 대부분의 N​emotron 패밀리가 갖지 못한 것이 있습니다: 동일한 독립 패널에 등재되어 있고, 같은 방식으로 측정된다는 점입니다. 덕분에 패밀리 내부 맞대결치고는 비교가 이례적으로 깔끔합니다.

Artificial Analysis는 N​emotron 3.5 Lightning을 13으로 평가하며 자사의 Intelligence Index에서 141개 모델 중 28위에 올렸고, N​emotron 3.5 Bolt 74B-A9B는 21으로 평가하며 자체 클래스의 67개 모델 중 4위에 올렸습니다. 이 클래스들은 동일하지 않습니다 — Bolt는 중간 규모의 오픈 웨이트 모델이고 Lightning은 소규모 모델입니다 — 따라서 순위를 직접 비교할 수는 없지만, 지수 점수는 동일한 평가에 대해 동일한 방법론으로 산출됩니다.

속도는 격차가 역전되는 지점이며, 이것이 이 두 모델에 관한 가장 결정적으로 중요한 단일 사실입니다. 패널은 Lightning을 초당 307 출력 토큰으로 측정합니다. 이 차원에서 63개 모델 중 1위입니다. 패널은 Bolt의 속도를 사용할 수 없음으로 보고하는데, 그 이유는 이를 제공하는 공개 API가 없고 패널의 속도 측정에는 그러한 API가 필요하기 때문입니다. Bolt에 대해 존재하는 유일한 처리량 수치는 NVIDIA 자체의 수치입니다: 128GB 메모리를 갖춘 Surface Laptop Ultra에서 드래프터가 연결된 상태로 AIPerf SPEED-Bench-Coding에서 초당 83.99 토큰입니다.

이것들을 함께 읽으면 제품군의 이야기가 구체화된다. 우리가 가진 수치상 Lightning은 Bolt보다 약 3.5배 빠르며, 토큰 단위로 임대할 수 있는 형태다. Bolt는 같은 지표에서 눈에 띄게 더 똑똑하고, 아무도 임대할 수 없는 머신에서 실행된다.

선택이 해결되는 세 가지 방식

워크로드가 대용량이고 텍스트만 다룬다면,Lightning은 타협안이 아니라 더 나은 도구입니다. 초당 307토큰으로 100만 토큰 컨텍스트를 처리하며, 공시된 요금이 입력 100만 토큰당 6센트, 출력 100만 토큰당 20센트라는 것은 구체적이고 유용한 특징이며, Bolt는 어떤 종류의 하드웨어에서도 그 속도나 컨텍스트를 따라잡을 수 없습니다.

워크로드가 시각적인 경우, 결정할 것이 없습니다. Bolt는 이미지와 비디오를 받아들이고 Lightning은 그렇지 않으며, 아무리 많은 컨텍스트나 처리량도 존재하지 않는 모달리티를 대체할 수 없습니다. N​VIDIA 자체 표의 WebArena 비전 행 — Bolt는 50.86, Lightning은 아예 등재되지 않음 — 은 이것이 스펙 시트에서 벤치마크로 옮겨갈 때 어떤 모습인지를 보여줍니다.

워크로드가 네트워크 없이 실행되어야 한다면, Bolt는 둘 중 해당 용도로 패키징된 유일한 제품이다. Lightning의 배포 대상은 NVFP4 체크포인트가 있는 단일 H100 또는 DGX Spark이며, 이는 서버이다. Bolt의 배포 대상은 브라우저도 실행 중인 노트북 위의 24GB 파일이다. 이 구분은 능력의 문제가 아니라 머신이 어디에 위치하는지의 문제이다.

가족이 둘 다 보내면서 얻는 것

이 두 제품에서 흥미로운 점은 한쪽이 다른 쪽을 이긴다는 게 아니다. NVIDIA가 저렴한 쪽을 먼저 만들고 나서, 저렴한 쪽이 갈 수 없는 자리에 넣기 위해 네 달을 들여 비싼 쪽을 만들었다는 점이다.

Lightning은 처리량(throughput)을 겨냥한 전략입니다: 활성 파라미터는 적고 컨텍스트는 거대하며, 하나의 GPU에서 여러 번 서빙되도록 설계되었습니다. Bolt는 밀도를 겨냥한 전략입니다: 거대한 파라미터 수를 고정된 메모리 예산에 압축하여, 단일 머신 위의 단일 사용자가 로컬에서 프런티어 에이전트 행동에 더 가까운 것을 얻도록 합니다. 두 전략은 서로 다른 비율 — GPU당 초당 토큰 대 기기당 기가바이트당 지능 — 을 최적화하며, Bolt가 Lightning의 13점에 맞서 21점을 기록한다는 사실은 Lightning의 패배가 아닙니다. 왜냐하면 Lightning은 Bolt가 존재하는 형태로는 Bolt가 만들어진 머신에 들어맞지 않을 것이기 때문입니다.

압축 논거 자체를 뒷받침하는 데이터 포인트도 하나 있다. Bolt의 벤더 표에는 Lightning이 기준선 중 하나로 포함되어 있는데, Bolt는 거의 모든 에이전트 관련 행에서 Lightning을 앞선다. Terminal-Bench 2.1에서는 50.98 대 23.46, BrowseComp에서는 66.75 대 36.81, Tau3 Banking에서는 17.01 대 9.48, GDPVal-AA-V2에서는 28.47 대 18.26이다. 이는 같은 표 안에서 자사 모델 두 개를 비교한 N​VIDIA 자체 수치이며, 솔직하게 해석하자면 120B 부모 모델을 압축한 것이 동일한 목표 크기의 30B 모델을 처음부터 학습시킨 것보다 낫다는 뜻이다. 바로 그것이 Star Elastic이 뒷받침하기 위해 만들어진 주장이다.

이것이 에이전트를 구축하는 모든 사람을 어디에 놓는가

이 조합은 승자를 가리기보다는 하나의 구도를 시사한다. Lightning은 처리량과 컨텍스트가 결정적 제약이 되는, 에이전트 작업의 대량·장문맥·텍스트 전용 중간 영역을 담당한다. Bolt는 기기를 떠날 수 없는, 지연에 관대한 로컬·시각 작업을 담당한다. 어느 쪽도 다른 쪽을 대체하지 않으며, 이 제품군에 대한 N​VIDIA 자신의 규정 — 가장 어려운 추론에는 Ultra, 처리량에는 Lightning, 엣지에는 Bolt — 은 그 경계가 실제로 존재한다는 것을 인정하는 셈이다.

두 모델 중 어느 쪽도 해결하지 못하는 것은 스택에서 로컬도 아니고 NVIDIA의 것도 아닌 부분입니다. 우리는 어느 체크포인트도 호스팅하지 않으며, OrcaRouter 카탈로그에는 Nemotron 항목이 없어 이 둘에 대해 안내할 엔드포인트나 요금도 없습니다. 게이트웨이가 혼합 스택에 기여하는 것은 그 반대편입니다. 200개가 넘는 호스팅 모델을 아우르는 하나의 키, 제공업체 목록 가격을 마크업 없이 그대로 전달해 주고, 자동 페일오버를 제공업체 성능 저하 시 적용해 주며, 라우팅 DSL을 통해 모델 간 에스컬레이션을 구성으로 기술할 수 있게 해 줍니다. Bolt와 Lightning 사이의 선택은 여러분의 하드웨어와 하네스에서 이루어집니다. 작업이 둘 모두를 초과할 때, 또는 요청이 둘 중 어느 것도 될 수 없는 모델에 도달해야 할 때 벌어지는 일은 엔드포인트 뒤에 있는 부분입니다.

어느 것을 먼저 시도해 볼까요?

24GB GPU와 오락가락하는 네트워크 연결이 있다면, Bolt가 더 흥미로운 다운로드입니다. Bolt는 더 최신이고, 멀티모달이며, 이 제품군의 다른 어떤 릴리스도 할 수 없는 일을 합니다.

DGX Spark나 H100이 있거나 지연 시간이 곧 제품인 애플리케이션을 운영한다면, Lightning은 8월부터 정식 제공되어 왔고, 동급에서 1위로 평가하는 독립적인 속도 측정 결과가 있으며, 가격도 공개되어 있고, 생태계가 약점을 찾아낼 두 달의 시간을 가졌습니다. Bolt는 하루밖에 되지 않았고, 그 드래프터는 필수적인 세 번째 다운로드이며, N​VIDIA 외부에서는 아무도 그 지연 시간을 측정하지 않았습니다.

두 진술은 동시에 사실일 수 있다. 그것이 바로 가족의 존재 이유다.

스코어보드가 측정하는 것과 배포가 실제로 마주하는 것 사이의 그 간극이 바로 이 기록이 중요한 이유입니다: 이 계열의 모델과 관련된 문서화된 AI 실패 및 에이전트 사고가 수집되는 곳은 OrcaRouter AI Incident Archive이며, 각 항목은 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그를 갖추고 있습니다.