Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: 두 열을 모두 읽으면 NVIDIA 자체 표가 말해주는 것

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB와 NVIDIA Nemotron 3.5 Lightning 30B-A3B는 같은 제품군의 두 등급으로, 10주 간격으로 출시되었으며, 벤더는 이미 두 제품을 정면으로 맞붙여 놓은 표를 공개했다. 이는 이례적이고 유용하다. 우리가 읽는 대부분의 정면 비교 표는 기자나 벤더가 유리한 비교만 골라 짜맞춘 것이지만, 이 표는 한 연구소가 자신의 더 새로운 모델을 자신의 더 오래된 모델과 공개적으로 벤치마킹한 것이며, 더 오래된 모델을 기준선으로 명시했다. 여전히 벤더가 보고한 내용이고 NVIDIA 외부의 누구도 그 표의 한 행도 재현하지 못했지만, 그 배후의 의도는 의심할 여지가 없고, 결과의 방향도 마찬가지다. Bolt는 13개 행 중 12개를 가져간다. 그것이 정확히 어느 행을 잃는지, 그리고 왜 그 행이 흥미로운 행인지 이해할 가치가 있다.

숫자보다 먼저 중요한 것은 패밀리 구조다. Nemotron 3.5 Lightning은 2026년 8월 11일 에이전트 스택의 실행 계층으로 출시되었다 — 총 30B, 활성 3B의 하이브리드로, NVIDIA가 훨씬 더 큰 Nemotron 3 Ultra에서 증류한 것으로, 특히 프런티어 모델이 계획을 세우는 동안 Lightning이 단일 GPU에서 도구 호출을 처리하도록 만들어졌다. Bolt는 완전히 다른 계보다: Ultra가 아니라 120B-A12B Nemotron 3.5 Super VL 모델에서 압축되었으며, 24GB에 들어가는 비전-언어 제너럴리스트로 존재한다. 둘 다 OpenMDW-1.1에 따른 오픈 가중치이고, 둘 다 Mamba-2 하이브리드 백본 위의 희소 전문가 혼합이며, 둘 다 추측 디코딩을 제공한다 — Lightning은 Multi-Token Prediction 헤드와 DFlash 및 DSpark 드래프터를, Bolt는 DFlash를 통해 구동되며 일곱 개의 토큰을 미리 제안하는 LiLiCorr 드래프터를 갖추고 있다.

공유된 계보는 결정을 내려야 하는 시점부터 더 이상 유용하지 않다. 두 모델이 서로 다른 질문에 답하기 때문이다. 하나는 저렴한 실행자다. 다른 하나는 로컬 범용 모델이다.

점수가 아니라 역할로 표 읽기

아래의 모든 수치는 NVIDIA 자체의 Bolt 24GB 체크포인트 모델 카드에서 가져온 것이며, 여기에는 Lightning이 베이스라인으로 기재되어 있습니다. Bolt 열은 2비트 양자화 아티팩트인 IQ2입니다. Lightning 열은 BF16이며 양자화되지 않았습니다. 이러한 비대칭성은 이 표에 관해 알아야 할 가장 중요한 단 하나의 사항이며, Bolt에 유리하게 작용합니다 — Bolt는 상위 모델 대비 약 8배 압축된 상태에서도 해당 행들에서 이기고 있습니다.

• 일반 에이전트 추론 — GDPVal-AA-V2: Bolt 28.47, Lightning 18.26. 10점 차이이며, “이 모델이 만들어진 일상적인 사무 형태의 업무에 얼마나 뛰어난가”에 가장 가까운 행이다.

• 터미널 작업 — Terminal-Bench 2.1: Bolt 50.98, Lightning 23.46. 이는 이 리더보드에서 가장 큰 격차이며 놀라운 일이 아닙니다. NVIDIA가 Lightning에 대해 제공한 자체 지침에서 Lightning을 주 에이전트로 삼아서는 안 된다고 밝히고 있기 때문입니다. 독립 평가에서는 동일 벤치마크에서 Lightning에 대해 대략 24.6을 기록했는데, 이는 벤더의 23.46에 충분히 가까워 해당 수치가 사실임을 시사합니다.

• 과학 및 지식 추론 — GPQA Diamond: Bolt 86.43, Lightning 75.57. SciCode: Bolt 41.02, Lightning 31.38. 도구 없이 치르는 Humanity's Last Exam: Bolt 25.30, Lightning 10.47. 세 가지 서로 다른 형태의 어려운 질문 전반에 걸친 일관성.

• 장문맥 추론 — AA-LCR: Bolt 64.06, Lightning 49.19. 15점 차이며, 여기서 메모리 제약은 두 모델 중 어느 쪽에도 제한 요인이 아니다.

• 웹 및 브라우징 에이전시 — BrowseComp: Bolt 66.75, Lightning 36.81. 30점 차. 표에서 가장 큰 단일 격차이며, Lightning이 자율적 실행자라는 관념과 가장 직접적으로 모순되는 항목이다.

• 도구 사용 밀도 — MCP-Atlas: Bolt 52.20, Lightning 46.4. PinchBench: Bolt 87.82, Lightning 83.43. 둘 다 위의 격차보다 더 가까운데, 이는 Lightning의 실제 설계 취지와 일치합니다: 짧고 빈도 높은 도구 단계.

• 비전 — WebArena 비전: Bolt 50.86, Lightning은 항목이 없음. 이는 보고 누락이 아니다. Lightning은 텍스트 입력, 텍스트 출력이며, 점수를 매길 비전 인코더가 없다.

Lightning이 이기는 단 하나의 행, 그리고 그것이 노이즈가 아닌 이유

AA-Omniscience 비환각: Nemotron 3.5 Lightning 68.81, Nemotron 3.5 Bolt 61.27. 같은 평가의 정확도 부문에서는 두 모델이 서로 3분의 1점 이내에 있습니다 — Bolt는 16.90, Lightning은 16.63 — 이는 비환각 부문에서의 격차가 반올림 오차가 아니라 전체 결과를 설명하는 핵심이라는 뜻입니다. 더 작고 오래되었으며 양자화되지 않은 모델이 자신이 모르는 것을 말하는 데 측정 가능할 정도로 더 신중합니다.

그것은 실제 발견이며 그럴듯한 메커니즘을 가지고 있습니다. Bolt는 양자화 인식 증류를 통한 공격적인 2비트 양자화로 자신의 풋프린트에 도달했습니다. 그 파이프라인에서 손실이 있는 부분은 바로 보정된 불확실성을 좌우하는 부분입니다. Lightning은 더 작지만 완전한 BF16 정밀도에 위치하며, 그 증류 목표는 압축률이 아니라 추론 모델이었습니다. 에이전트의 실패 모드가 행동으로 전파되는 확신에 찬 오답이라면, 이것이 가장 무겁게 따져야 할 항목입니다 — 그리고 라우팅 기교가 아무리 뛰어나도 더 많이 지어내는 모델을 고칠 수는 없습니다.

벤더들은 자사 신형 모델이 뒤지는 항목을 포함한 표를 좀처럼 공개하지 않는다. 이 표가 그런 항목을 포함하고 있다는 사실은 이 표가 순전히 홍보용만은 아니라는 작은 증거다.

서빙 비용이 진짜 두 번째 축이다

위 점수만으로 결정을 내릴 수는 없습니다. 이 두 모델은 실행 비용이 서로 다르기 때문입니다.

• 활성 파라미터 — Bolt는 토큰당 9B를 활성화하고, Lightning은 약 3B를 활성화합니다. 더 큰 모델의 경우 매 토큰마다, 영원히, 토큰당 3배의 연산이 필요합니다.

• 메모리 엔벨로프 — Bolt는 모든 것이 이미 압축된 24GB 파일이고, Lightning은 단일 GPU를 필요로 하며 RTX 5090, DGX Spark 또는 Jetson 제품에 여유롭게 들어가는 30B BF16 체크포인트입니다.

• 맥락 — 둘 다 1M 토큰으로 명시되어 있지만, 실제로는 둘 다 그보다 좁습니다. Lightning은 메모리 계산이 복잡해지기 전까지 단일 H100에서 256K를 제공하고, Bolt의 공개된 윈도는 262,144이며, 그 윈도는 KV 캐시, 이미지, 도구 결과와 동일한 24GB를 공유합니다.

• 속도 주장 — NVIDIA는 Lightning의 경우 MTP 및 DFlash/DSpark 드래프터를 통해 비슷한 크기의 모델 대비 최대 4배의 출력 속도를 주장하며, Bolt의 설계 목표로 초당 최소 80토큰의 디코딩을 내세우는데, RTX Spark의 AIPerf SPEED-Bench에서 84가 측정되었고 128GB를 갖춘 Surface Laptop Ultra에서의 llama.cpp 실행에서는 83.99가 나왔다. 둘 다 벤더 측 수치다. 어느 것도 NVIDIA 외부의 누구에 의해서도 재현되지 않았다.

• 미터링 — 둘 다 우리 쪽에서도, 우리가 안내해 드릴 수 있는 어떤 플랫폼에서도 호스팅 가격이 없습니다. 비용은 어느 쪽이든 여러분의 하드웨어에서 발생하며, 바로 이 점 때문에 활성 파라미터 수가 호스팅 비교에서보다 더 중요합니다.

패널이 측정할 수 있었던 것과 측정할 수 없었던 것

Artificial Analysis에는 Nemotron 3.5 Bolt 74B-A9B에 대한 항목이 있으며, Intelligence Index에서 21점을 부여합니다. 해당 풋프린트 클래스에서 67개 중 4위이며, 클래스 중앙값 8과 대비됩니다. 속도와 작업당 비용 필드는 N/A로 표시되는데, 호출할 호스팅 엔드포인트가 없기 때문입니다. 이 두 개의 빈칸은 이 모델의 솔직한 상태를 보여줍니다: 지능의 하한선은 독립적으로 검증되었지만, 성능의 상한선은 그렇지 않습니다.

이 글을 작성하는 시점에 Nemotron 3.5 Lightning에 대한 Artificial Analysis 항목은 없으며, 그로 인해 전체 비교는 NVIDIA가 자체적으로 제시한 자료에만 의존하게 된다. 존재하는 독립적 데이터 포인트, 즉 Terminal-Bench 2.1에서 약 24.6이라는 LLM Stats 검증은 벤더의 23.46과 일치하며, 벤더 수치를 반박하기보다는 뒷받침한다. 이는 표에 대해 안심이 되지만, 두 번째 하네스를 대체하는 것은 아니다.

실제로 선택하는 방법

설계 의도는 대부분의 경우를 벤치마크보다 먼저 결정한다. Lightning은 구조상 실행기다. NVIDIA 자체 지침은 프런티어 모델이 계획하고 Lightning이 루프를 실행하도록 두는 것이며, 표에서 Lightning의 가장 좋은 행들은 자율 에이전트 항목이 아니라 고빈도 도구 호출 항목이다. Bolt는 구조상 제너럴리스트다. 같은 표는 Bolt가 브라우징 자율성과 터미널 작업에서 훨씬 앞서 있음을 보여주는데, 이들은 Lightning이 애초에 맡도록 설계되지 않은 플래너에 가까운 작업들이다. 그리고 Bolt는 둘 중 유일하게 볼 수 있는 쪽이다.

두 모델이 모두 염두에 두고 만들어진 구성은 플래너, 실행기, 로컬 전문가입니다. 어느 체크포인트에도 호스팅 가격이 책정되어 있지 않으므로, 그 분담은 자체 하드웨어에서 이루어지고 그 앞에 있는 하나의 엔드포인트가 유용한 작업을 합니다: 짧은 도구 호출 루프를 Lightning 배포로 보내는 라우팅 규칙, 비전이 포함된 요청과 브라우저를 구동하는 요청은 Bolt로, 진정한 프런티어 추론이 필요한 것은 호스팅 모델로 보냅니다 — 모두 하나의 키 뒤에 있고, 호스팅 구간이 저하될 때 업스트림 공급자 간 페일오버를 지원합니다. 이 규칙은 모든 서비스가 아니라 구성에 존재하며, 이것이 라우팅 계층과 재작성의 차이입니다.

미해결된 문제는 단 한 번의 독립적인 실행입니다. 제3자가 Bolt에서 Terminal-Bench와 BrowseComp 격차를 재현한다면, 24GB 체크포인트는 진정으로 더 강한 범용 모델이며 30B 티어의 명분은 순수 처리량 경제성으로 좁혀집니다. 그렇지 않다면, 솔직한 해석은 2비트 양자화된 74B와 BF16 30B가 한 벤더의 표가 시사하는 것보다 더 가깝다는 것, 그리고 Lightning이 이기는 비환각 행이 카드 맨 아래라는 위치가 시사하는 것보다 더 큰 비중을 받을 만하다는 것입니다.