Nemotron 3.5 Bolt E4B 4GB vs Nemotron 3.5 Bolt 74B-A9B 24GB: 같은 이름, 정반대의 기계

NVIDIA는 Bolt라는 두 모델을 8일 간격으로 출시했습니다. NVIDIA-Nemotron-3.5-Bolt-E4B-4GB는 2026년 10월 23일에 출시되었습니다: Gemma-4-E4B-it에서 사후 학습된 텍스트 전용의 총 8B 대화형 모델입니다. NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB — 대부분의 사람들이 Nemotron 3.5 Bolt라고 할 때 의미하는 모델 — 은 10월 15일에 출시되었습니다: 전문가 가중치당 2비트로 압축된 총 74B, 활성 9B의 멀티모달 에이전트입니다.

이들은 배지, 라이선스, 출시 시점을 공유한다. 그러나 모체 아키텍처, 모달리티, 컨텍스트 윈도우, 벤치마크 스위트, 용도는 공유하지 않는다. "Bolt"를 크기 사다리로 읽는 것은 이 비교가 막고자 하는 실수다.

하나는 Gemma 파생 모델입니다. 다른 하나는 압축된 120B 에이전트입니다.

그 혈통은 나머지 거의 모든 것을 설명한다.

E4B는 Google의 명령 튜닝 소형 모델인 Gemma-4-E4B-it로 시작했으며, NVIDIA는 NeMo-RL과 NeMo-Gym을 통해 검증 가능한 보상과 인간 피드백 기반 강화학습으로 이를 사후 학습시켰습니다. 아키텍처는 Gemma의 것으로, 총 8B 파라미터에 유효 4B, 텍스트 전용 입력 및 출력 경로, 64K 컨텍스트 창을 갖습니다. NVIDIA의 기여는 백본이 아니라 동작입니다.

74B는 NVIDIA 자체의 멀티모달 부모 모델인 Nemotron 3.5 Super VL 120B-A12B에서 출발했습니다. NVIDIA는 24GB 메모리 예산을 기준으로 Star Elastic이라는 라우터 기반 아키텍처 탐색을 실행하여, LatentMoE 설계에서 Mamba-2와 Transformer 레이어를 결합하고 C-RADIO v4-H 비전 인코더를 갖춘, 토큰당 90억 개의 활성 매개변수를 지닌 740억 매개변수 하이브리드 모델을 만들었습니다. 이 모델은 텍스트, 이미지, 비디오를 입력으로 받아들이며 256K 토큰의 컨텍스트를 처리합니다.

간단히 말해: E4B는 NVIDIA가 튜닝한 대화 모델이다. 74B는 NVIDIA가 압축한 에이전트 모델이다. "Bolt"라는 이름은 공유 아키텍처가 아니라 배포 목표, 즉 기가바이트당 지능을 뜻한다.

사양을 나란히

• 전체 및 활성 파라미터 — E4B의 경우 총 8B에 유효 4B, 74B의 경우 총 74B에 활성 9B.

• 아키텍처 — 소형 모델에는 Gemma-4-E4B를 사용하고, 대형 모델에는 Mamba-2 + Transformer 하이브리드 LatentMoE를 사용하며, Super VL 부모로부터의 Star Elastic 압축을 적용합니다.

• 모달리티 — E4B는 텍스트 입력, 텍스트 출력이며, 74B는 텍스트, 이미지, 비디오 입력, 텍스트 출력입니다.

• 컨텍스트 창 — E4B의 경우 입력 64K 토큰, 출력 64K 토큰; 74B의 경우 최대 256K 토큰.

• 정밀도 — E4B에 제공되는 GGUF에는 Q4_K_M을 사용하고, 74B의 경우 전문가 가중치당 약 2.0625비트의 IQ2를 사용하며, 일부 Mamba 레이어에는 NVFP4를, 임베딩에는 Q8_0을 사용합니다.

• 공개된 가중치 — E4B의 경우 Q4_K_M 6.18GB 및 BF16 15.88GB; 74B의 경우 GGUF 가중치 23.75GB와 비전 프로젝터, vLLM-ready safetensors 24.12GB, BF16 기준 149.8GB.

• 라이선스 — 둘 다 OpenMDW-1.1이며, E4B 스택의 Gemma 4 구성 요소는 Apache 2.0을 따릅니다.

• 출시일 — E4B는 2026년 10월 23일, 74B는 2026년 10월 15일.

• 런타임 — E4B의 경우 llama.cpp를 사용하며, 카드에는 빠른 시작 명령을 제공함에도 레시피가 "보류 중"으로 표시되어 있습니다. 74B의 경우 vLLM을 사용하며, 참조 레시피는 nightly 컨테이너를 커밋 해시로 고정합니다.

구매 실수를 초래하기 전에 짚고 넘어갈 만한 메타데이터 함정이 하나 있습니다. 74B 저장소의 Hugging Face 파일 위젯에는 “22B params”라고 표시되어 있지만, 모델 카드에는 총 74B, 활성 9B로 명시되어 있습니다. 모델 카드가 맞습니다. 22B는 오래된 사이드바 필드일 뿐 세 번째 변형이 아니며, 모델 카드 대신 위젯을 기준으로 하드웨어를 산정하는 사람은 오히려 반대 방향으로 크게 잘못 판단하게 됩니다.

벤치마크 테이블들은 단 하나의 행도 공유하지 않습니다.

두 가지를 비교하기 전에 이해해야 할 가장 중요한 점이며, 대부분의 보도가 빠뜨리는 부분이기도 합니다.

NVIDIA는 74B를 GDPVal-AA-V2, Terminal-Bench 2.1, Tau3 Banking, HLE, AA-Omniscience, SciCode, GPQA Diamond, AA-LCR, PinchBench, MCP-Atlas, BrowseComp, WebArena에서 평가했습니다. E4B는 MultiChallenge, RoleBench, RoleMRC, EQ-Bench v3, Brevity, BFCL-v3, When2Call, ToolSandbox, Tau2-Bench, IHEval, AgentIF, StructEval-T, IFBench, InverseIFEval, RULER, LongMemEval, LongBench v2, SysBench, GaRAGe, RAGTruth, RelyToolBench에서 평가했습니다.

겹치는 부분은 없습니다. 두 표에 모두 나타나는 행은 단 하나도 없습니다. 두 스위트는 심지어 에이전틱 벤치마크의 서로 다른 버전을 사용합니다 — E4B에는 Tau2, 74B에는 Tau3 Banking — 따라서 가장 비슷해 보이는 쌍도 비교할 수 없습니다.

즉, "74B가 E4B보다 X점 더 우수하다"라는 형식의 어떤 주장도 조작된 것입니다. NVIDIA는 공통 하네스를 공개하지 않았고, 제3자도 이를 실행한 적이 없습니다. 표가 뒷받침하는 것은 설계 의도에 관한 진술입니다:

• 74B는 터미널 사용, 브라우징, 과학 코딩, 대학원 수준 질문, 장문 맥락 추론처럼 업무와 유사한 작업에서 측정되었습니다. 공개된 가장 강력한 지표는 BrowseComp 66.75, Terminal-Bench 2.1 50.98, GPQA Diamond 86.43, AA-LCR 64.06입니다.

• E4B는 대화처럼 보이는 과제—페르소나 유지, 지시 계층, 도구 호출 시점 파악, 도구 출력에 근거하기—에서 측정되었습니다. 가장 강한 항목은 IHEval 84.79, RoleBench 67.05, RelyToolBench 63.16, When2Call 63.36입니다.

두 세트 모두 벤더가 보고한 값이며 재현되지 않았습니다. 74B의 카드에는 따로 짚고 넘어갈 만한 변수가 하나 더 있습니다. NVIDIA는 이 모델을 PinchBench에서 동급 최고의 오픈 모델이라고 설명하지만, 자사 표에는 Qwen3.6-35B-A3B가 88.07로 Bolt의 87.82를 앞서는 것으로 나와 있습니다. 이는 0.25점 차이이며, 그 주장은 자사 각주 앞에서 그다지 힘을 발휘하지 못합니다.

하드웨어까지 첨부된 속도 주장

처리량은 두 카드가 모두 수치를 공개하는 유일한 항목인데도, 여전히 나란히 비교할 수 없다.

• RTX 5070 12GB에서 E4B — 초당 106.2~133.4토큰, 첫 토큰까지 548~1,238ms, VRAM 3.5~4.3GB, 배치 1에서 llama.cpp와 CUDA로 측정.

• Jetson Orin Nano 8GB에서 E4B — 초당 13.0~15.5토큰, 첫 토큰까지 5.8~6.3초. 동일한 모델을, "4GB" 제안이 실제로 겨냥하는 하드웨어에서.

• RTX Spark에서 74B 모델 — LiLiCorr drafter를 연결하고 단계당 7개의 추측 토큰을 사용해 AIPerf SPEED-Bench-Coding에서 초당 83.99 토큰

74B 수치는 별도의 1.13B 드래프터 체크포인트, 특정 벤치마크, 그리고 두 E4B 실행 중 어느 것과도 다른 하드웨어를 가정합니다. E4B 수치는 드래프터가 없음을 가정합니다. 133과 84를 비교해 작은 모델이 더 빠르다고 결론 내리는 것은 기술적으로는 맞지만 실질적으로는 무의미합니다. 하나는 데스크톱 GPU에서의 40억 개 유효 파라미터 모델이고, 다른 하나는 추측성 디코더를 덧붙인 다른 머신에서의 90억 개 활성 모델이기 때문입니다.

숫자가 실제로 보여주는 것은 이 트레이드오프의 형태다. E4B는 첫 토큰까지의 시간(time to first token)을 위해 설계됐고, 74B는 초당 84토큰이면 충분한 지속적인 에이전트 작업을 위해 설계됐다. Orin Nano 행은 주의할 지점이다. 임베디드 하드웨어 위의 4GB 모델이라고 해서 자동으로 실시간 대화형 모델이 되는 것은 아니다.

메모리: 4GB와 24GB는 파일이 아니라 엔벨로프입니다

두 이름 모두 메모리 타깃을 사용하며, 어느 숫자도 다운로드가 아닙니다.

• E4B — 6.18GB Q4_K_M GGUF입니다. NVIDIA는 자체 RTX 하드웨어에서 배치 1로 실행했을 때 VRAM을 3.1~4.3GB로 측정합니다. 이 카드는 4GB 파일을 공개하지 않습니다.

• 74B — 22.02GB의 GGUF 가중치와 별도의 1.73GB 비전 프로젝터로 총 23.75GB이며, vLLM-ready safetensors 빌드에서는 24.12GB입니다. 2.0625비트 익스퍼트 양자화가 24GB 범위를 가능하게 합니다.

• BF16 빌드 — E4B는 15.88GB, 74B는 63개 샤드에 걸쳐 149.8GB입니다. 전체 정밀도 변형은 배포용이 아니라 포스트 트레이닝용이며, 74B의 카드에는 이 점이 명시되어 있습니다.

저장 공간 격차는 배포 정밀도에서 대략 4:1, 전체 정밀도에서 대략 9:1입니다. VRAM 격차가 매개변수 격차보다 작은 이유는 74B가 압축 비용을 크기가 아니라 비트로 치르기 때문입니다.

모달리티와 맥락은 파라미터 수보다 더 중요한 결정 요인입니다.

64K 텍스트 창과 256K 멀티모달 창은 한계만 다른 같은 제품이 아니다.

74B는 이미지나 동영상을 보고 이에 따라 행동할 수 있습니다. 사양에는 RGB JPEG 또는 PNG 입력, 최대 2분의 MP4 동영상, 1080p에서 초당 1프레임 또는 720p에서 초당 2프레임이라는 지침이 명시되어 있습니다. 스크린샷, 차트, 양식, 카메라 피드를 읽고 본 내용을 바탕으로 도구를 호출할 수 있습니다. 바로 이 능력이 74B를 웹 브라우징과 데스크톱 작업을 위한 에이전트로 만듭니다.

E4B는 볼 수 없습니다. 텍스트를 입력받아 텍스트를 반환하며, 64K 윈도는 검색 성능에서 동종 모델보다 분명히 약합니다. RULER는 86.99로 Qwen3.5 4B의 95.15에 못 미치고, LongBench v2는 50.50으로 59.93에 뒤집니다. 애플리케이션에서 긴 문서나 스크린샷을 계속 화면에 유지해야 한다면, 페르소나 점수가 아무리 좋아도 E4B는 잘못된 모델입니다.

각각 누구를 위한 것인지

E4B는 인터페이스 계층을 위한 것입니다. 대화형 캐릭터, 음성 비서, 임베디드 기기 에이전트, 스크립트를 선택해 말해야 하는 로봇, 그리고 모델이 워크스테이션보다 저렴한 하드웨어에서 수백 밀리초 안에 응답해야 하는 모든 애플리케이션이 여기에 해당합니다. NVIDIA의 데모는 그 의도를 구체적으로 보여 줍니다: Jetson Orin Nano에서 Reachy Mini 로봇이 E4B를 사용해 애니메이션 스크립트를 선택하는 동안 별도의 비전 모델이 인식을 처리하고, 대장장이 NPC는 결제를 확인하고, 레시피를 조회하고, 재료를 모으고, 아이템을 건네줍니다.

74B는 작업 계층을 위한 것입니다. 브라우징하고, 코딩하고, 데이터를 분석하고, 백그라운드 작업을 모니터링하고, API를 호출하는 상시 가동 개인 에이전트입니다. RTX Spark, DGX Spark, RTX PRO 워크스테이션, 그리고 충분한 메모리를 갖춘 GeForce RTX 카드에서 실행되며, 24GB 예산 안에서 다른 애플리케이션들과 나란히 구동되도록 설계되었습니다. 이 모델의 벤치마크 프로파일 — BrowseComp, Terminal-Bench, GPQA, AA-LCR — 은 대화를 이어가는 모델이 아니라 작업을 완수하는 모델의 프로파일입니다.

둘은 서로를 대체할 수 없습니다. 사실적인 NPC를 원하는 게임 스튜디오에 74B 멀티모달 에이전트는 필요하지 않으며, 웹페이지를 읽고 터미널 명령을 실행해야 하는 에이전트 플랫폼은 텍스트 전용 4B 대화형 모델을 사용할 수 없습니다.

두 모델 패밀리가 배포에 시사하는 점

흥미로운 아키텍처적 결과는 NVIDIA가 사다리가 아니라 포트폴리오를 내놓았다는 점입니다. E4B는 반사 계층을, 74B는 로컬 작업 계층을, Super VL 120B-A12B는 더 무거운 멀티모달 사례를 담당합니다. 즉, 하나의 라이선스 패밀리 아래에 세 가지 서로 다른 메모리 예산과 세 가지 서로 다른 역할이 있는 것입니다.

대부분의 애플리케이션에는 여전히 내려받을 수 없는 네 번째 계층이 필요합니다. 로컬 하드웨어의 한계를 넘는 요청을 처리할 프런티어 모델, 또는 로컬 모델에 없는 모달리티를 담당할 두 번째 공급업체입니다. 공급업체 정가 대비 0% 마크업, 자동 장애 조치(공급업체 성능 저하 시)를 제공하는 하나의 API로 이를 라우팅하면 200개 이상의 모델을 활용하면서 로컬 Bolt는 빠른 경로로, 호스팅 모델은 예외로 남길 수 있습니다. 다른 방법은 로컬 계층 위의 모든 모델마다 별도의 통합, 키, 청구서를 두는 것입니다.

가족 문제를 해결하려면 무엇이 필요할까요?

한 번의 실행. 두 Bolts를 동일한 하네스에 통과시켜 동일한 과제—대화형 세트, 에이전트형 세트, 멀티모달 세트—를 수행하게 하고, 그 결과 행을 공개하라. NVIDIA에는 체크포인트와 평가 스택, 그리고 그럴 유인이 있다. 그런데도 NVIDIA는 대신 두 개의 별도 표를 공개하기로 했다.

그것이 존재하기 전까지, 방어 가능한 해석은 이것이다: 74B는 NVIDIA가 측정하기로 선택한 작업들에서 설계상 그리고 증거상 더 유능한 모델이다. E4B는 24GB 에이전트가 터무니없고 4GB 대화형 모델이 정확히 들어맞는 대규모 인터페이스 부류에 더 적합한 모델이다. 상자에 붙은 이름은 같다. 안에 있는 기계는 다르다.