Nemotron 3.5 Bolt E4B 4GB: 실제로 출시된 것은 무엇이며, 이름이 왜 오해를 부르는가

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB는 2026년 10월 23일 Hugging Face에 공개되었는데, 이에 대해 가장 먼저 짚을 것은 산수입니다. 파일 크기는 6.18GB입니다. 이름은 4GB라고 말합니다. 두 숫자 모두 실제이며 서로 다른 것을 측정하고, 그 둘 사이의 격차가 이번 릴리스에서 가장 유용한 사실입니다.

NVIDIA의 기술 블로그는 4GB를 이 모델의 대상 워크로드에 대해 의도된 메모리 범위라고 부릅니다. 이는 애플리케이션이 모델 옆에서 실행되는 동안 모델이 차지해야 할 예산입니다. 이는 파라미터 수가 아니며 다운로드 크기도 아닙니다. 체크포인트 자체는 총 8B이고 유효 파라미터는 4B이며, Gemma-4-E4B-it로부터 사후 학습되었고 정확히 두 가지 정밀도로 공개되었습니다. 15.88GB BF16 빌드와 6.18GB Q4_K_M GGUF입니다. 기기에 넣어 둘 4GB 파일을 찾아 여기까지 왔다면, 저장소에는 그런 파일이 없습니다.

그 점은 분명히 말할 가치가 있습니다. 이번 릴리스의 나머지 부분은 유난히 명료하기 때문입니다. 모델 카드는 상세하고, 기술 보고서는 공개되어 있으며, 측정된 지연 시간 표는 네 가지 기기를 다룹니다. 빠져 있는 것은 독립적인 검증이며, 모델 카드 자체도 그렇게 밝히고 있습니다.

공개된 정보로 재구성한 릴리스

이것은 출시되지 못했습니다. 각주로 언급된 뒤 블로그 게시물이 되었습니다.

• 2026년 10월 5일 — Q4_K_M 및 BF16 빌드용 Hugging Face 리포지토리가 생성되었습니다. 둘 다 가중치가 채워지지 않았습니다.

• 2026년 10월 15일 — NVIDIA가 Nemotron 3.5 제품군을 발표합니다: Super VL 120B-A12B와 Bolt 74B-A9B 24GB, 둘 다 당일 출시됩니다. E4B에 대해서는 두 문장과 날짜만 언급됩니다: 10월 23일 출시 예정.

• 2026년 10월 23일 — Q4_K_M 및 BF16 가중치가 공개되고, 모델 카드가 게시되며, NVIDIA의 연구소가 기술 블로그와 기술 보고서를 올립니다. 기업 보도자료는 없으며, 10월 15일 발표 이후 이어진 출시 관련 보도는 이번 건에서는 다시 이어지지 않습니다.

따라서 "조용히 출시됐다"는 표현은 정확하지만, "비밀리에"는 사실과 다르다. NVIDIA는 모델 이름을 공개하고 날짜를 명시했으며, 당일 공식 문서까지 제대로 남겼다. 다만 하지 않은 일이 하나 있는데, 바로 E4B를 형제 모델들을 취재했던 같은 기자들 앞에 내놓지 않았다는 점이다. 처음 몇 주 안에 이 글을 읽는 사람에게 실질적으로 중요한 점은, 아래에 나오는 거의 모든 주장의 출처가 결국 단 하나, NVIDIA로 귀결된다는 것이다.

4기가바이트는 다운로드가 아니라 예산이다

저장소를 이름이 아니라 직접 살펴보면 공개된 파일 크기는 명확합니다.

• Q4_K_M GGUF — 6,180,446,208바이트, 즉 10진수 기준 6.18GB로, Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf라는 단일 파일에 들어 있습니다.

• BF16 safetensors — 15,882,494,698바이트, 즉 15.88GB이며, 단일 샤드에 들어 있고, 추가로 110MB의 고정된 shared-KV 파일이 있습니다.

• 4GB 아티팩트는 없습니다 — 저장소에 더 작은 양자화가 없고, 카드도 이름에 있는 숫자에 맞는 파일을 공개하지 않습니다.

NVIDIA가 실제로 공개하는 것은 네 개 장치에서의 batch-1 llama.cpp 측정값이며, 4GB 주장이 구체화되는 곳이 바로 그 표입니다:

• RTX 5070 12GB — VRAM 3.5~4.3GB, 첫 토큰까지 걸리는 시간 548~1,238ms, 초당 106.2~133.4토큰.

• RTX Spark 32GB — VRAM 3.1~4.2GB, 첫 토큰까지 930~1,988ms, 초당 52.0~67.0토큰.

• Jetson Orin Nano 8GB — VRAM 4.2~4.9GB, 첫 토큰까지 5,785~6,259ms, 초당 13.0~15.5토큰.

• Jetson AGX Orin 32GB — VRAM 4.2~5.0GB, 첫 토큰까지 3,687~4,091ms, 초당 20.3~24.0토큰.

VRAM 수치는 6.18GB 파일 크기보다 낮으며, 이는 해당 실행에서 런타임이 전체 파일을 GPU에 상주시켜 유지하지 않는다는 뜻입니다. 이 카드는 그 메커니즘을 설명하지 않으며, 여기서는 억지로 메커니즘을 만들어내지 않는 것이 좋습니다. 메모리 매핑된 가중치, 부분 오프로드, KV 캐시 크기 산정은 모두 상호작용하며, NVIDIA는 그 분담 방식을 공개하지 않았습니다. 말할 수 있는 것은 4GB 한도가 특정 하드웨어와 특정 런타임에서 측정된 결과이지, 다운로드 자체의 속성은 아니라는 점입니다.

음성 비서가 판매 포인트라면 Orin Nano 행은 두 번 읽어봐야 할 항목이다. 초당 13~15토큰에 첫 토큰까지 거의 6초가 걸린다는 것은 임베디드 에이전트로는 쓸 만하지만 실시간 대화 상대로는 형편없다는 뜻이다. RTX 5070 행은 정반대다. 데스크톱 GPU에서 대화형 사용에 충분할 만큼 빠르다.

NVIDIA가 Gemma 4 E4B에서 실제로 바꾼 것

아키텍처는 전면적으로 계승되었다. 이는 Gemma-4-E4B로, 총 8B 규모의 믹스처이며 유효 파라미터는 4B이고, NVIDIA의 기여는 새로운 백본이 아니라 사후 훈련이다. 모델 카드에서는 이 작업을 NeMo-RL과 NeMo-Gym을 통한 검증 가능한 보상 및 인간 피드백 기반 강화 학습으로 기재하며, 도구 호출 및 스키마, 지시 따르기 및 계층 구조, 구조화된 출력, 자유 형식 포맷팅, 생성형 보상 모델링 전반을 포함한다. 훈련 배치는 비추론 샘플 대 추론 샘플 비율이 2:1이었고, NVIDIA는 장황함을 제어하기 위해 길이 페널티를 늘렸다 — 이 세부 사항은 나중에 벤치마크 표에 나타난다.

Q4_K_M 빌드는 약 100만 토큰의 RL 롤아웃에 대해 imatrix 캘리브레이션을 사용하여 llama.cpp로 생성되었습니다. 또한 추측 디코딩을 위한 DFlash 드래프터도 있으며, NVIDIA에 따르면 이는 Gemma-4-E4B의 원래 다중 토큰 예측 드래프터보다 최대 21% 더 높은 처리량을 제공했습니다. 이 드래프터는 별도의 리포지토리이며, 확인 시점에 익명 요청에 HTTP 401을 반환했으므로 당일 다운로드가 아니라 추가 접근 단계로 간주하세요.

채팅 템플릿 스위치 두 개가 동작의 대부분을 처리합니다. enable_thinking은 추론을 켜거나 끄고 런타임 사고 예산을 받아들입니다; conversational_mode는 짧고 형식이 적은 답변을 위한 음성 대화 시스템 지시를 추가합니다. 두 번째 스위치가 바로 그 단서입니다. 이 모델은 분석으로 컨텍스트 창을 채우는 것이 아니라 대화하도록 만들어졌습니다.

컨텍스트는 입력 64K, 출력 64K입니다. 언어 커버리지는 Hugging Face 메타데이터에서 34개, 기술 블로그에서 35개로 — 작은 불일치일 뿐 본질적인 문제는 아니며, 포스트트레이닝 카드에서는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어를 주요 언어로 명시합니다.

라이선스는 단일 문서가 아니라 중첩 구조입니다. NVIDIA의 기여분에는 OpenMDW-1.1이, Gemma 4 구성 요소에는 Apache 2.0이 적용됩니다. 모델 카드에는 이 모델이 상업적 또는 비상업적 용도로 사용 가능하다고 명시되어 있습니다. OpenMDW는 허용적 라이선스이지만 OSI 승인을 받은 것은 아니며, 이 점은 개발자보다 법무팀에 더 중요하게 작용합니다.

벤치마크 표를, 그 표에 명시된 모델들과 대조해 읽기

NVIDIA는 일관된 NeMo-Gym 하네스에서 Gemma4 E4B-it, Qwen3.5 4B, 자사 Nemotron 3 Nano-4B를 대상으로 모델을 평가했습니다. 아래의 모든 수치는 벤더가 보고한 것이며 재현되지 않았습니다. 카드에는 해당 수치가 "벤더가 자체 보고한 수치와 다를 수 있다"고 적혀 있는데, 이는 정직한 단서이면서 동시에 비교 대상이 NVIDIA가 선택한 것이라는 점을 상기시키는 것이기도 합니다.

성과는 대화와 제어에 집중되어 있습니다:

• RoleBench Custom — Bolt E4B 67.05 대 Qwen3.5 4B 53.66, Gemma4 E4B-it 49.95, Nano-4B 12.02. 이는 페르소나 벤치마크이며, 격차는 표에서 가장 넓습니다.

• IHEval, 명령 계층 구조 — 60.57, 67.04, 51.31 대비 84.79. 가장 가까운 경쟁자보다 17점 앞선 것은 이 규모에서는 이례적이다.

• When2Call 멀티턴 — Qwen3.5 4B의 37.85, Gemma4의 62.90, Nano-4B의 27.70에 맞서 63.36. 도구를 호출하지 않아야 할 때를 아는 것은 에이전트 역량만큼이나 대화 역량이기도 하다.

• RelyToolBench — 63.16 대 43.35, 61.60, 41.20. 도구 출력에 근거를 두는 것 역시 대화와 밀접한 역량입니다.

• MultiChallenge — 51.76, 42.08, 35.30 대비 53.10. 멀티턴 챌린지 처리에서 근소한 승리.

손실도 마찬가지로 분명하며, 캐릭터가 아니라 에이전트를 원한다면 중요한 것은 바로 그 손실들입니다:

• Tau2-Bench — Qwen3.5 4B의 75.06 대비 55.10. 이는 멀티턴 에이전트 작업 완료에서 20점의 격차이며, 페르소나 품질이 아무리 뛰어나도 이 격차를 메울 수 없습니다.

• 64K에서의 RULER — 86.99로, Qwen3.5 4B의 95.15와 Nano-4B의 91.51에 비해 낮습니다. 이 모델은 64K 컨텍스트를 수용하지만, 동급 모델들만큼 그 전체 범위에서 안정적으로 검색해내지는 못합니다.

• 48K에서의 LongBench v2 — Qwen3.5 4B의 59.93 대비 50.50. 장문 문서 추론에서도 상황은 같습니다.

• BFCL-v3 — Qwen3.5 4B의 70.95 대비 68.51. 함수 호출에서는 약간 뒤지지만, Gemma4의 66.39를 앞선 승리입니다.

• EQ-Bench v3 — 39.40 대 Gemma4 E4B-it의 41.17. 부모가 자식을 앞서는 유일한 감성 지능 항목.

Q4_K_M 열은 일반적인 양자화 표보다 더 흥미롭다. 압축이 정확도를 일률적으로 떨어뜨린 것은 아니었다. MultiChallenge는 53.10에서 55.60으로, RoleBench는 67.05에서 71.21로, ToolSandbox는 68.77에서 74.13으로, RelyToolBench는 63.16에서 69.29로 상승한다. 반면 Tau2에서는 55.10에서 52.32로, LongMemEval에서는 72.10에서 69.92로, RULER에서는 86.99에서 85.76으로 하락한다. 보정 데이터가 모델 자체의 RL 롤아웃에서 나온 경우 여러 대화형 점수를 개선하는 4비트 빌드는 그럴듯하지만, 그것은 여전히 공급업체 측정이며 4B 모델의 벤치마크 수준 노이즈는 충분히 커서 이 차이들을 정밀도 사다리로 읽어서는 안 된다.

두 행은 별도 표시가 필요합니다. Brevity Bench와 When2Call Multi-Turn은 NVIDIA가 기존 벤치마크의 공백을 해결한다고 설명하는 평가이며, 블로그에 따르면 추후 공개될 예정입니다. 이들은 현재 독립적으로 재현할 수 없습니다 — 이는 Brevity에 가장 중요합니다. 왜냐하면 더 적은 출력 토큰이라는 이야기를 담고 있는 행이 바로 그 행이기 때문입니다.

NVIDIA의 대표 주장은 이 모델이 Nemotron 3 Nano-4B보다 평균 약 40% 더 우수하고, 동종 모델보다 대략 10% 더 우수하며, 추론이 활성화된 비교에서는 출력 토큰 수가 최대 80% 더 적다는 것입니다. 80%라는 수치는 정확도 주장이 아니라 장황함에 대한 주장이며, NVIDIA가 자사 제품군에 내장한 Brevity Benchmark 점수 82.52와 일치합니다. 방향성은 진지하게 받아들이되, 정확한 수치는 가볍게 보세요.

저장소가 당신에게 알려주지 않는 것

카드는 자체적인 공백에 대해 솔직하며, 그 공백은 해당 릴리스가 어느 정도의 확신을 뒷받침하는지를 규정하므로 나열할 가치가 있다.

• 독립적인 평가가 없습니다. 이 글을 작성하는 시점에 Artificial Analysis에는 E4B에 대한 모델 페이지가 없으며, 어떤 제3자도 21개 행으로 구성된 벤치마크 표를 재현한 결과를 발표하지 않았습니다.

• 호스팅 가격 없음. 이 카드에는 Build.NVIDIA.com 등록일이 10월 23일로 표시되어 있지만, 해당 사이트에도 카드에도 토큰당 가격은 공개되어 있지 않습니다. API를 원한다면 요금표를 보는 것이 아니라 협상 중이거나 무료 티어를 사용하는 것입니다.

• 배포가 "llama.cpp (레시피 대기 중)"으로 표시되어 있는데, 퀵 스타트에는 실제로 작동하는 llama.cpp 명령이 들어 있습니다. 이는 기술적인 모순이 아니라 문서상의 모순이지만, 자동화된 배포 파이프라인을 걸려 넘어지게 만드는 종류의 문제입니다.

• 4GB 목표는 파일로 입증되지 않습니다. 측정된 VRAM 범위가 증거이며, 다운로드 용량은 6.18GB입니다.

• 안전성, 편향, 설명 가능성, 프라이버시 하위 카드는 별도의 파일로 존재합니다. 이 글은 이들을 감사하지 않으며, 아직 어떤 독립 기관도 감사하지 않습니다.

그중 어느 것도 그 공개를 신뢰할 수 없게 만들지 않는다. 그것은 그 공개를 시기상조로 만들 뿐이다. 모델을 훈련한 팀이 작성한 모델 카드는 그 모델이 무엇을 위한 것인지에 관해 이용 가능한 최선의 설명이다. 그것은 그 모델이 실제로 그 일을 한다는 증거는 아니다.

로컬 4B 모델이 멈추는 지점, 그리고 그 뒤에 무엇을 둘 것인가

이 부류의 모델에 대한 정직한 아키텍처는 분리형이다. Jetson이나 RTX 카드 위의 4B 대화형 체크포인트는 즉각 반응 계층에 탁월하다. 웨이크워드 응답, 페르소나 대화, 짧은 도구 호출, 입력 그라운딩, 네트워크 왕복을 감당할 수 없는 인터페이스의 부분들이 그렇다. 200K 컨텍스트가 필요한 질문이나 10단계 에이전트 계획에 답하게 하고 싶은 모델은 아니며, 자체 벤치마크 표도 그렇게 말한다.

그러면 모든 배포에 두 번째 질문이 남습니다. 로컬 모델이 처리해서는 안 되는 요청은 무엇이 처리하는가? OrcaRouter를 통해 같은 애플리케이션 뒤에 호스팅 모델을 배치하면 200개 이상의 모델을 위한 단일 API, 공급자 정가 대비 0% 마크업, 그리고 자동 페일오버를 제공합니다. 공급자의 성능이 저하될 때 에스컬레이션 경로는 두 번째 SDK, 두 번째 키, 두 번째 결제 관계가 아니라 라우팅 결정이 됩니다. 로컬 모델은 빠른 경로로 남고, 호스팅 모델은 E4B가 학습한 적 없는 경우를 위한 폴백입니다.

이 그림을 바꿀 수 있는 것은 무엇일까요?

세 가지를 유용한 순서대로 말하자면. 동일한 하네스에서 수행된 독립적인 벤치마크는 대화 비중이 높은 프로파일이 NVIDIA의 평가 밖에서도 유지되는지를 판가름해 줄 것이다. 공개된 4GB 이하 아티팩트는 이름을 문자 그대로 실현해 줄 것이다. 그리고 Build 엔드포인트에 가격이 책정되면 모델은 다운로드에서 비교 가능한 서비스로 바뀔 것이다.

그때까지 올바른 해석은 좁지만 유용하다. NVIDIA는 Gemma 4 E4B를 포스트 트레이닝해 입증 가능하게 더 나은 대화형 소형 모델로 만들었고, 증거와 한계를 같은 문서에 공개했으며, 패밀리 출시 일주일 후 거의 소문 없이 내놓았다. 이름에 붙은 4GB는 측정된 런타임은 충족하지만 다운로드는 충족하지 못하는 목표치다. 저장 공간은 6.18GB를 기준으로, 기대치는 실제로 보유한 기기에 따라 초당 13~133토큰을 기준으로 계획하라.