Nemotron 3.5 Bolt 74B 출시일: NVIDIA, 74B 에이전트 모델을 24GB에 압축하다

NVIDIA Nemotron 3.5 Bolt 74B-A9B는 2026년 10월 15일 목요일에 출시되고, NVIDIA Nemotron 3.5 Bolt E4B는 10월 23일 금요일에 뒤를 잇습니다. 이 두 날짜는 하나의 티저에 대한 답입니다. 10월 14일, NVIDIA의 AI 계정은 이름을 밝히지 않은 채 “이번 주에 출시되는 모델이 정말 많아요! 그리고 저희 모델도 하나 곧 나옵니다...⌛️”라고 게시했습니다. 그 티저를 확인하는 데 2분을 쓸 가치가 있는데, 그것이 이례적인 방식으로 풀리기 때문입니다. 그 트윗이 가리키는 발표는 이미 그 전날, 10월 13일 자 NVIDIA 블로그 게시물에서 두 모델, 두 날짜, 메모리 사용량과 추론 런타임을 모두 명시한 채 전문이 공개되어 있었습니다. 따라서 이것은 유출이 아니고, 소문도 아닙니다. 이것은 제대로 홍보되지 않은 출시이며, 그 티저는 특종이 아니라 살짝 알려주는 신호였습니다.

다음 내용은 NVIDIA가 실제로 기록해 둔 것과 아직 회사 외부의 누구도 측정하지 못한 것을 구분한다 — 그리고 오늘 출시되는 모델의 경우, 흥미로운 항목의 대부분은 바로 후자에 해당한다.

티저, 그리고 그것이 결국 무엇으로 귀결되었는지

무엇보다 먼저 못 박아 둘 만한 두 가지가 있다. 그것들은 바로 집계 과정에서 뭉개지기 딱 좋은 종류의 세부 사항이기 때문이다. 첫째는 순서다. NVIDIA의 블로그 글 "모든 시스템 이상 무: 글로벌 PC 앱 생태계, NVIDIA RTX Spark 지원 준비 완료"에는 2026-10-13T12:00Z 타임스탬프가 찍혀 있다. "우리 중 한 명이 온다" 글은 2026-10-14T20:29Z에 올라왔는데, 대략 32시간 후다. 그 트윗은 포인터일 뿐, 일차 출처가 아니다. 그리고 그 트윗을 발표로 취급하는 어떤 기사든 잘못된 문서를 근거로 삼고 있는 것이다.

둘째, "우리 중 하나"라는 표현이 실제로 중요한 역할을 합니다. NVIDIA는 여기서 단순한 벤더가 아닙니다. 이번 주의 플랫폼 벤더입니다. 같은 10월 13일 게시물은 10월 16일 RTX Spark 노트북을 출시하고, 재구축된 DLSS 5 AI 모델이 데뷔하는 NBA 2K27에서 같은 날, NVIDIA PAIR의 베타 종료와 Broadcast 2.3을 선보입니다. Bolt 74B는 NVIDIA가 매우 다양한 종류의 여러 모델을 발표하는 주간의 언어 모델입니다. 하나의 제품을 찾아왔다면, 보도가 혼란스러운 이유가 바로 이것입니다.

NVIDIA가 자체 표현으로 약속한 것

핵심 주장은 짧고 구체적입니다. NVIDIA는 Nemotron 3.5 Bolt 74B-A9B를 "RTX Spark에서 로컬 에이전트를 실행하기 위해 특별히 제작된 새로운 LLM"이라고 설명합니다. 이는 "74B 매개변수, 9B 활성 매개변수의 전문가 혼합(MoE) 모델"로 구축되었으며, "품질을 유지하기 위한 고급 양자화 인식 훈련 기법을 사용하여 2비트 양자화로 24GB에 압축되었습니다."

그 문장에서 세 가지가 핵심적인 역할을 하고 있습니다:

• 9B 활성, 74B가 아님. 이것은 희소 MoE입니다. 토큰당 라우팅 비용은 전체 파라미터 수가 아니라 활성 경로를 따르며, 바로 이 때문에 74B 모델이 굳이 노트북용으로 제안되는 것입니다.

• 의도적으로 2비트. BF16 릴리스의 커뮤니티 양자화가 아니라, NVIDIA가 그 폭에서 품질을 유지하는 것을 목표로 한 양자화 인식 기법으로 학습했다고 밝힌 모델이다. 그것이 실제로 유지되는지는 주장이 아니라 측정으로 판가름 날 일이다 — 아래 원장을 보라.

• 24GB가 목표 범위입니다. NVIDIA는 이 절충을 "속도와 지능 사이의 최적 균형으로, 대부분의 인기 있는 dense 모델보다 빠르면서 비슷한 메모리 사용량을 지닌 대부분의 인기 있는 MoE 모델보다 더 똑똑하다"라고 규정합니다. 이는 NVIDIA 자체의 포지셔닝이며, 누구에 의해서도 재현된 바 없습니다.

접근성과 관련해 NVIDIA는 런타임을 명시적으로 나열합니다: 출시 시점에는 llama.cpp, vLLM, Ollama, Unsloth, LM Studio가 포함되며, Hermes와 OpenClaw를 비롯한 에이전트를 통한 직접 사용도 포함됩니다. 그리고 라이선스와 관련해서는, 이 게시물이 Bolt 74B를 "완전한 오픈 소스... 학습 데이터, 가중치 및 레시피 포함"이라고 말합니다 — 이는 NVIDIA가 나머지 Nemotron 라인에 적용하는 것과 동일한 프레이밍입니다.

왜 중요한 숫자는 74B가 아니라 24GB인가

여기서 헤드라인에 등장하는 정수는 74B입니다. 실제로 무게를 지탱하는 숫자는 24GB인데, 그 이유는 단순합니다. 24GB는 데스크톱급 가속기 용량대이기 때문입니다. 이는 단일 하이엔드 소비자용 카드의 용량이며, 노트북 쪽에서는 NVIDIA가 이번 주를 이 수치를 중심으로 구성하는 기준이기도 합니다 — RTX Spark 머신은 최대 128GB의 통합 메모리와 1페타플롭의 AI 연산 성능을 갖추고, 노트북 자체는 10월 16일에 출시됩니다.

이것들을 종합하면 그 피치는 명확해진다. 활성 파라미터 9B의 MoE가 2비트에서 가중치 24GB에 들어간다는 것은, 워크스테이션 카드에 맞는 동일한 빌드가 다음 날 출하되는 노트북에도 맞고, 애플리케이션과 두 번째 소형 모델을 위한 여유 공간까지 남는다는 뜻이다. 이는 API 뒤에 있는 호스팅된 프런티어 모델과는 실질적으로 다른 배포 스토리이며, NVIDIA 자체의 한 줄 설명에 "저렴한 추론"이 아니라 "로컬 에이전트"가 들어 있는 이유다.

이에 대한 반론은 2비트 목표가 모델이 어떤 모습일 수 있는지에 대한 제약이라는 점이다. 총 크기가 비슷한 BF16 모델과의 품질 비교는 서로 다른 아티팩트 간의 비교이며, NVIDIA는 의도적으로 그 아티팩트를 선택했다. Bolt 74B는 다른 24GB급 로컬 빌드와 비교해 평가하라, 결코 메모리에 올라갈 수 없었을 풀정밀도 체크포인트와 비교하지 말고.

원장: 확인된 것, 진술되었으나 측정되지 않은 것, 그리고 알 수 없는 것

어떤 사실이 어느 열에 있는지 정확히 아는 것, 그것이 바로 이것을 셋째 주가 아니라 첫째 주에 읽는 가치의 전부다.

• NVIDIA 확인: 모델 이름, 74B 전체 / 9B 활성 MoE 구조, 24GB 2비트 풋프린트, 10월 15일 날짜, 다섯 개의 명시된 런타임, Hermes와 OpenClaw를 통한 에이전트 접근, 그리고 가중치와 학습 데이터, 레시피가 공개되어 있다는 주장.

• 주장되었지만 측정되지 않은 것: 품질 주장 자체. "비슷한 메모리 풋프린트를 가진 대부분의 인기 MoE 모델보다 더 똑똑하다"와 "대부분의 인기 있는 dense 모델보다 더 빠르다"는 발표문에서 벤치마크 표 없이 제시되었습니다. Bolt 74B에 대한 독립적인 평가는 아직 존재하지 않는 것으로 보입니다.

• 작성 시점 기준 미확인 사항: 컨텍스트 윈도우; 명시된 라이선스(NVIDIA는 이 게시물에서 특정 라이선스를 명시하지 않은 채 오픈 소스라고 언급); 24GB 등급에서의 정확한 추론 처리량; 해당 릴리스가 다운로드 가능한 가중치만인지, 아니면 API 뒤에서도 제공되는지; 2비트가 유일하게 공개된 정밀도인지 여부; 그리고 이 아키텍처가 NVIDIA가 이미 BF16 및 NVFP4 빌드로 출시한 Nemotron 3.5 Lightning 라인에서 얼마나 가깝게 파생되었는지.

마지막 미지수는 바로 놓지 말아야 할 핵심이다. NVIDIA 자체 명명에는 두 숫자 — "74B-A9B"와 이전의 "30B-A3B" — 가 모두 담겨 있어, 이론상으로는 두 모델을 비교할 수 있다: 대략 Lightning 모델의 전체 파라미터는 2.5배, 활성 파라미터는 3배다. 그 비율이 2비트 압축에서도 유지되는지는 바로 첫 독립 벤치마크가 판가름할 문제다.

Bolt E4B는 이 제품군의 나머지 절반이며, 이는 또 다른 제품입니다.

10월 23일 출시되는 Nemotron 3.5 Bolt E4B는 이름이 암시하는 것처럼 74B의 축소판이 아니다. NVIDIA는 이를 “NVIDIA ACE용 3세대 소형 언어 모델(SLM)”이라고 부른다. ACE는 게임 내 AI 캐릭터에 사용하는 제품군이다. 이 계보는 1세대의 PUBG 베타와 2세대의 Gamescom Aniimo 프리뷰로 거슬러 올라간다고 회사는 설명한다.

공개된 설계 목표는 에이전트형이 아니라 게임형에 맞춰져 있습니다: 4GB 풋프린트, "빠른 첫 토큰 도달 시간", "응답을 간결하고 음성으로 바로 사용할 수 있게 유지하는 데 도움이 되는 새로운 대화 모드", 추론 토글, 그리고 다중 턴 도구 사용을 위한 애플리케이션 상태 기반 그라운딩입니다. NVIDIA는 이번 출시와 함께 같은 날부터 클라우드 및 로컬 추론을 모두 지원하는 Skyrim NPC 모딩 플랫폼인 SkyrimNET 내부에서 시험 사용을 진행합니다.

그래서 트윗에서 하나의 모델을 기대하고 오셨다면, 서로 다른 날짜에, 서로 다른 봉투에, 서로 다른 용도로 두 개를 받게 되는 겁니다: 10월 15일은 24GB 로컬 에이전트용, 10월 23일은 4GB 게임 캐릭터용입니다.

그것에 로드맵을 걸지 않고 어떻게 평가할까

출시 첫날의 로컬 모델에서 어색한 부분은 아직 가장 중요한 단 하나의 질문, 즉 2비트 체크포인트가 당신의 워크로드에서도 견딜 만한지에 답할 수 없다는 점이고, 두 번째 질문인 비교할 호스팅 경로가 있는지에도 답할 수 없다는 점입니다. 두 공백 모두 일시적이며, 어느 것도 존재하지 않는 벤치마크 표를 기준으로 계획을 세울 이유가 되지 못합니다.

실용적인 경로는 두 가지 결정을 분리해 두는 것입니다. Bolt 74B를 이미 보유한 24GB 환경에서 실험 삼아 로컬로 실행하고, 프로덕션 경로는 오늘 당장 호출할 수 있는 무엇이든 그대로 유지하세요. 라우팅 인프라가 진가를 발휘하는 지점이 바로 이 두 번째 부분입니다: 하나의 키로 200개 이상의 모델을 제공업체 정가에 0% 마크업으로 이용할 수 있다는 것은 두 번째나 세 번째 후보를 시험하는 데 별도의 계약이 아니라 설정 변경 하나면 충분하다는 뜻이고, 제공업체 간 자동 페일오버는 검증되지 않은 로컬 빌드가 라이브 에이전트의 단일 실패 지점이 되는 일이 결코 없도록 해줍니다.

또한 이는 NVIDIA 자신의 표현을 읽는 정직한 방식이기도 하다. "RTX Spark에서 로컬 에이전트를 실행하기 위해 목적에 맞게 제작됨"은 모델이 어디에서 실행되는지에 관한 진술이지, 어떤 점수를 받는지에 관한 진술이 아니다. 10월 15일이라는 날짜를 어떤 질문이 답할 수 있게 되는 순간으로 여겨라 — 답으로서가 아니라.

이 글을 바꾸려면 무엇이 필요할까요?

세 가지입니다, 대략적으로 그것들이 판도를 얼마나 바꿀 수 있을지에 따른 순서로 말하자면요.

• 명시된 라이선스와 공개 가중치 저장소."학습 데이터, 가중치, 레시피까지 포함한 완전한 오픈 소스"는 NVIDIA의 글에서 가장 강력한 주장이자 가장 검증하기 쉬운 주장이다. 라이선스가 명시되고 파일이 다운로드 가능해지기 전까지, 그 주장은 약속에 불과하다.

• 첫 번째 독립 벤치마크. 흥미로운 비교 대상은 Bolt 74B가 애초에 경쟁한 적도 없는 풀정밀도 70B급 모델이 아니다. 같은 하네스에서 측정한, 24GB에 들어가는 다른 모든 빌드에 맞선 2비트 Bolt 74B다.

• 호스팅된 엔드포인트. 그것이 없으면 논할 가격도, 라우팅할 방법도 없다. 서빙되는 버전이 등장한다면, 이미 후보 목록에 올라 있는 모델들과의 가격 비교가 구체화되고, 패스스루 가격을 같은 날 확인해 볼 가치가 생긴다.

그중 적어도 하나가 실제로 현실화되기 전까지는, 올바른 태도는 몰입이 아니라 관심이다. 티저는 진짜였고, 날짜도 진짜였고, 모델도 진짜다. 평가는 아니다.

제대로 답할 가치가 있는 질문들

Nemotron 3.5 Bolt 74B는 Nemotron 3.5 Lightning 30B-A3B와 동일한 모델인가요?

아니요. 이들은 같은 세대에 속하지만 형태가 다른 별개의 항목입니다: Bolt는 총 74B에 활성 9B이고, NVIDIA 자체 명명에 따르면 Lightning은 총 30B에 활성 3B입니다. Bolt는 또한 2비트, 24GB 풋프린트로 제공되는 반면, NVIDIA는 Lightning 라인을 BF16 및 NVFP4 빌드로 공개했습니다. 두 제품이 아키텍처를 공유하는지 여부는 발표문에서 언급되지 않았습니다.

Bolt 74B를 24GB 데스크톱 카드에서 실행할 수 있나요, 아니면 RTX Spark 노트북에서만 실행할 수 있나요?

엔비디아가 밝힌 제약은 머신이 아니라 풋프린트, 즉 2비트에서 24GB이며, 이름이 언급된 런타임은 llama.cpp, vLLM, Ollama, Unsloth, LM Studio인데 이들은 NVIDIA 전용이 아니다. RTX Spark는 NVIDIA가 마케팅의 초점을 두는 곳이지만, 발표 내용 어디에도 그것이 필수 요건이라고 되어 있지는 않다.

OrcaRouter는 Nemotron 3.5 Bolt 74B를 호스팅하나요?

오늘은 아닙니다. 그리고 아직 호스팅할 것도 없습니다 — NVIDIA는 이에 대해 제공되는 엔드포인트나 가격을 공개하지 않았습니다. 만약 상황이 바뀌면, 이 모델은 다음을 통해 호출할 수 있게 됩니다: 카탈로그의 다른 모든 항목과 동일한 키로, 제공업체의 정가에 추가 마크업 없이.

실패 모드가 아직 문서화되지 않은 모델의 경우, 유용한 대응물은 다른 곳에서 이미 무엇이 잘못되었는지에 대한 기록입니다: 이 계열의 모델과 관련하여 문서화된 AI 사고 및 에이전트 실패는 다음 자료에 수집되어 있습니다: OrcaRouter AI Incident Archive, 여기서 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.