Nemotron 3.5 Bolt 74B vs Nemotron 3 Ultra: 1.5 인덱스 포인트, 7배의 매개변수

N​VIDIA N​emotron 3.5 패밀리에서 가장 놀라운 숫자는 플래그십의 크기가 아니다. 그것은 바로 N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 가중치당 2비트로 24기가바이트에 압축된 740억 매개변수 체크포인트로서, 1.5포인트 이내로 근접했다. 그 상대는 N​emotron 3 Ultra, 나머지 패밀리가 증류된 5,500억 매개변수 모델이며, Artificial Analysis가 독립적으로 운영하는 Intelligence Index에서 21.4 대 22.9를 기록했다. 매개변수는 7배, 토큰당 활성 컴퓨팅은 6배인데, 그 차이는 벤치마크의 오차 범위 안에서 사라질 수 있는 정도다. Bolt의 가중치는 2026년 10월 7일 Hugging Face에 공개되었고, N​VIDIA의 발표는 10월 15일에 이어졌다. Ultra는 2026년 6월 4일에 출시되었다.

두 모델은 서로 대체할 수 없으며, 두 모델이 차이를 보이는 지점들은 대표 점수보다 더 많은 것을 알려준다. 압축이 보존한 것과 폐기한 것은 모두 공개된 수치에서 확인할 수 있는데, 그 둘은 동일한 행이 아니다.

각각이 무엇인지

Ultra는 이전 세대의 플래그십이며 N​VIDIA의 증류 파이프라인 중심에 있는 교사 모델입니다. 총 550B, 활성 55B의 Mamba-2 하이브리드로, 멀티 토큰 예측을 갖추고 있으며, OpenMDW-1.1에 따라 학습 데이터와 레시피와 함께 공개되었고, 최대 100만 토큰의 컨텍스트와 요청당 65,000 토큰의 출력 한도를 갖춘 장시간 실행 에이전트 작업을 위해 구축되었습니다. N​VIDIA가 자체적으로 주장한 바에 따르면 이 모델은 출시 당시 미국 내 최고 지능의 오픈 웨이트 모델이었으며, 독립적인 기록도 이를 대체로 뒷받침합니다: 패널은 추론 구성에서 이 모델에 22.9점을 부여했고, 측정된 초당 출력 토큰 156개, 첫 토큰까지 1.29초, 엔드투엔드 응답 시간 중앙값 19초를 기록했습니다.

Bolt는 최신 세대의 엣지 티어이며, 직접적인 의미에서 증류된 Ultra는 아니다. 그 모체는 NVIDIA가 함께 출시한 1,200억 매개변수 멀티모달 모델인 Nemotron 3.5 Super VL 120B-A12B다. 압축은 NVIDIA의 라우터 기반 아키텍처 탐색인 Star Elastic이 수행했으며, 이는 배치 크기 1과 128K 컨텍스트에서 24GB 미만이라는 엄격한 풋프린트를 충족하는 최저 지식 증류 손실을 목표로 최적화했다 — 전문가 top-K를 22에서 9로 낮추고, 전문가 가중치를 요소당 2.0625비트의 IQ2-XXS로 양자화했으며, 정확도 복구를 위해 양자화 인식 증류를 적용했다. 모체가 멀티모달이었기 때문에 C-RADIO v4-H 비전 인코더를 탑재한다.

독립 행, 양쪽

아래의 모든 내용은 별도로 표시되지 않는 한 Artificial Analysis에서 가져온 것이며, 바로 이 점이 이 비교를 유용하게 만듭니다: 두 모델 모두 동일한 평가자에 의해 동일한 하네스에서 실행되었습니다.

• 지능 지수 — Bolt 21.4; Ultra 22.9. 두 제품 모두 독립적으로 측정되었습니다.

• GDPval-AA(정규화) — Bolt 0.240; Ultra 0.257. 실제 직업 산출물로 구성된 벤치마크에서의 1.7점 차이.

• SciCode — Bolt 0.397, Ultra 0.403. 사실상 같은 수준입니다.

• Humanity's Last Exam, 도구 없이 — Bolt 24.7퍼센트; Ultra 28.4퍼센트. 여기서의 4포인트 격차는 이 목록에서 상대적 기준으로 가장 큽니다.

• AA-LCR 장문맥 검색 — Bolt 69.7퍼센트, Ultra 79.3퍼센트. 10포인트 차이이자, 2비트 압축이 무엇을 대가로 치르는지 보여주는 가장 명확한 증거다.

• AA-Omniscience — Bolt는 정확도 17.1퍼센트, 비환각률 56.3퍼센트; Ultra는 정확도 22.6퍼센트, 비환각률 70.3퍼센트. 플래그십은 더 많이 알고 더 잘 보정되어 있는데, 이는 이 페이지에서 가장 놀랍지 않은 결과다.

• Terminal-Bench 4.0(더 어려운 세트) — 둘 다 0점. 플래그십을 포함해 어느 모델도 그 티어를 풀지 못하고 있다.

• 컨텍스트 윈도우 — Bolt: 모델 카드 기준 최대 256,000토큰, 패널 기록상 262,144. Ultra: N​VIDIA 기준 최대 1,000,000이며, 최대 출력은 65,000토큰.

• 입력 — Bolt: 텍스트, 이미지, 동영상 입력, 텍스트 출력. Ultra: 텍스트 입력, 텍스트 출력. 플래그십의 출시 자료 어디에도 비전 타워가 있다는 주장은 없다.

• 가격 — Bolt: 없음. 24GB 체크포인트에 대해 공개된 종량 요금이 없으며, 패널에는 이에 대한 입력 또는 출력 수치가 나와 있지 않습니다. Ultra: 입력 토큰 백만 개당 $0.60, 출력 토큰 백만 개당 $2.50, 캐시된 입력은 $0.16이며, Intelligence Index 작업당 측정된 지출은 $0.60입니다.

• 속도 — Bolt: 독립적인 측정 없음. Ultra: 초당 출력 토큰 156.1개, 첫 토큰까지 1.29초, 응답당 추론 시간 중앙값 14.6초.

• 풋프린트 — Bolt: IQ2에서 24GB, A100, H100 또는 Blackwell 부품 하나에 배포 가능. Ultra: 다중 가속기 배포이며, 이 제품군의 교사 체크포인트에 대한 NVIDIA 자체 레시피는 최소 사양으로 B200 4개 또는 H100 8개를 명시하고, Ultra는 이 제품군에서 가장 큰 모델입니다.

인덱스 격차가 크기 격차보다 작은 이유, 그리고 그것이 의미하는 바

두 가지 정직한 설명이 있고, 둘 다 아마 부분적으로는 사실일 것이다.

첫 번째는 Intelligence Index가 회상보다 절차를 더 보상하는 복합 지표라는 점입니다. Bolt는 2비트 양자화로 인해 저장된 사실을 잃었습니다 — 정확도 행에서 이를 확인할 수 있습니다 — 하지만 복합 과제에서 점수를 얻을 만큼 사고 연쇄, 도구 호출, 구조화된 출력 동작은 충분히 유지했습니다. Ultra의 이점은 기억이 중요한 바로 그곳, 즉 장문맥 검색, omniscience 정확도, 환각률, 방법이 아니라 사실을 요구하는 어려운 과학 질문에 정확히 집중된다는 점에 유의하세요.

두 번째는 강력한 부모 모델에 대한 아키텍처 탐색이 처음부터 작은 모델을 학습시키는 것보다 고정된 예산을 더 잘 활용하는 방법이라는 점이며, 이는 NVIDIA가 Bolt 문서에서 명시적으로 주장하는 바입니다. 120B 멀티모달 교사 모델을 가져와 24GB에 맞는 가장 넓은 학생 모델을 탐색하는 것은 30B 모델을 사전 학습하는 것과는 다른 작업이며, 그 결과로 나온 74B/9B 체크포인트는 유난히 효율적인 74B가 위치할 자리에 놓입니다.

그것이 Bolt가 Ultra를 대체한다는 뜻은 아니다. 불확실성을 더 자주 인정하고(비환각률 56.3 대 70.3퍼센트, 잘못된 방향으로) 긴 문맥에서 덜 안정적으로 검색하는 모델은 사람들이 실제로 묻는 질문에 대해서는 더 나쁜 어시스턴트다. 그것은 대부분 절차로 이루어진 작업, 즉 도구 호출, 양식 작성, 파일 편집, 스크린샷을 읽고 올바른 것을 클릭하는 작업에는 더 나은 어시스턴트다.

Ultra가 할 수 없는 두 가지

Bolt의 장점은 협소하며, 둘 모두 수치적이라기보다 구조적이다.

그것은 들어맞는다. 24GB 체크포인트는 개인이 소유한 하드웨어에서 실행되며, 네트워크도, 토큰당 계량기도, 용량 협상도 필요로 하지 않는다. Ultra의 지능은 API를 통해서만 접근할 수 있으며, 백만 토큰당 입력 $0.60, 출력 $2.50이고 인덱스 작업당 약 $0.60의 지출이 든다. 그 가격은 동급 모델치고는 정말 낮은 편이며, 그래서 호스팅 경로는 타협이 아니라 현실적인 선택지가 된다 — 하지만 그것은 여전히 연결성과 다른 누군가의 가동 시간에 대한 신뢰를 요구하는 경로다.

그것은 봅니다. Bolt의 C-RADIO v4-H 비전 인코더가 이미지와 비디오 입력을 제공하며, NVIDIA의 모델 카드는 WebArena 비전에서 50.86, BrowseComp에서 66.75를 보고합니다. Ultra는 텍스트 모델입니다. 에이전트의 작업에 스크린샷, PDF, 대시보드 읽기 또는 시각적 상태를 포함한 브라우저 자동화가 포함된다면, 구세대의 플래그십은 어떤 가격에도 대신 투입될 수 없습니다.

선택하는 방법

작업 부하가 추론 중심이고 텍스트 전용이라면 Ultra를 선택하세요: 여러 단계의 분석, 대량의 긴 문서, 대규모 리포지토리에서의 코딩, 또는 틀리면 비용이 많이 드는 모든 경우입니다. Ultra의 독립 평가 점수는 거의 모든 면에서 Bolt를 앞서며, 가격은 고지능군에서 가장 낮은 축에 속하고, 처리량은 추정이 아닌 측정된 값입니다.

Bolt를 선택하세요. 워크로드가 직접 통제하는 하드웨어에서 실행되거나, 시각 기능이 필요하거나, 네트워크가 없을 때에도 계속 실행되어야 한다면요. 1.5점의 지수 격차는 실재하며, 결정이 품질보다 배포를 기준으로 내려질 만큼 좁습니다. 그리고 NVIDIA가 자사 550B 플래그십과의 점수 차가 2점 이내인 24GB 파일을 출시했다는 사실이 두 릴리스 중 더 뉴스 가치가 큰 사실입니다.

단일 모델 구매자가 아니라 N​VIDIA가 이 제품군을 포지셔닝하는 방식이기에 이름 붙일 가치가 있는 중간 경로가 있습니다: 작은 로컬 실행기가 도구 호출과 화면 읽기를 수행하고, 더 큰 호스팅 모델이 계획 수립과 어려운 추론을 처리하는 구성입니다. 그 아키텍처는 하나 이상의 제공업체를 넘나들며 호스팅되는 절반에 안정적으로 도달할 방법이 필요합니다, 이는 바로 OrcaRouter의 페일오버가 하는 일입니다 — 하나의 엔드포인트 뒤에서 제공업체 전반에 걸친 자동 재시도, 제공업체의 정가에 0퍼센트 마크업이 추가된 가격으로 200개 이상의 모델에도 접근하는 키로. 우리는 어떤 N​VIDIA 모델도 호스팅하지 않습니다. N​emotron 제품군은 우리 카탈로그에 없으며, 여기에서 그것을 제공한다고 주장하는 것은 아닙니다. 요점은 2계층 에이전트 설계에는 두 번째 계층이 라우팅 가능해야 한다는 것뿐이며, 하나의 하드코딩된 벤더 엔드포인트는 그 설계가 실패하는 흔한 방식입니다.

이 페이지를 바꾸려면 무엇이 필요할까요

두 가지 측정. 첫 번째는 24GB 체크포인트에서의 독립적인 처리량 및 지연 시간 실행으로, 이는 그것을 대화형 속도로 로컬 실행기로 사용하는 근거를 확인해 주거나 무너뜨릴 것이다. 현재 이용 가능한 유일한 수치는 노트북급 머신에서 측정되어 패널의 장비와 비교할 수 없는, N​VIDIA 자체의 AIPerf SPEED-Bench-Coding에서의 초당 83.99토큰뿐이다. 두 번째는 제3자가 통제하는 양자화에서 2비트 가중치에 대한 에이전트 벤치마크를 독립적으로 재실행하는 것이다. 벤더 표에는 Bolt가 Terminal-Bench 2.1에서 Ultra를 거의 27점 차로 앞선다고 되어 있는데, 그 주장은 외부 확인 없이 엄청난 역할을 하고 있다.

이 중 어느 것도 해당 모델을 피해야 할 이유는 아니며, 단지 그 이력을 알아야 할 이유일 뿐입니다: 이 계열에 속한 모델 뒤에 있는 문서화된 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그를 포함합니다.