Nemotron 3.5 Bolt vs GPT-5.6 Sol: 이 두 모델 중 하나에는 가격이 있습니다

이 두 모델은 비용으로 비교할 수 없으며, 바로 그 점이 이 비교에서 가장 유용한 부분입니다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 24GB 파일입니다. 내려받으면 백만 번째 토큰의 한계 비용은 전기료입니다. GPT-5.6 Sol는 백만 입력 토큰당 $4.00, 백만 출력 토큰당 $20.00로 청구되는 호스팅 플래그십이며, 공개된 첫 토큰까지의 p50 시간은 1.63초이고 지난 7일 동안 5억 3,550만 토큰의 트래픽을 기록했습니다. 이 둘 중 하나에게는 요금표가 있습니다. 다른 하나에게는 하드웨어 전제 조건이 있는데, 이는 한 번만 도착하는 다른 종류의 청구서입니다.

두 모델 모두 실제로 존재하며 둘 다 출시된 상태입니다. NVIDIA의 Nemotron 3.5 Bolt 74B-A9B 24GB 체크포인트는 2026년 10월 7일부터 Hugging Face에 올라와 있었는데, 모델 카드 외에는 아무것도 첨부되어 있지 않았고, 벤더 자체의 Bolt 라인 발표는 8일 뒤인 10월 15일에 이어졌습니다. 이 모델과 4GB 형제 모델을 모두 언급한 게시물에서요. GPT-5.6 Sol은 2026년 7월 9일부터 OpenAI의 가격표에 올라 있었습니다. 이번 주에 이 둘 중 하나를 고른다면, 결정은 어느 쪽이 더 똑똑한가가 아닙니다. 워크로드가 당신의 머신을 떠날 수 있는지 여부입니다.

21 대 59 격차가 측정하는 것

Artificial Analysis는 Nemotron 3.5 Bolt 74B-A9B에 자사의 Intelligence Index에서 21점을 부여하며, 이 모델이 배치된 비교 클래스의 67개 모델 중 4위에 올렸다. GPT-5.6 Sol은 동일한 지수 버전에서 50점대 후반에 위치한다. 약 40점에 달하는 격차는 막대하며, 그렇게 말하는 순간 시작하기도 전에 논쟁은 끝나 버린다.

이 격차는 또한 하나의 숫자로 위장한 두 가지 서로 다른 측정치이기도 하다. 21은 이 풋프린트에서 오픈 웨이트 모델이 달성한 최고 점수이다 — Artificial Analysis는 비교 가능한 오픈 웨이트 모델의 중앙값을 8로 기록하며, Bolt가 "비슷한 크기의 다른 오픈 웨이트 모델과 비교할 때 지능 면에서 선도적인 모델 중 하나"에 속한다고 언급한다. 약 59는 메모리가 제약이 아닐 때 프론티어 랩이 산출하는 값이다. 어느 숫자도 틀리지 않다. 그것들은 서로 다른 질문에 답하고 있다: 24GB에 얼마나 많은 지능이 들어갈 수 있는가, 그리고 돈으로 얼마나 많은 지능을 살 수 있는가.

패널이 측정할 수 없었던 것은 측정할 수 있었던 것보다 더 흥미롭다. Bolt의 Artificial Analysis 페이지는 속도를 N/A로, Intelligence Index 작업당 비용을 N/A로 표시하는데, 그 이유는 단순히 호출할 호스팅 엔드포인트가 없기 때문이다. 이 모델에 대해 존재하는 모든 속도 수치는 NVIDIA 자체 벤치에서 나온 것이다. 연구 노트는 디코딩 속도 최소 초당 80토큰의 설계 목표를 명시하고, RTX Spark에서 AIPerf SPEED-Bench 기준 초당 84토큰을 보고하며, 128GB Surface Laptop Ultra에서의 llama.cpp 실행에서는 초당 83.99토큰을 보고한다. 그것들은 충분히 정확할 수 있다. NVIDIA 외부에서는 아무도 이를 재현하지 않았으므로, 누군가 재현할 때까지는 이를 공급업체의 주장으로 취급해야 한다.

호스팅 모델이 구조적으로 앞서는 부분

세 가지 차이점은 지능과 전혀 관련이 없으며, 각각은 특정 부류의 작업에서 로컬 파일을 부적격하게 만든다.

• 컨텍스트 — GPT-5.6 Sol은 1,050,000토큰 윈도와 128,000토큰 최대 출력을 제공하고, Nemotron 3.5 Bolt는 최대 262,144토큰을 제공합니다. 한 번의 요청으로 저장소나 계약서 아카이브를 처리해야 하는 작업에서 네 배 더 넓은 윈도는 사치스러운 기능이 아닙니다. Bolt의 윈도는 또한 KV 캐시, 이미지, 비디오 프레임, 대화 기록과 24GB를 나눠 써야 하므로, 실질적인 상한은 사양이 시사하는 것보다 더 일찍 찾아옵니다.

• 입력 유형 — GPT-5.6 Sol은 텍스트, 이미지, 파일을 받습니다; Nemotron 3.5 Bolt는 텍스트, 이미지, 동영상을 받고 텍스트를 반환합니다. 이는 동영상에서 Bolt의 확실한 우위이자 문서에서의 실질적인 격차입니다. 파일로 전달된 PDF는 래스터화하거나 페이지를 나누거나 프레임별로 추론할 필요가 없기 때문입니다.

• 가용성 — GPT-5.6 Sol은 URL 하나면 됩니다. Nemotron 3.5 Bolt는 Ampere, Hopper 또는 Blackwell 실리콘이 필요한 vLLM 배포 방식이거나, RTX Spark 또는 DGX Spark 기기에서 llama.cpp를 실행하는 방식입니다. 그중 하나는 4분이면 바로 사용할 수 있습니다.

네 번째 차이는 역량보다는 계량에 더 가까운 문제입니다: 호스팅 모델을 호출할 때마다 청구 항목이 생기지만, 로컬 모델을 호출할 때는 그렇지 않습니다. 대용량 분류나 추출 루프에서는 그 역전이 40 인덱스 포인트보다 더 중요합니다.

파일을 소유하는 것이 실제로 가져다주는 것

Nemotron 3.5 Bolt 74B-A9B는 740억 개의 파라미터와 토큰당 90억 개의 활성 파라미터를 갖춘 희소 전문가 혼합(MoE) 모델로, NVIDIA가 LatentMoE라고 부르는 Mamba-2와 Transformer 하이브리드 백본을 기반으로 구축되었으며, 멀티모달 작업을 위해 C-RADIO v4-H 비전 인코더가 추가로 장착되었습니다. 그것은 가장 문자 그대로의 의미에서 압축 아티팩트입니다. NVIDIA는 120B-A12B Nemotron 3.5 Super VL 모델을 가져와 Star Elastic이라고 부르는 라우터 기반 검색을 적용하여 74B-A9B로 축소한 다음, 전문가 가중치당 2.0625비트(IQ2_XXS 형식)까지 양자화 인식 증류를 실행하여 처음부터 재훈련하지 않고 24GB 이내에 들어가도록 했습니다. 라이선스는 OpenMDW-1.1이며, 상업적 및 비상업적 사용을 허용합니다.

두 가지 결과가 따른다. 첫째는 그 모델이 워크스테이션에서 다른 애플리케이션을 대체하는 것이 아니라 그 옆에서 실행된다는 점이며, 이것이 바로 로컬 에이전트를 애초에 실행 가능하게 만든다. 둘째는 추측 기능이 내장된 채 제공된다는 점이다. DFlash를 통해 구동되는 LiLiCorr 드래프터가 일곱 개의 토큰을 미리 제안하며, 초당 84토큰이라는 수치의 의미 있는 부분이 바로 여기서 나온다.

NVIDIA 외부에서는 아무도 재현하지 못한 벤더 자체의 벤치마크 표는 24GB 체크포인트를 같은 표의 모든 베이스라인 — Qwen3.6 35B, Gemma 4 26B, 그리고 NVIDIA 자체의 Nemotron 3.5 Lightning 30B-A3B — 보다 GDPVal-AA-V2(28.47), Terminal-Bench 2.1(50.98), GPQA Diamond(86.43), SciCode(41.02), BrowseComp(66.75)에서 앞선다고 놓는다. 이 수치들은 압축된 74B가 자신의 3분의 1 크기인 비압축 모델들과 어떻게 비교되는지에 대한 주장으로 읽어야 하며, 그것이 바로 이 수치들이 보여주도록 설계된 것이고, 호스팅된 플래그십과의 비교로 읽어서는 안 된다.

두 몫을 정직하게 계산하기

호스팅되는 쪽은 가격이 명확합니다. GPT-5.6 Sol은 OrcaRouter 카탈로그에 openai/gpt-5.6-sol로 등록되어 있으며, OpenAI의 공급사 정가에 0% 마크업만 더해 그대로 전달됩니다 — 입력 토큰 100만 개당 $4.00, 출력 토큰 100만 개당 $20.00으로, 우리 페이지의 숫자가 공급사 페이지의 숫자와 동일합니다. 즉, 공급사 측 변경이 다음 계약 갱신 시점이 아니라 같은 날 우리 쪽에도 반영됩니다. 20,000토큰 입력에 3,000토큰 출력이면 입력 $0.08, 출력 $0.60으로 호출당 약 $0.68입니다.

로컬 쪽에는 저희가 기꺼이 지어낼 만한 가격이 없습니다. Nemotron 3.5 Bolt을 위한 호스팅 엔드포인트도, 요금표도, 저희가 여러분께 안내해 드릴 수 있는, 이 모델의 사용량을 측정하는 제3자 플랫폼도 없습니다. 여기에 가격을 매긴다는 것은 GPU 한 대, 전력 소비량, 상각 기간에 값을 매기는 일입니다 — 그 계산은 저희가 아니라 여러분의 스프레드시트에 속합니다. 답은 전적으로 여러분이 이 모델을 얼마나 많이 실행하느냐에 달려 있기 때문입니다.

그 비대칭성이 바로 라우팅 계층이 장식이 아니라 구체적인 일을 해내는 지점입니다. Nemotron 3.5 Bolt는 저희 카탈로그에 없으며 저희가 제공하지 않습니다. 여기에서 NVIDIA의 체크포인트를 호스팅하겠다는 제안은 없습니다. 단일 엔드포인트가 실제로 사주는 것은 워크플로의 로컬 절반과 호스팅 절반을 하나의 키 아래에 유지할 수 있는 능력입니다. 그래서 요청에 백만 토큰 윈도나 파일 입력이 필요할 때는 GPT-5.6 Sol로, 그렇지 않을 때는 자체 Bolt 배포로 보낼 수 있습니다 — 어느 쪽인지 결정하는 규칙을 모든 서비스에 하드코딩하는 대신 한 번만 작성해 두면 됩니다. 호스팅 제공자가 성능이 저하되면, 요청이 실패하는 대신 자동 페일오버가 요청을 옮깁니다.

어느 걸 고를까?

• 데이터가 건물 밖으로 나갈 수 없을 때, 워크로드에 비디오가 포함될 때, 토큰당 청구가 지배적인 비용이 될 만큼 볼륨이 높을 때, 또는 이미 보유한 하드웨어에서 에이전트를 실행하고 싶을 때 Nemotron 3.5 Bolt 74B-A9B 24GB를 선택하세요. 262K 창과 호스팅 모델의 약 3분의 1에 해당하는 인덱스 점수를 감수하세요. 그 처리량 주장을 기준으로 용량을 계획하기 전에 자체 기기에서 검증하세요.

• 작업에 가장 넓은 컨텍스트, 파일 입력, 사용 가능한 가장 강력한 추론, 그리고 이를 뒷받침하는 지원 계약이 필요할 때 GPT-5.6 Sol을 선택하세요. 그 대가로 백만 토큰당 $4와 $20을 지불해야 하며, 128K 최대 출력은 24GB 메모리 범위가 편안하게 허용하는 것보다 더 긴 단일 응답이라는 점을 유의하세요.

• 워크플로가 깔끔하게 분할될 때는 둘 다 실행하세요. 대부분의 에이전트 시스템에서는 실제로 그렇게 분할됩니다. 로컬 파일은 고빈도·저위험·프라이버시에 민감한 절반을 처리하고, 호스팅된 모델은 도달 범위가 필요한 요청을 처리합니다.

미해결 질문은 지난번 압축된 Nemotron이 제기했지만 아무도 답하지 않은 바로 그 질문이다: NVIDIA에서 일하지 않는 사람이 수행한, 24GB 가중치에 대한 최초의 독립적인 처리량 및 지연 시간 측정. 그것이 존재하기 전까지 이 모델의 지능 하한은 외부에서 검증되었지만 속도 상한은 그렇지 않으며 — 로컬 배포에서 속도는 바로 당신이 체감하는 절반이다.