Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: 둘 다 24GB에 들어가지만 — 비용을 알려주는 쪽은 하나뿐

이 두 모델에 관한 흥미로운 이야기가 돌고 있습니다: N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 24기가바이트에 들어가고 Qwen3.8-27B는 들어가지 않습니다. 전반부는 사실이고 후반부는 이미 낡은 내용입니다. A​libaba는 2026년 8월에 Qwen3.8-27B를 16비트 가중치가 대략 56GB에 이르는 270억 매개변수 덴스 비전-언어 모델로 공개했고, 며칠 만에 커뮤니티는 16.46GB짜리 4비트 빌드를 만들어냈습니다. 오늘날에는 두 모델 모두 24GB에 들어갑니다. 논쟁할 가치가 있는 차이는 N​VIDIA가 압축을 설계했고, 그 비용이 얼마인지 공개했으며, 그것을 제품으로 출시했다는 점입니다 — 반면 그 비교의 Q​wen 쪽은 다른 누군가가 만든 빌드이며, 아무도 합계를 내지 않은 청구서가 딸려 있습니다.

각 모델이 실제로 무엇인지

Bolt는 전문가 혼합(MoE) 하이브리드입니다. 총 740억 개 파라미터, 토큰당 90억 개가 활성화되며, Mamba-2 상태 공간 계층이 전문가 및 어텐션과 교차 배치되고, C-RADIO v4-H 비전 인코더도 갖추고 있습니다. 24GB 형태로 존재하는 이유는 NVIDIA가 풋프린트 예산에 맞춰 라우터 유도 아키텍처 검색을 수행한 다음 전문가를 요소당 2.0625비트로 양자화하고, 양자화 인식 증류로 손상을 복구했기 때문입니다.

Qwen3.8-27B는 밀집형 모델입니다. 모든 토큰에 대해 270억 개의 매개변수 전체가 읽히며, 모델 카드의 아키텍처 섹션은 세 개의 게이트 선형 어텐션 블록 뒤에 하나의 게이트 전체 어텐션 블록이 오는 구성을 16회 반복한 64계층 스택을 설명합니다. 여기에는 여러 단계에 걸쳐 훈련된 다중 토큰 예측과 262,144개 토큰의 네이티브 컨텍스트가 포함되며, 이 컨텍스트는 100만 개까지 확장할 수 있습니다. 이 모델은 이미지와 비디오를 기본적으로 이해하고, 요청별로 추론 강도 설정과 턴 간 추론 컨텍스트를 보존하는 플래그를 통해 사고 제어를 제공합니다.

서로 다른 제작 철학을 지녔으며, 둘 다 충분히 관대한 라이선스 아래 오픈 웨이트로 배포된다 — Bolt는 OpenMDW-1.1, Qwen3.8-27B는 Apache 2.0.

두 가지 압축, 그중 하나는 문서화되어 있다

비교에서 판가름을 짓는 부분이 바로 이것입니다.

N​VIDIA의 24GB 체크포인트는 N​VIDIA에 의해 압축되었고, 비용이 공개되었습니다. 같은 모델의 BF16 릴리스에는 두 열이 나란히 있는 표가 있어, 2-bit 전문가의 가격을 줄마다 확인할 수 있습니다:

• GPQA Diamond — 2비트에서 86.43, 16비트의 88.83과 비교해 2.40점 손실.

• Terminal-Bench 2.1 — 50.98 대 53.93, 2.95 손실.

• BrowseComp — 70.00 대비 66.75, 3.25 손실.

• AA-LCR 장문맥 추론 — 64.06 대 67.38, 3.32 손실.

• 도구 없이 HLE — 28.73 대비 25.30, 3.43 손실.

• AA-Omniscience 정확도 — 16.90 대 21.80, 4.90 하락.

그리고 반대로 가는 두 행도 있습니다: AA-Omniscience 비환각에서는 압축 모델이 61.27점으로 전체 정밀도 모델의 56.14점을 앞서고, WebArena 비전에서는 두 모델이 1점 이내로 동등합니다. 이는 벤더 수치이며 재현되지 않았지만, 그래도 24GB 압축이 자체 모델에 어떤 일을 했는지에 관해 어떤 연구소든 발표한 가장 완전한 설명입니다.

이제 Qwen 쪽입니다. Qwen3.8-27B의 4비트 빌드가 16.46GB로 존재하고, 제3자가 공개했으며, 정확도 측정치는 전혀 함께 제공되지 않습니다. 약한 측정치가 아니라 — 아예 없습니다. 그 아래에 있는 9.83GB 및 7.27GB 빌드와 위에 있는 21.98GB 빌드도 마찬가지입니다. 27B dense 비전-언어 모델이 가중치가 4비트로 압축될 때 무엇을 잃든, 아무도 그에 대한 숫자를 발표하지 않았습니다. 이는 메모리에 들어가게 하는 산술이 쉬운 절반이며, 능력 문제는 완전히 열려 있다는 뜻입니다.

그 비대칭성은 이 맞대결의 솔직한 모습이다. Bolt는 자신의 가격을 알려준다. Qwen3.8-27B는 당신이 스스로 추정해야 하는 대가를 치르게 한다.

독립 패널, 그리고 그것이 다루는 것과 다루지 않는 것

Artificial Analysis는 Qwen3.8-27B를 최대 추론 구성에서 전체 모델 수준으로 측정합니다: Intelligence Index는 34로, 패널의 141개 모델 중 1위입니다. 초당 약 41개의 출력 토큰으로 63개 중 51위이며, 추적하는 제공자 조합에서 백만 입력당 $0.50, 백만 출력당 $3.00의 비용이 듭니다. 이는 해당 규모의 오픈 웨이트 모델로서 특히 비싸다고 평가합니다. 또한 이 모델은 인덱스 실행 중 2억 개의 토큰을 생성할 정도로 매우 장황하다고 언급합니다.

같은 패널은 Bolt를 지능 지수 21로 평가했는데, 이는 동급 67개 모델 중 네 번째입니다. 속도와 비용은 모두 확인할 수 없는데, 이를 서비스하는 공개 API가 없기 때문입니다. 13점은 큰 격차이며 두 모델 모두 동일한 방식으로 측정되므로, 이 기사에서 가장 신뢰할 수 있는 단일 진술입니다. 다만 들리는 것보다 더 중요한 단서가 따릅니다. 패널 자체의 비교 요약에서는 Qwen3.8-27B를 눈에 띄게 느리고 매우 장황하다고 평가하므로, 지능에서 앞선 모델은 더 오래 기다려야 하는 모델입니다.

모달리티에 관해 두 페이지는 주목할 만한 방식으로 서로 다르다. 사양 패널은 제품 페이지와 같지 않기 때문이다. Qwen 벤더 카드는 네이티브 이미지 및 비디오 이해를 설명한다. 분석 패널은 일부 보기에서 Qwen3.8-27B에 대해 텍스트, 이미지 및 비디오 입력을 나열하고 Bolt에 대해서는 텍스트와 이미지를 나열한다. 두 모델 모두 본다. 어느 쪽도 동일하게 보지는 않으며, 제3자가 두 모델을 설명하는 방식의 차이는 모달리티 관련 주장을 요약 행이 아니라 모델 카드와 대조해 확인하라는 점을 일깨워 준다.

Qwen 측의 벤더 테이블

A​libaba의 모델 카드는 길고, 이 모델이 Bolt 옆에서 흥미로운 이유는 바로 그 에이전트 관련 행들입니다. Terminal Bench 2.1은 73.0, SWE-bench Pro는 61.7, GPQA Diamond는 89.2, HLE는 30.8, LiveCodeBench v6는 90.3, OSWorld-Verified는 84.3, AndroidWorld는 81.9 — 모두 A​libaba가 평가했으며, 대부분의 경우 256,000토큰 컨텍스트에서 C​laude Code 하네스 안에서 이루어졌습니다.

그 숫자들은 Bolt의 표와 비교할 수 없다. 서로 다른 하네스, 서로 다른 평가 날짜, 서로 다른 베이스라인 선택, 그리고 Bolt의 경우에는 4비트에서 24GB에 맞추기 위한 목적도 일부 있어 선택된 베이스라인 그룹이다. 정직하게 말할 수 있는 유일한 것은 Qwen3.8-27B의 공개된 에이전트 점수가 Bolt의 공개된 에이전트 점수보다 높다는 것, 두 숫자 세트 모두 모델을 만든 연구소에서 나온 것이라는 점, 그리고 어느 연구소도 상대방의 벤치마크 스위트를 실행한 적이 없다는 점뿐이다.

Qwen의 수치 하나는 다른 이유에서 주목할 만하다. Qwen 자체 카드는 GPQA Diamond를 89.2로 인정하는 반면, Bolt의 카드는 86.43을 주장한다. 하네스 차이 하나로 어느 쪽이든 다른 쪽을 앞지를 수 있을 만큼 가까운 차이다. 벤더 표가 논쟁을 판가름하는 것은 바로 이 정도 규모에서다. 하지만 당신이 어떤 논쟁을 판가름해야 할 규모는 아니다.

하나를 임대하는 것, 그리고 그로 인해 물려받는 지연 시간

Bolt에는 엔드포인트가 없습니다. 제시할 처리량도, 이를 서빙하는 공급자도 없으며, NVIDIA의 배포 레시피를 완료하지 않고서는 자체 트래픽에서 이를 평가할 방법도 없습니다. 그 레시피란 고정된 nightly vLLM 컨테이너, 런타임에 가져오는 커널 패키지, reasoning-parser 플러그인, b12x 백엔드, fp8 KV 캐시, 그리고 하나의 시퀀스로 서빙되는 동시성입니다.

Qwen3.8-27B는 다운로드와 호출이 모두 가능하며, 이러한 조합 덕분에 이 비교는 실질적인 답을 가질 수 있습니다. 우리는 qwen/qwen3.8-27b를 자체 인프라에서 100만 입력 토큰당 $0.33, 100만 출력 토큰당 $2.40에 제공합니다. 카탈로그 항목에는 텍스트, 이미지, 비디오 입력을 지원하는 262,144토큰 컨텍스트가 기재되어 있으며, 우리 쪽에서 해당 요율로 게시할 수 있는 이유는 OrcaRouter가 공급자 정가를 전달하기 때문입니다. 여기에는 마크업이 추가되지 않습니다 — 공급업체가 가격을 인하하면 변경 사항이 다음 청구 주기가 아니라 같은 날 여기에서 바로 반영됩니다.

다만 지연 시간은 미화하기보다는 솔직하게 밝힐 가치가 있습니다. 2026년 10월 16일에 끝나는 7일 동안 이 모델에 대한 저희 자체 엔드포인트는 첫 토큰까지 걸리는 시간의 p50이 10.00초, p95가 10.00초, 출력 속도가 초당 515토큰, 오류율이 2.1%라고 보고했습니다. 일별 시계열은 집계치를 설명합니다: 10월 10일 1.42초, 11일 1.65초, 12일 2.83초, 그다음 13일과 15일 10.00초, 14일 1.91초. 6일 중 이틀은 저희 측정 창의 상한에 도달했고 사흘은 도달하지 않았습니다.

그건 좋은 숫자가 아니고, 그게 바로 그 숫자다. 또한 자동 페일오버가 구호가 아니라 라우팅 기능으로 존재하는 구체적인 이유이기도 하다: 월요일에는 괜찮던 첫 토큰 대기가 수요일에는 10초가 되는 것은 바로 폴백 체인이 대비하는 실패 모드이며, 라우팅 DSL이 존재하는 것은 "이 모델을 시도하고, 성능이 떨어지면 저 모델로 폴백하라"가 애플리케이션 코드가 아니라 구성이 되도록 하기 위해서다. 당신이 소유한 모델 — Bolt, 또는 로컬 Q​wen 빌드 — 에는 그런 문제도, 그런 선택지도 없다. 그것은 매일 당신의 GPU가 빠른 만큼 빠르며, 경로에 제3자가 없고, 멈출 때 의지할 두 번째 모델도 없다.

이것이 실제로 어떻게 해결되는가

두 모델이 같은 자리를 두고 경쟁하는 것이 아니므로, 넘겨줄 승자는 없습니다.

제약 조건이 네트워크가 없는 머신이거나 기기 밖으로 나갈 수 없는 작업이라면, Bolt가 답이며 공개된 압축 비용이 입장료입니다. Qwen3.8-27B 때문에 달라지는 것은 없습니다. NVIDIA가 이미 구축하고 문서화해 둔 것이 아닌 24GB 배포를 다운로드로 해결할 수는 없기 때문입니다 — 품질이 측정되지 않았고 비전 프로젝터를 별도로 조달해야 하는 4비트 빌드로 근사할 수 있을 뿐입니다.

여러분의 제약이 달러당 성능이고 네트워크를 사용할 수 있다면, Qwen3.8-27B는 두 가지를 모두 측정한 단 하나의 지표에서 13포인트 앞서 있으며, 공개된 요율로, 여러분의 법무팀이 전에 본 적 있는 라이선스 아래에 있습니다. 4비트 로컬 빌드는 합리적인 세 번째 경로이며, 다른 사람의 표를 물려받기보다 직접 평가를 해야 하는 쪽은 바로 이것입니다.

두 모델 모두 당신에게 남긴 부분은 같습니다: 어느 쪽도 상대에 대한 독립적인 벤치마크를 갖고 있지 않고, 어느 연구소도 상대의 모델을 측정하지 않았으며, 이들에 대해 떠도는 첫날의 의견들은 벤더 카드를 읽은 것에 불과합니다. 둘 다 내려받아 자신의 작업을 실행해 보고, 끝까지 완료하는 쪽을 남기세요. 그것이 이 비교에서 두 모델을 만든 두 연구소 중 어느 한 곳에 의해서도 발표되지 않을 유일한 결과입니다.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.