Nemotron 3.5 Bolt 74B vs Qwen3.8-Max: 리더보드에서 가장 큰 격차

Nemotron 3.5 Bolt 제품군의 모든 비교에는 격차가 존재한다. 이번 비교의 격차가 가장 크다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 Artificial Analysis Intelligence Index에서 21.4점을 기록한다. Qwen3.8-Max는 알리바바의 플래그십이자 이 비교 시리즈에서 가장 높은 점수를 받은 모델로, 동일하게 독립적으로 운영되는 이 평가에서 45.4점을 기록한다. 이는 24점 차이로, 더 작은 모델의 지수 점수 전체보다 큰 격차이며, 24GB 로컬 에이전트가 최전선 모델을 대신할 수 있는지 묻는 모든 이에게 정직한 출발점이 된다.

그럴 수는 없다. 이 둘을 글에 쓸 가치가 있게 만드는 것은 두 모델이 완전히 다른 행에서 이긴다는 점, 그리고 NVIDIA 자체의 벤치마크 표가 Bolt를 이 모델이 아닌 Qwen 모델과 비교한다는 점이다.

멀티모달리티 외에는 공통점이 전혀 없는 두 모델

N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 24기가바이트 메모리에 들어가는 2비트 체크포인트로 압축된 740억 매개변수 비전-언어 모델입니다. 가중치는 2026년 10월 7일 Hugging Face에 공개되었고, N​VIDIA는 10월 15일 출시 게시물에서 이 모델을 소개했습니다. 이 모델은 로컬 에이전트 작업 — 도구 호출, 웹 브라우징, 터미널 사용, 화면 읽기 — 을 위해 만들어졌으며, 서비스가 아닌 다운로드 형태로 판매되고, 공개된 종량제 가격은 어디에도 없습니다.

Qwen3.8-Max는 정반대의 구조다. A​libaba의 최상위 모델은 희소 전문가 혼합(MoE) 모델로, 회사는 이를 출시 시점의 가장 강력한 폐쇄형 모델들과 정면으로 겨냥해 포지셔닝하며, 세 가지 통신 형식 — O​penAI 호환 인터페이스, A​nthropic 호환 인터페이스, A​libaba 자체 DashScope — 을 통해 베이징, 싱가포르, 도쿄, 프랑크푸르트, 버지니아 지역에서 제공된다. 호스팅 모델은 2026년 8월 3일 이미지 및 비디오 입력, 100만 토큰 컨텍스트, 사고 토글과 함께 출시되었으며, 9월 2일 스냅샷이 현재 리더보드에서 평가되는 버전이다. 같은 제품군의 오픈 웨이트 형제 모델인 Qwen3.8-2.4T-A95B는 별도의 릴리스이며 여기서 측정된 모델이 아니다.

하나는 파일입니다. 다른 하나는 서비스입니다. 이 비교는 여전히 유용합니다. 서비스는 가격을 공개하지만 파일은 그렇지 않으며, 이 둘 사이의 차이가 바로 로컬 배포가 실제로 구매하는 것입니다.

• 인텔리전스 인덱스 — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB: 21.4. Qwen3.8-Max: 45.4. 둘 모두 Artificial Analysis가 독립적으로 측정.

• 컨텍스트 — N​VIDIA 체크포인트는 262,144 토큰인 반면 Qwen3.8-Max는 약 983,000 토큰이며, A​libaba 측의 최대 출력은 131,072 토큰입니다.

• 매개변수 — Bolt의 경우 총 74B, 활성 9B; Alibaba의 플래그십 티어는 전혀 다른 차원의 희소 전문가 혼합으로, 오픈 웨이트 형태에서 토큰당 약 95B 매개변수를 활성화합니다.

• 입력 — 텍스트, 이미지, 동영상을 입력으로 받고 둘 다 텍스트를 출력한다. 이는 두 가지가 진정으로 닮은 유일한 차원이다.

• 가격 — Qwen3.8-Max: 입력 토큰 100만 개당 $2.00, 출력 토큰 100만 개당 $6.00, 캐시된 입력은 $0.25. Bolt: 구매할 수 있는 엔드포인트가 없으므로 없음.

• Intelligence Index 작업당 비용 — Qwen3.8-Max의 경우 5.41달러, 실측치. Bolt는 동일한 이유로 수치 없음.

• 속도 — Qwen3.8-Max: 초당 39.8 출력 토큰, 첫 토큰까지 3.06초, 응답당 추론 시간 중앙값 50.3초이며, 모두 독립적으로 측정됨. Bolt: 독립적인 처리량 측정치는 존재하지 않음.

24개의 점이 나오는 행들

Artificial Analysis가 둘 다 실행했습니다. 행별 세부 내용을 읽는 것이 종합 점수보다 더 유용합니다. 종합 점수는 어느 모델도 일관되게 앞서지 않는다는 사실을 가리기 때문입니다.

• Terminal-Bench 2.1 — Qwen3.8-Max 88.8퍼센트, 독립적으로 측정됨. Bolt는 이 벤치마크에 독립적인 등재 기록이 없으며, NVIDIA는 자사 모델 카드에서 50.98을 보고했습니다.

• GPQA Diamond — Qwen3.8-Max는 독립적으로 92.8퍼센트. Bolt의 86.43은 N​VIDIA 자체 수치이며, 패널에는 이에 대한 독립적인 수치가 없다.

• Humanity's Last Exam, 도구 없이 — Qwen3.8-Max 43.1퍼센트 대 Bolt의 24.7퍼센트, 둘 다 독립적으로 측정됨.

• 장문맥 검색(AA-LCR) — 80.3퍼센트 대 69.7퍼센트, 둘 다 측정된 수치.

• 과학적 코딩(SciCode) — 52.1퍼센트 대 39.7퍼센트, 둘 다 측정치.

• 멀티모달 추론(MMMU-Pro) — Qwen3.8-Max 82.8퍼센트, 독립적으로 측정됨. Bolt는 독립적인 항목이 없는데, 이는 볼 수 있다는 점을 주된 판매 포인트로 내세우는 모델에게는 눈에 띄는 누락이다.

• 직업별 산출물(GDPval-AA) — Qwen3.8-Max 0.583은 Bolt의 0.240을 기준으로 정규화한 값, 둘 다 실측치.

• 에이전트 및 IT 운영 — Qwen3.8-Max는 APEX-Agents에서 42.4%, ITBench-SRE에서 40.3%, 애널리스트 에이전트 평가에서 45.0%를 기록했습니다. Bolt는 이 세 항목 중 어느 항목에서도 독립적인 점수를 보유하지 않습니다.

• 비환각(AA-Omniscience) — Qwen3.8-Max 71.2퍼센트 대 Bolt의 56.3퍼센트, 정확도는 31.7퍼센트 대 17.1퍼센트입니다. 압축 모델이 캘리브레이션 행에서 승리하는 Bolt 대 Ultra 비교와 달리, 여기서는 플래그십이 두 항목 모두를 가져갑니다.

• 인덱스 작업당 비용 — Qwen3.8-Max의 경우 $5.41. 이는 이 모델을 둘러싼 비교군에서 작업당 비용이 가장 높은 수치이며, 24포인트 열세에서도 로컬 옵션을 흥미롭게 만드는 숫자입니다.

작업당 $5.41로 살 수 있는 것, 그리고 24GB로 대신 살 수 있는 것

Qwen3.8-Max의 경제성은 프런티어 모델로서는 이례적입니다. 토큰당 가격이 입력 $2.00, 출력 $6.00으로 중간 정도이지만, 이 모델은 생각하는 데 오랜 시간을 씁니다. 패널의 실행에서 추론 시간 중앙값은 50.3초이고, 종단 간 응답 시간은 평균 65.9초입니다. 모델이 1분간 내부 숙고를 거치는 작업은 많은 출력 토큰을 생성하며, 인덱스 작업당 비용이 바로 이를 드러내는 지표입니다. 이것은 모델에 대한 비판이 아닙니다 — 심층 추론이 바로 이 제품의 본질이니까요 — 다만 대량 에이전트 루프가 이 티어에서 빠르게 비싸지는 이유입니다.

Bolt는 바로 이 워크로드를 위해 만들어졌습니다. 로컬 체크포인트에는 토큰당 계량기가 전혀 없습니다: 도구 호출의 한계 비용은 전기이고, 고정 비용은 GPU입니다. 수천 개의 작은 절차적 단계 — 화면을 읽고, 엔드포인트를 호출하고, 파일을 편집하는 — 를 수행하는 상시 가동 에이전트의 경우, 비교 대상은 21.4 대 45.4가 아니라 상수 대 증가하는 청구서입니다. N​VIDIA의 자체 설명에 따르면, Bolt는 일상적인 에이전트 작업을 클라우드로 보내지 않고 로컬에서 실행할 수 있도록 존재하며, 바로 그러한 작업에 대해 WebArena 비전에서 50.86, BrowseComp에서 66.75를 보고합니다.

문제는 고정 비용이 실재하고 지연 시간은 알 수 없다는 점이다. NVIDIA의 참조 서빙 레시피는 다단계로 이루어진다: 고정된 vLLM 나이틀리 빌드, b12x 커널 패키지, 별도로 다운로드하는 추론 파서 플러그인, 명시적인 Mamba 및 어텐션 백엔드, 그리고 7개의 드래프트 토큰을 사용하는 LiLiCorr 드래프터를 활용한 추측 디코딩 구성. 처리량은 NVIDIA가 노트북급 머신에서 AIPerf SPEED-Bench-Coding에서 초당 83.99 토큰으로 발표했다 — 공급업체 벤치마크에 대한 공급업체 수치이며, 이를 검증할 독립적인 실행이 없다.

NVIDIA가 선택한 기준

한 가지 더 주목할 만한 점이 있는데, 이는 기술적인 것이라기보다 읽는 법에 관한 교훈이다. Bolt의 모델 카드에 있는 벤치마크 표에는 비교 지점으로 ​Qwen 모델이 포함되어 있으며, 그것은 이 페이지에서 측정된 플래그십보다 훨씬 작은 ​Qwen3.6-35B-A3B이다. ​NVIDIA의 표는 Bolt가 그 모델을 상대로 Terminal-Bench 2.1, GPQA Diamond, BrowseComp, GDPVal, Tau3 Banking, SciCode, AA-LCR 및 MCP-Atlas에서 이기는 반면, AA-Omniscience 정확도, AA-Omniscience 비환각 및 PinchBench에서는 지는 것으로 보여준다.

그 비교들은 충분히 맞을 수 있습니다. 하지만 표에서 “Bolt가 Qwen을 이긴다”를 읽어내는 독자는 74B 엣지 모델을 35B dense급 MoE와 비교하는 것이지, Alibaba의 프런티어 티어와 비교하는 게 아닙니다. Qwen3.8-Max를 상대로는 독립 기록이 거의 모든 공통 항목에서 반대 방향으로 흐르고, 가장 어려운 벤치마크에서는 격차가 좁혀지기는커녕 더 벌어집니다. 벤더가 자체 베이스라인을 고를 때, 정직한 태도는 그 베이스라인이 무엇인지 확인하는 것입니다.

결정하는 방법

정확성이 제약 조건일 때는 Qwen3.8-Max를 선택하세요. 작업이 다단계 분석, 어려운 멀티모달 추론, 실제 결과를 수반하는 에이전트 작업, 또는 24점 앞선 점수를 기록하는 벤치마크로 측정되는 무엇이든 간에, 로컬 옵션은 후보가 아닙니다 — 그리고 백만 토큰당 $2.00과 $6.00의 가격은 그것이 사치품이 아니라 인프라로서 책정되었음을 보여줍니다. 또한 워크플로가 구조화된 출력, 네이티브 도구 호출, 그리고 한 번의 호출에서 백만 토큰 컨텍스트를 필요로 할 때 선택할 모델이기도 합니다. 이 모두를 A​libaba가 지원한다고 문서화하고 있습니다.

작업이 이루어지는 위치가 제약 조건일 때는 Bolt를 선택하세요. 프라이버시, 오프라인 작동, 네트워크에 의존하지 않는 지연 시간, 그리고 존재하지 않는 호출당 비용은 네 가지 별개의 근거이며, 각각은 일부 팀에게 그 자체로 충분합니다. 이 모델은 절차에는 유능하지만 회상에는 약합니다. 전자에 집중시키세요.

호스팅 부분의 경우, Qwen3.8-Max는 OrcaRouter를 통해 다음 주소로 접근할 수 있습니다 qwen/qwen3.8-max/ 200개 이상의 다른 모델과 동일한 키를 사용하며, 알리바바의 공급자 정가 그대로이고 마크업이 추가되지 않습니다 — 즉, 공급업체의 가격 변경이 청구 주기 말이 아니라 같은 날 우리 쪽에 반영된다는 뜻입니다. 이는 저렴한 등급보다 이 등급에서 더 중요합니다. 인덱스 작업당 $5.41은 재무팀이 매달 다시 확인하고 싶어 할 만한 숫자이기 때문입니다. 라우팅이 결정의 형태를 바꾸는 지점은 볼륨 문제입니다. 90퍼센트가 작은 절차적 단계이고 10퍼센트가 어려운 추론인 워크로드는 그 10퍼센트를 여기로 보내고 나머지는 로컬에 유지할 수 있으며, 공급자 간 자동 장애 조치를 통해 호스팅 등급이 서비스 중단이 아니라 재시도로 이어집니다.

우리는 N​VIDIA 모델을 호스팅하지 않으며 Bolt 엔드포인트도 없습니다 — N​emotron 제품군은 우리 카탈로그에 없고, 이 비교의 로컬 절반은 어떤 라우팅 계층도 건드리지 않는 하드웨어 문제입니다.

해결되지 않은 숫자

아무도 발표하지 않은 것은 이 비교를 완성해 줄 측정값입니다: 사람이 구매할 수 있는 기계에서 배치 크기 1로 24GB 체크포인트를 대상으로 한 독립적인 지연 시간 및 처리량 실행입니다. 2비트 74B 체크포인트가 대화형 에이전트 단계를 사용 가능한 속도로 실행할 수 있는 것으로 밝혀지면, 24포인트 격차는 우회할 수 있는 격차가 됩니다 — 절차는 로컬, 추론은 호스팅. 그렇지 않다면, 로컬 옵션은 배치 도구이고 비교는 가격으로 귀결됩니다. 어느 쪽이든, 답은 한 편의 발표만 나오면 알 수 있으며, 이 모델을 중심으로 배포를 계획하기 전에 찾아야 할 바로 그것입니다.

이런 식의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급에 속하는 모델들의 이면에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공됩니다.