Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: 8개 인덱스 포인트와 비트 폭 불일치

이미 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB와 Google Gemma 4 26B A4B 사이에 정면 대결이 마련되어 있고, NVIDIA가 이를 공개했습니다. 그것은 Bolt 모델 카드의 벤치마크 표에 실려 있는데, 그 표에서 Gemma 열은 회사가 선택한 기준선입니다. 그 표를 주의 깊게 읽는 것이 이 두 모델이 실제로 무엇인지 이해하는 가장 빠른 방법입니다. 두 체크포인트는 같은 역할을 두고 경쟁하는 것이 아니며, 벤더 자신의 설명도 그 점을 대놓고 말하고 있기 때문입니다. 비교 모델들은 4비트 양자화로 24GB 메모리 안에 들어가는 능력을 기준으로 선택되었습니다. Bolt는 다른 경로로 24GB 안에 들어갑니다 — 전문가 레이어에서 가중치당 2.0625비트를 사용하는 방식으로 — 그리고 이 두 전략 사이의 간극이 바로 이 이야기의 전부입니다.

제목에 있는 두 숫자는 모두 실제입니다. Artificial Analysis는 자사의 Intelligence Index에서 Bolt를 21로, 추론 구성의 Gemma 4 26B A4B를 17로 측정했습니다. 어느 수치도 공급업체에서 나온 것이 아니며, 이 글을 작성할 당시 두 수치 모두 해당 패널의 모델 페이지에 실시간으로 게시되어 있었습니다.

N​VIDIA가 실행한 비교, 그리고 그것이 고른 열

NVIDIA의 Bolt 표에는 네 개의 열이 있습니다: BF16의 Qwen3.6-35B-A3B, BF16의 Gemma 4 26B-A4B, BF16의 Nemotron 3.5 Lightning 30B-A3B, 그리고 IQ2의 Bolt. 그 안의 모든 숫자는 공급업체가 보고한 것이며, 독립적인 누구에 의해서도 재현되지 않았습니다. 다음은 벤치마크별로 Gemma 열과 Bolt 열을 비교한 것입니다.

• GDPVal-AA-V2 — G​emma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• 도구 없이 HLE — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — Gemma 79.61, Bolt 86.43

• AA-LCR 장문맥 검색 — Gemma 57.56, Bolt 64.06

• PinchBench — Gemma 74.70, Bolt 87.82

• WebArena 비전 — Gemma 38.2, Bolt 50.86

• AA-Omniscience 정확도 — Gemma 22.17, Bolt 16.90. Gemma가 이 행에서 이기며, 이 표에서 Gemma가 이기는 유일한 행입니다.

• AA-Omniscience 비환각 — Gemma 14.22, Bolt 61.27. 이는 Gemma 계열에 있어 크고 구체적인 손실이며, 잠시 짚고 넘어갈 만합니다: Omniscience 비환각 지표는 모델이 무언가를 알지 못할 때 확신 있게 답하면 페널티를 부과하는데, 여기에 기록된 Gemma 빌드는 Bolt 수치의 약 4분의 1을 기록했습니다.

한 가지 주의사항이 전체 블록에 적용됩니다. NVIDIA는 Gemma 열을 포함한 모든 실험을 자사 모델의 2비트 빌드와 비교한 Gemma의 BF16 빌드에서 실행한 뒤, 그 결과를 자사 모델 카드에 보고했습니다.

두 개의 체크포인트, 두 가지 압축 방식

Gemma 4 26B A4B는 출시된 제품으로, 이미 1년간의 사용 이력이 있습니다. 2026년 3월 11일 Apache 2.0으로 Hugging Face에 공개되었으며, 총 252억 개 파라미터에 토큰당 38억 개가 활성화되고, 로컬 슬라이딩 윈도 레이어와 전역 레이어를 교차 배치하는 하이브리드 어텐션 스택, 256K 컨텍스트, 네이티브 시스템 프롬프트 지원, 그리고 패밀리의 모든 크기에서 비전을 갖추고 있습니다. 이는 직접 가져다 4비트로 양자화해 실행할 수 있는 모델이며, 이미 만들어진 양자화 버전의 거대한 생태계도 존재합니다.

Bolt는 모델 카드를 걸치고 있는 압축 결과물이다. NVIDIA는 같은 세대의 멀티모달 체크포인트인 Nemotron 3.5 Super VL 120B-A12B를 가져다 Star Elastic을 실행했는데, 이는 라우터가 안내하는 아키텍처 탐색으로, 엄격한 배포 예산, 이 경우 배치 크기 1과 128K 컨텍스트에서 24GB 미만을 충족해야 한다. 전문가 top-K는 부모 모델의 22에서 9로 줄었다. 그다음 전문가 가중치는 요소당 2.0625비트의 IQ2-XXS로 양자화되었고, 정확도를 되찾기 위해 양자화 인식 증류가 적용되었으며, Mamba 레이어는 NVFP4로, 임베딩과 출력 레이어는 Q8_0로 남겨졌고, 비전 타워는 나중에 다시 부착되었다.

결과는 24GB 파일에 담긴 740억 개의 파라미터입니다. 그것은 공개된 모델의 양자화가 아니라, 메모리 제약 아래에서 탐색된 뒤 복원하도록 훈련된, 다른 형태의 네트워크입니다.

비트 폭이 매개변수보다 더 중요한 이유

두 모델을 나란히 놓고 보면 직관적으로 74B 모델이 26B 모델을 이긴다고 읽힌다. 이 경우 그 해석은 아마 맞을 것이다. 그리고 그것은 흥미로운 부분도 아니다. 왜냐하면 두 모델은 같은 24GB로 서로 다른 일을 하도록 요구받고 있기 때문이다.

• 매개변수 — Bolt 총 74B, 토큰당 활성 9B. Gemma 4 26B A4B: 총 25.2B, 토큰당 활성 3.8B.

• 아키텍처 — Bolt: Mamba-2–Transformer 하이브리드 LatentMoE, C-RADIO v4-H 비전 인코더 탑재. G​emma: 하이브리드 로컬/글로벌 어텐션 MoE, 비전 타워 탑재, 그리고 패밀리의 다른 크기에서는 오디오도 지원.

• 저장 정밀도 — Bolt는 기본적으로 전문가 가중치당 2.0625비트로 제공됩니다. G​emma의 리포지토리는 16비트이며, 4비트 및 양자화 인식 학습 빌드는 별도로 게시됩니다.

• 컨텍스트 — Bolt 최대 256,000 토큰. Gemma 4 26B A4B: 256,000 토큰. 이 행은 동점이며, 이 부분에서 2비트 모델이 뭔가를 포기했을 거라고 생각하는 사람들을 놀라게 한다. 그렇지 않았다.

• 입력 — Bolt는 텍스트, 이미지, 동영상을 지원합니다. Gemma 4 26B A4B는 텍스트와 이미지를 지원하며, 동영상은 프레임으로 전달되고, 오디오는 더 작은 제품군에만 국한됩니다.

• 라이선스 — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, 그리고 Google의 금지 사용 정책이 이와 함께 병기되어 있습니다.

• 추측 디코딩 — Bolt는 LiLiCorr 드래프터를 제공하며, NVIDIA의 레퍼런스 레시피에서 7개의 추측 토큰으로 DFlash를 통해 연결됩니다. Gemma 4 26B A4B에는 벤더가 제공하는 드래프터가 없습니다. 다중 토큰 예측은 기본 릴리스가 아니라 커뮤니티 파인튜닝에서 나타납니다.

정밀도 행의 실질적인 결과는 Bolt의 다운로드가 이미 작은 버전이라는 점입니다. 더 찾아야 할 2비트 빌드는 없습니다. 왜냐하면 2비트 빌드가 바로 그 모델이기 때문입니다. G​emma의 26B는 압축하도록 기대되는 16비트 체크포인트이며, 대부분의 사람들이 실제로 서빙할 4비트 버전은 누군가가 그것을 변환한 것입니다.

더 작은 모델이 더 나은 선택인 경우

NVIDIA의 자체 표는 Gemma에게 진지하게 고려할 만한 두 가지를 제시한다. AA-Omniscience 정확도는 22.17 대 16.90으로 Gemma에 유리하며, 이를 솔직하게 해석하면 2비트 압축이 증류 후에도 사실 회상에 측정 가능한 타격을 입혔다는 뜻이다. 워크로드가 에이전트형이라기보다 백과사전형인 사람이라면 그 행에 큰 비중을 두어야 한다.

라이선싱은 두 번째입니다. Apache 2.0은 상업적 배포에 사용할 수 있는 옵션 중 가장 제약이 적은 옵션이며, OpenMDW-1.1은 허용적으로 작성되었고 NVIDIA가 상업적 사용을 명시적으로 허용했지만, 관련 문헌이 더 적고 이를 해석한 법원 판결이 없는 더 새로운 도구입니다. 법무팀은 이 중 하나는 전에 본 적이 있지만 다른 하나는 본 적이 없습니다.

세 번째는 성숙도입니다. Gemma 4 26B A4B는 3월부터 다운로드할 수 있었고 봄부터 호스팅된 엔드포인트에서 호출할 수 있습니다. 양자화 빌드, 파인튜닝, 서빙 레시피, 벤치마크 재현이 모두 존재합니다. Bolt의 저장소는 10월에 올라왔습니다. 그 지연 시간에 관해 독립적으로 발표된 것은 없으며, 양자화할 대상 자체가 없기 때문에 기댈 만한 커뮤니티 양자화도 없습니다.

넷째, 그리고 놓치기 쉬운 점: G​emma의 21B 이하 형제 모델들은 오디오를 네이티브로 지원합니다. 파이프라인에 음성이 포함된다면, 26B A4B는 같은 패밀리 내에서 잘못된 구성원이며, N​emotron 모델 중에는 적합한 것이 없습니다.

각각을 실제로 보유하는 데 드는 비용

Bolt에는 가격이 없으며, 이는 데이터상의 누락이 아니다. 어디에도 Bolt를 위한 호스팅 엔드포인트가 없고, Artificial Analysis의 Bolt 모델 페이지에도 종량 요금이 없으며, Bolt를 제공하는 제공자도 없다. Bolt를 실행한다는 것은 직접 장비를 소유한다는 뜻이며, NVIDIA의 레퍼런스 레시피는 오후가 아니라 주말에 해당한다: 고정된 vLLM nightly 이미지, b12x 커널 패키지, 별도 파일로 가져오는 reasoning-parser 플러그인, 그다음 v2 모델 러너, linear 및 MoE 백엔드, attention 및 Mamba 백엔드, Mamba 캐시 dtype, chunked prefill을 위한 명시적 설정과 LiLiCorr drafter를 가리키는 speculative-decoding 구성이 필요하다.

Gemma 4 26B A4B의 가격은 두 곳에 표시됩니다. 우리가 라우팅하는 카탈로그에서는 google/gemma-4-26b-a4b-it가 입력 토큰 100만 개당 $0.06, 출력 100만 개당 $0.33으로 등록되어 있고, 262,144토큰 컨텍스트에서 p50 첫 토큰 도달 시간은 약 2.8초입니다. 이는 지난 7일간 우리가 직접 측정한 수치이며, 공급업체의 주장이 아닙니다. Artificial Analysis는 같은 모델에 대해 다른 공급업체 조합을 추적하며 입력 $0.10, 출력 $0.40을 제시하는데, 이는 가격이 가중치가 아니라 엔드포인트의 속성임을 알려주는 격차입니다. 두 수치 모두 정직합니다. 이들은 서로 다른 것의 가격입니다.

OrcaRouter는 우리가 실제로 라우팅하는 모델을 공급자 정가에 0퍼센트 마크업을 더한 가격으로 단일 키 뒤에 배치합니다, 따라서 라우팅되는 모델의 공급업체 가격 인하는 같은 날 우리 쪽에도 반영되며, 공급자 전반에 걸친 자동 장애 조치 덕분에 업스트림의 용량 문제는 사용자에게 노출되는 대신 재시도됩니다. 우리는 어떤 N​emotron 체크포인트도 호스팅하지 않습니다 — 카탈로그는 가정이 아니라 확인되었으며, 해당 제품군은 그 안에 없습니다 — 따라서 이 페이지에서 그 보장은 비교의 G​emma 쪽 절반만을 포괄하며 그 외에는 아무것도 포괄하지 않습니다. 실제로 그것들이 지닌 가치는, 더 큰 모델이 하드웨어를 들일 만한 가치가 있는지 귀하가 판단하는 동안, 두 번째 계약 없이 실제 트래픽에서 더 작은 모델을 시험해 볼 수 있는 방법이라는 데 있습니다.

파일과 서비스 중 선택하기

이 비교는 성능 면에서 접전이 아니며, 그럴 의도도 아니다. Bolt는 더 크고 더 유능한 모델로, 강하게 압축되었고 대여할 수 없다. Gemma 4 26B A4B는 오늘 바로 대여할 수 있는 다소 약한 모델이며, 그 약점은 이 모델과 아무 이해관계가 없는 사람들이 문서화한 것이다.

워크로드에 스크린샷, PDF, 비디오 프레임 또는 브라우저가 포함되거나, 네트워크 없이 실행해야 하거나, Blackwell급 가속기가 장착된 머신이 이미 현장에 있다면 Bolt를 선택하세요. 처리량은 아무도 공개하지 않았으므로, 그 처리량을 직접 밝혀내야 할 사람이 바로 당신이라는 점을 받아들이세요. 오늘 오후에 백만 토큰 단위로 비용을 지불할 수 있는 텍스트 및 이미지 모델을 원하거나, Apache 2.0이 필요하거나, 광범위한 질문 세트에 대한 사실 회상이 에이전트 작업 완료보다 더 중요하다면 Gemma 4 26B A4B를 선택하세요.

이 문제를 매듭지어 줄 측정은 아무도 하지 않은 바로 그것이다: 24GB 체크포인트에서의 독립적인 처리량 및 지연 시간 실행, 그리고 벤더가 선택했다고 말하는 것과 동일한 4비트로 양자화된 Gemma를 사용한 NVIDIA 표의 독립적인 재실행이다. 그것들이 존재하기 전까지 Bolt에 대한 근거는 벤더 표와 파라미터 수에 기대고, Gemma에 대한 근거는 1년치 다른 사람들의 결과에 기댄다.

이런 식의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급에 속하는 모델들의 이면에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공됩니다.