Nemotron 3.5 Bolt 74B vs Kimi K3: 2.8조 매개변수 플래그십에 맞서는 24GB 파일

이 비교에 등장하는 두 모델은 같은 자리를 두고 경쟁하는 것이 아니며, 어느 벤더가 입을 열기도 전에 수치가 그 점을 분명히 해준다. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 N​VIDIA가 2비트 체크포인트로 압축해 운영체제와 나란히 24기가바이트 메모리에 들어갈 만큼 작게 만든 740억 매개변수 비전-언어 모델이다. Kimi K3는 M​oonshot AI의 2.8조 매개변수 플래그십으로, 실현 가능한 최소 배포 규모가 랙 하나인 오픈 웨이트 모델이다. 첫 번째는 N​VIDIA가 2026년 10월 15일부터 출하하기 시작한, 노트북에 복사해 넣을 수 있는 파일이다. 두 번째는 토큰 단위로 임대하는 워크로드다. 두 모델의 점수를 나란히 읽는 것이 유용한 바로 그 이유는, 격차가 너무 커서 누구도 작은 쪽을 대체품인 척할 수 없다는 데 있다.

이 페이지에서 정말로 가치 있는 일은 22점의 Intelligence Index 점수가 어디로 배분되는지, 그리고 그중 일부라도 로컬 에이전트가 실제로 수행하는 작업에 귀결되는지를 밝혀내는 것이다.

무엇이 출시되었고, 언제였는가

Bolt 저장소는 2026년 10월 7일 Hugging Face에 등장했습니다. 이를 거명한 NVIDIA 자체 출시 게시물인 "데이터 센터에서 데스크톱까지 개방: NVIDIA, 최고 효율의 Super VL 및 Bolt 모델로 Nemotron 패밀리 확장"은 10월 15일자입니다. 모델 카드 자체에는 릴리스 날짜가 2026년 10월 15일로 적혀 있습니다. 이러한 순서, 즉 가중치가 먼저 나오고 8일 뒤에 발표가 나온다는 점은 이 모델에 관한 보도를 읽는 누구에게나 중요합니다. 왜냐하면 공개 기록의 일주일은 다운로드 가능한 체크포인트와, 어떤 보도자료도 첨부되지 않은 모델 카드로 이루어져 있기 때문입니다.

두 모델은 그 외의 모든 면에서 완전히 구분된다. Kimi K3는 2026년 7월 16일에 공개되었고 가중치는 7월 27일에 이어서 공개되어, 약 세 달 더 오래되었으며 제3자에 의해 상당히 더 잘 문서화되었다.

• 아키텍처 — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB는 C-RADIO v4-H 비전 인코더를 갖춘 Mamba-2–Transformer 하이브리드 LatentMoE입니다. Kimi K3는 M​oonshot의 K​imi Delta Attention을 기반으로 구축된, 896개 전문가 중 16개를 통해 토큰당 104B 파라미터를 활성화하는 2.8조 파라미터 규모의 희소 전문가 혼합(mixture-of-experts) 모델입니다.

• 매개변수 — N​VIDIA 모델은 총 74B, 활성 9B; Kimi K3는 총 2.8T, 활성 104B. 더 작은 모델은 더 큰 모델의 토큰당 연산량의 10분의 1 미만을 활성화한다.

• 메모리 사용량 — 2비트 양자화 기준 24GB(전문가 가중치에는 요소당 2.0625비트의 IQ2-XXS, Mamba 레이어에는 NVFP4, 임베딩과 출력에는 Q8_0)이며, 이는 2.8T 매개변수 배포에 드는 비용과 비교됩니다. 그 비용은 이 페이지가 기가바이트 단위로 제시할 수 있는 숫자가 아닙니다.

• 컨텍스트 — NVIDIA 모델은 262,144 토큰, Kimi K3는 1,048,576 토큰이며, 길이에 관계없이 정액 요금이 적용됩니다.

• 입력 — 텍스트, 이미지, 동영상 입력, 둘 모두 텍스트 출력.

• 라이선스 — NVIDIA 체크포인트에는 OpenMDW-1.1, Moonshot의 가중치에는 Kimi K3 License가 적용되며, 대부분의 사용에는 허용적이지만 연간 매출이 2,000만 달러를 초과하면 별도 계약이 필요합니다.

독립적인 숫자들, 그리고 존재하지 않는 하나

Artificial Analysis가 두 모델을 모두 실행했기에 이 비교가 가능해진 것입니다. 보드의 모든 항목이 두 모델 모두에 대해 측정된 것은 아니며, 그 공백은 점수만큼이나 많은 정보를 줍니다.

• 인텔리전스 인덱스 — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 21.4점으로, 패널 자체 비교 세트에서 동급 크기 클래스의 67개 모델 중 4위입니다. Kimi K3는 최대 추론 모드에서 43.6점, 낮은 모드에서 30.1점을 기록합니다. 두 수치 모두 벤더가 보고한 것이 아니라 독립적으로 측정된 값입니다.

• Intelligence Index 작업당 비용 — NVIDIA 모델은 종량제 가격이 없기 때문에 수치가 없습니다. Artificial Analysis는 이 모델에 대한 입력 또는 출력 요율을 전혀 명시하지 않습니다. Kimi K3는 백만 입력 토큰당 $3.00, 백만 출력 토큰당 $15.00, 캐시된 입력의 경우 $0.30의 요율로 인덱스 작업당 API 지출 $2.00가 듭니다.

• 출력 속도 — Kimi K3는 패널의 장비에서 첫 토큰까지 3.6초, 초당 43.8개의 토큰을 생성합니다. N​VIDIA 모델에 대한 독립적인 처리량 수치는 존재하지 않습니다. N​VIDIA 자체 연구 페이지에서는 LiLiCorr 드래프터를 활성화한 상태에서 AIPerf SPEED-Bench-Coding에서 초당 83.99개의 토큰을 게시하고 있는데, 이는 다른 벤치마크와 다른 머신에서의 벤더 측정치입니다.

• Terminal-Bench 2.1 — Kimi K3의 경우 독립적으로 실행된 85.0이며, Moonshot이 스스로 주장한 88.3과 대비됩니다. NVIDIA는 자사 모델 카드에서 Bolt 모델에 대해 50.98을 보고하므로, 두 수치는 동일선상에 있지 않습니다: 하나는 연구소 밖에서 재현되었고 다른 하나는 그렇지 않습니다.

• GPQA Diamond — Kimi K3는 독립적으로 93.5; NVIDIA가 발표한 NVIDIA 모델은 86.43이며, 패널에는 독립적인 수치가 없음.

• 장문맥 검색(AA-LCR) — Kimi K3는 88.7로 NVIDIA 모델의 69.7과 대비되며, 둘 다 측정된 수치입니다.

• 과학적 코딩(SciCode) — Kimi K3는 59.5, NVIDA 모델은 39.7로, 둘 다 실측값입니다.

• 지식 정확도와 환각 — AA-Omniscience에서 Kimi K3는 47.6퍼센트의 정확도와 46.8퍼센트의 비환각률을 기록합니다. NVIDIA 모델은 17.1퍼센트의 정확도와 56.3퍼센트의 비환각률을 기록합니다. 그 조합은 이 순위표에서 가장 흥미로운 행이자, 해당 지수를 단순하게 읽는 관점에 가장 불리한 사례입니다: 압축된 모델은 더 적게 알면서도 그것을 더 자주 인정합니다.

빠져 있는 측정치는 구매자가 가장 원할 만한 바로 그 측정치다. NVIDIA 외부에서는 아무도 24GB 체크포인트에 대한 처리량이나 지연 시간 실행 결과를 공개하지 않았는데, 이는 24GB 체크포인트를 출시하는 핵심 목적 그 자체다.

22개 점이 실제로 어디로 가는가

22포인트 지수 격차는 범주 차이처럼 들리며, 일부 작업에서는 실제로 그렇습니다. Kimi K3는 과학 코딩에서 20포인트 더 우수하고, 장문맥 검색에서 19포인트 더 우수하며, 대학원 수준 과학 질문에서 7포인트 이상 더 우수합니다. 이는 반올림 오류가 아니며 비교 세트의 인공적 산물도 아닙니다.

하지만 N​VIDIA 모델 뒤에 있는 압축 이야기는 그 결손의 형태를 설명할 만큼 구체적이다. 이 체크포인트는 N​VIDIA의 라우터 기반 아키텍처 탐색인 Star Elastic이 만들어냈는데, 이는 120B-A12B Super VL 부모를 가져다가 배치 크기 1과 128K 컨텍스트에서 24GB 아래에 들어갈 레이어별 전문가 수와 MoE 너비를 탐색하여 전문가 top-K를 22에서 9로 낮춘 다음, 정확도를 회복하기 위해 양자화 인식 증류로 전문가를 요소당 2.0625비트로 양자화했다. 이는 저장된 지식을 풋프린트와 맞바꾸는 의도적 거래다. 전문가 가중치당 2비트로 짜낸 모델은 절차는 유지하고 사실은 잃는다. 그래서 환각 행은 개선되는 반면 정확도 행은 붕괴한다.

NVIDIA 자체 벤치마크 표는 반대 방향으로 같은 주장을 한다. 이 회사는 Bolt 모델이 Terminal-Bench 2.1, GPQA Diamond, BrowseComp, WebArena vision에서 Qwen3.6-35B-A3B, Gemma4 26B-A4B, 그리고 자체 Nemotron 3.5 Lightning 30B-A3B를 앞선다고 공표한다 — 즉, 에이전트 및 도구 사용 작업에서 — 반면 AA-Omniscience 정확도에서는 Gemma4에, PinchBench에서는 Qwen3.6에 뒤진다. 압축이 보존한 것은 바로 에이전트 실행이다.

둘 다 오픈 웨이트라서 선택은 전력에 관한 것이 된다

이 부분이 이번 맞대결을 폐쇄형 API와의 비교와 구분 짓는 차이점입니다. Kimi K3의 가중치는 다운로드할 수 있습니다. 하드웨어만 갖추고 있다면 2.8T 모델을 직접 실행하고 토큰당 비용을 전혀 지불하지 않아도 됩니다 — 24GB 파일과 같은 제안이지만 규모는 완전히 다릅니다. 여기 있는 어느 모델도 접근 권한을 마음대로 바꿀 수 있는 벤더에 종속되지 않습니다.

실질적인 구분은 배포 위치에 있습니다. 24GB IQ2 체크포인트는 단일 A100, H100 또는 Blackwell 부품에서 vLLM으로 실행되며, NVIDIA 자체 참조 레시피도 llama.cpp와 GGUF 변환을 언급합니다. 그렇게 해서 RTX 및 DGX Spark 머신의 로컬 에이전트 하네스 안에 들어가게 됩니다. 권장 서빙 명령은 한 줄짜리 토글이 아닙니다. vLLM 나이트리 빌드를 고정하고, 다운로드한 reasoning-parser 플러그인을 요구하며, 선형 및 MoE 백엔드용 b12x 커널이 필요하고, Mamba 및 어텐션 백엔드를 명시적으로 설정하며, 7개의 LiLiCorr 드래프트 토큰으로 추측적 디코딩을 활성화합니다. 그것은 머신을 직접 소유하려는 사람을 위한 레시피이지, 트랜스크립트를 원하는 사람을 위한 것이 아닙니다.

Kimi K3는 다른 방향으로 나아간다. 그 설계 전체는 사용자가 추론을 임대한다고 가정하며, 가격도 그에 맞게 책정된다 — 백만 토큰당 입력 $3.00, 출력 $15.00은 오픈 웨이트 시장의 최상단을 겨냥한 의도적 포지션이다.

그것을 읽는 대신 비교를 실행하기

22포인트 지수 격차가 당신의 워크로드에 중요한지 알고 싶다면, 값싼 실험은 비싼 쪽을 호출해 보는 것입니다. Kimi K3는 OrcaRouter의 카탈로그에 kimi/kimi-k3로, 우리가 라우팅하는 200개가 넘는 나머지 모델과 동일한 키를 사용하며, M​oonshot의 공급자 정가로 청구되고 마크업이 추가되지 않습니다 — 따라서 M​oonshot 가격 변경은 다음 결제 주기가 아니라 같은 날 우리 쪽에 반영됩니다. 실제 트래픽처럼 보이는 프롬프트 세트를 여기에 보내고 로컬에서 실행 중인 것과 차이를 측정하세요. OrcaRouter는 어떤 N​VIDIA 모델도 호스팅하지 않으며 제공할 Bolt 엔드포인트도 없습니다. N​emotron 제품군은 우리 카탈로그에 없으며, 이 비교의 로컬 쪽은 어느 쪽이든 하드웨어 문제로 남습니다.

이 경우 라우팅이 진가를 발휘하는 지점은 폴백 경로입니다. Kimi K3는 높은 가격대에서 단일 모델에 올인하는 선택이며, 하나의 고성능 모델에 연결된 프로덕션 에이전트의 실패 양상은 업스트림 용량 문제가 곧 인시던트가 된다는 것입니다. 하나의 엔드포인트 뒤에서 여러 제공업체에 걸친 자동 페일오버는 이를 재시도로 바꿔줍니다.

결정하는 방법

그 규칙은 격차가 시사하는 것보다 짧다.

요구 사항에 오프라인, 프라이빗, 온디바이스 또는 토큰당 비용 없음이라는 말이 포함된다면, Kimi K3는 후보가 아니며 비교는 끝난 것이다. 2.8조 매개변수 모델은 지금 이 글을 읽고 있는 기기에서 실행되지 않을 것이고, 24GB 체크포인트는 실행될 것이다. 노트북을 사고, 인덱스에서 21.4를 받아들이고, 생화학에 관한 질문보다는 도구 사용에 맞춰라.

당신의 요구 사항이 어려운 추론에서의 정확성, 수십만 토큰에 걸친 장문 컨텍스트 작업, 또는 저장소 규모 코딩이라면, 24GB 모델은 잘못된 도구이며 인덱스 격차가 진실을 말해 주고 있습니다. Kimi K3에 돈을 지불하세요.

어느 벤더도 아직 결론을 내리지 못한 것은 중간 사례인데, 이는 아무도 공개하지 않은 숫자, 즉 2비트 체크포인트가 실제로 구매 가능한 하드웨어에서 얼마나 빠르게 실행되는지에 달려 있기 때문이다. 독립적인 처리량 측정 결과가 나오기 전까지, "24GB 파일이 내 에이전트 루프에서 2.8T 플래그십을 대체할 수 있는가"에 대한 정직한 답은 지능 격차는 측정 가능하지만 지연 시간 측면은 아직 측정 가능하지 않다는 것이다.

실패 모드가 아직 문서화되지 않은 모델의 경우, 유용한 대응물은 다른 곳에서 이미 무엇이 잘못되었는지에 대한 기록입니다. 이 등급의 모델과 관련된 문서화된 AI 사고와 에이전트 실패는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 분쟁 플래그가 함께 제공됩니다.