Nemotron 3.5 Bolt vs Kimi K3: 24GB 다운로드 대 2.8조 파라미터 리더

정직하게 짧게 답하자면, 이 두 모델은 같은 작업을 두고 경쟁하는 게 아니며, 그 이유는 숫자 하나로 측정된다. Kimi K3는 1,048,576토큰의 컨텍스트를 보유한다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 262,144를 보유한다. 당신의 작업이 "이 전체 코퍼스를 읽고 한 번에 답하라"라면, 24GB 체크포인트는 다른 어떤 점을 따지기도 전에 탈락한다. 그리고 당신의 작업이 "네트워크도, 사용량 미터링도, 벤더 개입도 없이 워크스테이션에서 실행하라"라면, Kimi K3 역시 논외다. Kimi K3는 Moonshot AI가 2026년 7월 15일 독점 호스팅 API로 공개한 2.8조 매개변수 전문가 혼합(mixture-of-experts) 모델이다. Nemotron 3.5 Bolt 74B-A9B 24GB는 오픈 웨이트 파일로, 주어진 토큰마다 740억 개 매개변수 중 90억 개를 사용하며 24GB 메모리에 들어간다.

Bolt 체크포인트는 2026년 10월 7일, 별도의 발표 없이 Hugging Face에 올라왔다. 이 모델과 그 4GB 형제 모델인 Nemotron 3.5 Bolt E4B의 이름을 밝힌 NVIDIA 자체 게시물은 8일 뒤인 10월 15일에 도착했다. 이 순서는 알아둘 가치가 있다. 무엇을 확인할 수 있는지를 결정하기 때문이다. 공개 기록의 8일간은 다운로드 가능한 파일과 모델 카드로 이루어져 있고, 이를 설명하는 글은 그 뒤에 나왔다.

각 모델이 수행하도록 설계된 작업

Kimi K3는 Moonshot의 플래그십이자 지금까지 가장 뛰어난 출시작입니다: 토큰당 약 1040억 개의 파라미터가 활성화되는 2조 8000억 파라미터 희소 전문가 혼합(MoE) 모델로, 장시간에 걸친 코딩과 엔드투엔드 지식 작업을 위해 만들어졌으며, 텍스트와 이미지를 입력받아 텍스트를 반환합니다. 이는 배포되는 것이 아니라 서빙됩니다. 다운로드도, 로컬에서 실행할 양자화 빌드도, 노트북에서 돌릴 만큼 작은 버전도 없습니다.

Nemotron 3.5 Bolt은 정반대의 구성입니다. NVIDIA는 120B-A12B Nemotron 3.5 Super VL 모델을 가져와 Star Elastic이라고 부르는 라우터 기반 압축을 적용해 74B-A9B에 도달한 뒤, 그 결과를 전문가 요소당 2.0625비트 — IQ2_XXS 형식 — 로 양자화했으며, 양자화 인식 증류를 통해 가격 책정이 희생시키는 정확도를 복구했습니다. 백본은 벤더가 LatentMoE라고 부르는 Mamba-2와 Transformer 하이브리드이며, 이미지 및 비디오 입력을 위한 C-RADIO v4-H 비전 인코더를 갖추고 있습니다. 이는 Ampere, Hopper, Blackwell 칩에서 vLLM으로, RTX Spark 및 DGX Spark 하드웨어에서는 llama.cpp를 통해 실행되며, 상업적 사용을 허용하는 OpenMDW-1.1 라이선스 하에 제공됩니다.

긴 코퍼스를 읽기, 가격이 매겨진

이 지점에서 비교는 선호가 아니라 산술이 됩니다. Kimi K3는 Moonshot의 정가에 아무것도 더하지 않고 OrcaRouter에서 라우팅됩니다: 입력 토큰 100만 개당 $3.00, 출력 토큰 100만 개당 $15.00, 캐시 읽기는 $0.30입니다. 우리 카탈로그에서 첫 토큰까지 걸리는 시간의 p50은 7.02초이고 p95는 10.00초이며, 지난 7일 동안 우리 카탈로그 전반에서 9억 9,060만 토큰의 라우팅 트래픽을 처리했습니다 — 대규모 롱컨텍스트 읽기는 사고 실험이 아니라 실제 워크로드입니다.

Nemotron 3.5 Bolt에는 가격이 없습니다. 가격을 매길 대상이 없기 때문입니다. 호스팅 엔드포인트도, 벤더 API도, 요금표도 없으며, Artificial Analysis가 속도와 Intelligence Index 작업당 비용을 모두 N/A로 표시하는 이유도 바로 그 때문입니다. 대신 그것이 가진 것은 한 번 구매하는 메모리 상한과, 전기 요금으로 반올림될 정도의 한계 비용입니다. 매일 밤 고정된 코퍼스를 읽는 파이프라인에서 백만 입력 토큰당 3달러와 0의 차이는 할인이 아니라 다른 회계 모델이며, 손익분기점은 이 기사가 아니라 여러분의 재무팀이 답할 자본 지출 문제입니다.

비전은 사람들이 생각하는 것처럼 결정적 판가름 기준이 아니다

두 모델 모두 이미지를 입력받습니다. 공통점은 거기까지입니다.

• 입력 — Kimi K3는 텍스트와 이미지를 받아들이고, Nemotron 3.5 Bolt는 텍스트, 이미지, 동영상을 받아들입니다. 화면 녹화를 보거나 카메라 피드에서 프레임을 샘플링하는 에이전트의 경우, 이 중 파일을 직접 넘겨받을 수 있는 것은 하나뿐입니다.

• 비전 경로의 정밀도 — Bolt는 목적에 맞게 제작된 C-RADIO v4-H 비전 인코더를 탑재하며, 압축 원본인 Super VL 클라이언트로부터 멀티모달 동작을 물려받습니다. Kimi K3의 시각 이해는 네이티브로 문서화되어 있지만 Moonshot이 해당 모델에서 앞세우는 부분은 아닙니다. NVIDIA 자체 표에는 Bolt의 WebArena 비전 점수가 50.86으로 기재되어 있습니다. 이는 벤더 보고 수치로 간주하십시오.

• 추론 제어 — Kimi K3는 temperature, top_p, seed를 노출하지 않으며, 추론 깊이는 reasoning-effort 파라미터 하나로만 설정됩니다. Bolt의 추론 모드는 채팅 템플릿 스위치로, enable_thinking true 또는 false이며, 동일한 Super VL 클라이언트에서 상속됩니다.

• 추측 — Bolt는 DFlash를 통해 구동되며 단계마다 일곱 개 토큰을 미리 제안하는 LiLiCorr drafter와 함께 제공됩니다. 이것이 AIPerf SPEED-Bench에서 초당 84토큰이라는 NVIDIA의 주장 뒤에 있는 메커니즘입니다. 호스팅 엔드포인트에는 이에 상응하는 수단이 없으며, 운영자가 프로비저닝하는 대로 얻게 됩니다.

측정된 격차, 그리고 그것이 무엇으로 이루어져 있는지

Artificial Analysis는 Kimi K3를 Intelligence Index에서 43.6점, Nemotron 3.5 Bolt를 21점으로 평가합니다. 이를 접전으로 해석할 방법은 없습니다. Kimi K3의 보조 지표들은 긴 컨텍스트를 읽는 사람이 필요로 하는 부분에서 강력합니다 — 측정된 138개 모델 중 9위인 AA Coding Index 76.2, GPQA Diamond 점수 93.5, 그리고 88.7의 긴 컨텍스트 회상 수치인데, 이는 백만 토큰 윈도우가 단순히 선언된 것이 아니라 사용 가능하다는 것을 알려주는 숫자입니다.

Bolt의 21점은 다른 종류의 결과다. 이는 풋프린트로 필터링된 클래스의 67개 모델 중 네 번째로 높은 점수이며, 해당 클래스 중앙값은 8이고, Artificial Analysis는 이를 비슷한 규모의 선도적인 오픈웨이트 모델 중 하나로 설명한다. 두 수치를 함께 받아들이는 올바른 방식은 하나는 프런티어 랩이 메모리 제약 없이 무엇을 할 수 있는지를 측정한 것이고 다른 하나는 24GB가 무엇을 담을 수 있는지를 측정한 것이라는 점이다. 22 지수 포인트는 그 제약의 대가이지, 더 작은 모델이 형편없이 만들어졌다는 증거가 아니다.

Bolt 쪽에서 빠진 것은 그것이 얼마나 빠른지에 대한 독립적인 측정이다. NVIDIA는 최소 초당 80토큰의 디코딩을 설계 목표로 보고하고 자체 벤치에서 84를 기록했으며, 128GB Surface Laptop Ultra에서 llama.cpp 실행 시 초당 83.99토큰을 달성했다. 이 글을 쓰는 시점까지 24GB 가중치에 대한 처리량이나 지연 시간 수치를 공개한 제3자는 없다. 반면 Kimi K3의 지연 시간은 측정되어 공개되어 있다 — 첫 토큰까지 p50 7.02초, p95 10.00초 — 그리고 계획의 기준으로 삼아야 할 숫자는 벤더의 것이 아니라 이 수치들이다.

라우팅 계층이 답을 바꾸는 경우

Kimi K3는 Moonshot의 정가에 0% 마크업을 더한 가격으로 kimi/kimi-k3라는 이름으로 우리 카탈로그에 있습니다, 200개 이상의 다른 모델과 동일한 키 뒤에 있고, 업스트림 제공자 중 하나가 성능이 저하될 때 자동 페일오버를 지원합니다. Nemotron 3.5 Bolt는 우리 카탈로그에 없습니다 — 우리는 어떤 NVIDIA 체크포인트도 호스팅하지 않으며 호출할 Bolt 엔드포인트도 없습니다 — 따라서 여기서 라우팅 질문은 우리가 둘 중 어느 것을 제공하는지가 아닙니다. 그것은 실제 파이프라인의 두 절반이 서로 어떻게 통신하는지입니다.

효과적인 패턴은 로컬 리더와 호스티드 리즈너입니다. Bolt은 여러분의 하드웨어에 상주하며, 데이터가 건물 밖으로 나가서는 안 되고 물량이 커서 토큰당 과금이 부담스러운 고빈도 패스를 처리합니다. Kimi K3는 100만 토큰 윈도나 최전선급 추론이 필요한 요청을 백만 토큰당 $3과 $15로 처리합니다. 둘 앞에 라우팅 규칙을 하나 두면 그 분할은 리팩터가 아니라 설정 한 줄이 됩니다: 로컬 컨텍스트 예산을 초과하는 요청은 Kimi K3로 가고, 나머지는 모두 워크스테이션에 남습니다. 모델 퓨전은 비싼 호출이 중요한 경우라면 알아둘 가치가 있는 변형입니다 — 여러 모델이 같은 프롬프트에 함께 답하고, 일치하는 답을 채택합니다.

볼 만한 것

이 페어링을 결판낼 구체적 증거는 범위가 좁고 임박해 있다. 24GB Bolt 가중치에 대한 첫 독립적 처리량 및 지연 시간 실행은 NVIDIA의 초당 84토큰을 확인해 주거나 그 수치를 깎아내릴 것이다. Bolt의 공개된 호스팅 가격은 이 비교의 비용 측면을 단순한 산수로 바꿔 놓을 것이다. 그리고 Kimi K3에 대한 두 번째 장문맥 회상 측정은 88.7이 하나의 하네스 특성이 아니라 모델 자체의 속성임을 확인해 줄 것이다.

그때까지는, 이 요약은 두 공급업체 어느 쪽의 프레이밍보다도 범위가 좁다. Kimi K3는 벤치마크가 측정할 수 있는 모든 축에서 더 나은 모델이며, 둘 중 오늘 오후에 호출할 수 있는 유일한 모델이다. Nemotron 3.5 Bolt는 네트워크가 안 될 때도 계속 작동하는 둘 중 유일한 모델이고, 토큰당 한계 비용이 0인 유일한 모델이다. 어디에도 보내지 말았어야 했던 작업에는 두 번째를, 도달 범위가 필요한 작업에는 첫 번째를 고르세요.