Ripple 65B Preview vs Nemotron 3.5 Bolt 74B: VRAM 비용이 먼저다

이 두 모델은 같은 약속으로 판매됩니다 — 자신이 소유한 하드웨어에서 진지한 에이전틱 코더를 실행할 수 있다는 것입니다. Ripple 65B Preview는 컨텍스트 토큰을 단 하나도 로드하기 전에 BF16에서 약 130GB의 메모리를 요구합니다. Nemotron 3.5 Bolt 74B-A9B는 24GB를 요구하는데, NVIDIA가 이를 2.0625비트로 압축했기 때문입니다. 이는 구매해야 하는 하드웨어에서 다섯 배 차이이며, 벤치마크 표가 한마디 꺼내기도 전에 이 비교를 결정짓습니다.

흥미로운 부분은 바로 여기입니다. 두 연구소가 동일한 버전으로 공개한 단 하나의 벤치마크에서, 풋프린트가 작은 모델이 승자가 아니기 때문입니다. NVIDIA의 Nemotron 3.5 Bolt 74B-A9B는 Terminal-Bench 2.1에서 50.98을 보고합니다. Ricursive의 Ripple 65B Preview는 동일한 리비전에서 80.5를 보고합니다. 30점 차이, 같은 시험이지만 — 조건이 너무 달라서 정직한 해석은 헤드라인이 시사하는 것보다 좁습니다.

무엇보다도 계산이 먼저다

Ripple 65B Preview는 dense 모델입니다. 650억 개 파라미터 모두가 매 토큰에서 활성화되므로, BF16에서는 가중치만 65 × 2바이트 = 130GB이며 이는 KV cache를 제외한 수치입니다. Ricursive는 실제로 NVFP4 변형을 제공하며, 이는 가중치를 대략 4분의 1로 줄여 약 33GB에 cache를 더한 수준이 되고, 바로 이 빌드가 단일 GPU 또는 DGX Spark 배포를 현실적으로 만듭니다. 회사가 밝힌 목표는 DGX Spark이며, 커스텀 커널 적용 전 기준 batch size 8에서 두 대의 B200으로 초당 250 tokens를 달성하는 것입니다.

Nemotron 3.5 Bolt 74B-A9B는 9B 활성 매개변수를 가진 Mixture-of-Experts 모델로, NVIDIA의 Nemotron 3.5 Super VL 120B-A12B 부모 모델에서 전문가 top-K를 22에서 9로 줄이는, 회사가 Star Elastic이라고 부르는 라우터 기반 검색을 통해 파생되었습니다. IQ2_XXS의 2.0625비트에서 약 19GB의 가중치 크기가 되며 배치 크기 1로 24GB 카드에 들어갑니다. 그것이 전체 설계 목표이며, 달성되었습니다.

• 메모리 — BF16 약 130GB / NVFP4 약 33GB vs 2.06비트에서 약 19GB, 배치 1에서 24GB 카드

• 형태 — 65B dense vs 74B 전체 / 9B 활성 MoE

• 배경 — 광고된 1M 대 262,144, 28 GB 카드에서 64K를 권장하는 vLLM 레시피 기준

• 모달리티 — 텍스트 전용 vs 텍스트, 이미지 및 비디오 입력

• 라이선스 — Apache 2.0 vs OpenMDW-1.1

• 가격 — 첫 번째 호스팅 엔드포인트에서는 백만 개당 $0.20 / $0.60인 반면, 호스팅 환경의 토큰당 가격은 전혀 없습니다

동일한 하네스, 다른 조건

Terminal-Bench 2.1은 두 연구실이 동일한 버전을 인용한 드문 사례로, 80.5 대 50.98 비교를 대부분의 교차 모델 벤치마크 논의와 달리 정당한 것으로 만들어 줍니다. 하지만 정당성은 공정성과 같지 않으며, 명심해야 할 두 가지 비대칭성이 있습니다.

첫 번째는 양자화입니다. NVIDIA의 50.98은 주로 2비트 빌드로 배포되는 모델에 대해 공급업체가 보고한 수치입니다. 카드의 대표 GPQA 수치인 86.43은 해당 압축 체크포인트에서 측정된 값입니다. Ricursive는 자신의 점수가 "BF16에서 최대 노력 수준" — 전체 정밀도 빌드 — 으로 측정되었다고 명시합니다. 2비트 실행을 BF16 실행과 비교하는 것은 같은 저장소를 공유할 뿐인 두 개의 서로 다른 모델을 비교하는 것입니다.

두 번째는 NVIDIA가 내놓은 수치가 더 보수적인 주장이라는 점입니다. 이 회사는 Terminal-Bench에서 과장 없는 50.98을 공개하면서 동시에 GPQA Diamond에서 86.43을 공개했고, 이후 독립 평가자들은 이 모델을 Artificial Analysis의 Intelligence Index에서 21점으로 평가했습니다. 이 점수는 v4.3.2에서 산출된 것으로, 같은 가격대의 다른 모델들이 인용되는 v5 재구축판과는 다른 인덱스 버전입니다. 그 21을 v5 수치 옆에 놓고 빼지 마세요. 인덱스 버전은 서로 호환되지 않으며, 이를 혼용하는 것은 이번 주에 작성된 비교 글에서 가장 흔한 오류입니다.

24GB 모델이 확실히 우세한 경우

GPQA Diamond가 가장 명확한 사례다. Ripple 65B Preview는 85.2를 보고한다. Nemotron 3.5 Bolt 74B-A9B는 86.43을 보고한다. 소비자용 카드 한 장에 들어가는 모델이 대학원 수준 과학 질문에서 1.2점 앞선다 — 잡음으로 볼 수 있을 만큼 작은 격차이지만, Ripple에 유리한 격차는 아니다. 12조 토큰으로 처음부터 학습된 65B dense 모델은 더 큰 부모 모델에서 증류된 압축된 74B MoE에 비해 지식 우위를 확보하지 못했고, 그럴 이유도 없다.

Nemotron은 이미지와 비디오도 처리합니다. Ripple은 텍스트를 처리합니다. 에이전트가 렌더링된 페이지, 차트 또는 실패한 CI 작업의 스크린샷을 봐야 한다면, 그것은 프롬프트로 우회할 수 있는 벤치마크 차이가 아닙니다.

Ripple의 장점은 자체 모델 카드의 다른 지표에서도 드러난다. SWE-bench Verified에서 76.5, MCP Atlas에서 71.67, IFBench에서 79.2, FORTRESS Adversarial에서 83.8을 기록했다. 이는 65B 모델로서는 강력한 수치이며, Terminal-Bench 점수와 같은 점을 가리킨다. 즉 이 모델은 범용성을 희생하는 대신 도구 사용과 에이전트형 코딩에 특화해 후속 학습된 모델이다.

비교할 수 없는 속도 주장

Ricursive의 초당 250토큰은 배치 크기 8에서 B200 두 대로 나온 수치입니다. NVIDIA의 초당 83.99토큰은 AIPerf의 코딩 벤치마크에서 추측형 드래프터(speculative drafter)를 갖춘 노트북급 RTX Spark 머신으로 나온 수치입니다. 이 둘은 같은 하드웨어에서의 동일한 측정이 아니며, 이를 한 문장에 함께 인용하는 것은 정직하지 않습니다. 말할 수 있는 것은 방향성입니다: Ripple은 자사 수치를 달성하려면 데이터센터급 가속기가 필요하고, Nemotron은 책상 아래에 들어갈 만한 머신에서도 쓸 만한 속도를 내도록 튜닝되었습니다.

실용적인 환산 기준은 하드웨어 달러당 처리량이며, 두 모델 모두 이 수치를 공개한 곳은 없습니다. 두 모델 중 하나를 선택해야 한다면 이 수치는 직접 산출해야 합니다. 배치 크기, 컨텍스트 길이, 그리고 NVFP4 빌드를 실행하는지 BF16 빌드를 실행하는지에 따라 달라지기 때문입니다.

두 가지 허용적 라이선스, 하나의 의미 있는 차이

Ripple는 Apache 2.0이며, 이는 별도 설명이 필요 없고 아무런 임계값도 두지 않습니다. Nemotron 3.5 Bolt는 NVIDIA 자체 오픈 모델 라이선스인 OpenMDW-1.1로 배포되는데, 상업적 사용은 허용하지만 법무팀이 사전 승인해 둔 OSI 표준 기본 라이선스는 아닙니다. 실제로는 둘 다 사용할 수 있지만, 조달 과정에서는 그중 하나에 2주가 추가로 걸릴 것입니다.

Nemotron의 지식 컷오프는 2026년 5월이며, 언어 지원은 영어와 코드가 우선이고 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어를 지원합니다. Ripple의 설명에는 말뭉치가 대부분 영어와 코드라고 명시되어 있습니다. 둘 다 다국어 모델이 아니며, 그것이 요구 사항이라면 둘 다 후보 목록에 올릴 수 없습니다.

둘 중 어느 것도 직접 실행하지 말아야 할 때

둘 모두에 반대하는 정직한 근거는 운영상에 있습니다. 자체 GPU에 올린 모델은 직접 패치하고, 모니터링하고, 용량을 계획하고, 계속 웜 상태로 유지해야 하는 모델입니다. 그리고 24GB 카드에서 배치 크기 1로 2비트 MoE를 돌리는 것은 프로덕션 서빙 계층이 아니라 매우 유능한 개발용 장비일 뿐입니다. 트래픽이 몰렸다 줄었다 하거나 멀티테넌트 환경이 되는 순간, 토큰당 과금 호스팅이 더 나쁜 단가라도 총비용에서는 이깁니다. 유휴 VRAM에 대한 비용을 더 이상 지불하지 않게 되니까요.

호스팅이 꼭 필요한 스택 영역에서 OrcaRouter가 메우는 격차가 바로 이것입니다: 하나의 API 키로 200개 이상의 모델을 공급자 정가에 0% 마크업으로 이용, 따라서 공급업체의 가격 인하가 다음 계약 갱신 때가 아니라 당일 바로 적용되고, 한 공급자의 성능이 저하되면 자동 페일오버가 작동합니다. 이 두 모델은 현재 저희 카탈로그에 없습니다 — Nemotron 3.5 Bolt는 공개된 종량제 엔드포인트가 전혀 없고, Ripple은 Ricursive 자체 엔드포인트와 타사 플랫폼을 통해 API에 접속합니다. 라우터가 제공하는 것은 빠져나갈 수 있는 경로입니다: 가중치를 사용해 로컬에서 프로토타이핑한 뒤, 클라이언트를 다시 작성하지 않고 프로덕션 경로를 호스팅 모델로 옮기면 됩니다.

경험상의 대략적인 규칙

기계가 제약이라면 24GB 모델을 구매하세요. Nemotron 3.5 Bolt 74B-A9B는 이 둘 중 직접 양자화하지 않고도 소비자용 단일 카드에서 실행되는 유일한 모델이며, 이미지를 읽을 수 있고, GPQA에서 Ripple과 1점 차이 이내입니다. 대신 Terminal-Bench 2.1에서 약 30점을 포기하고 2비트 체크포인트를 감수해야 하는데, 이는 에이전트 신뢰성에 있어 실질적인 비용이며 벤치마크 격차는 이를 아마 과소평가할 것입니다.

업무가 텍스트 전용 에이전틱 코딩이고 하드웨어나 저렴한 호스팅 엔드포인트가 있다면 130 GB 모델을 구매하세요. Terminal-Bench 2.1에서 Ripple 65B Preview의 80.5점은 이번 달 두 연구소가 내놓은 에이전틱 코딩 관련 주장 중 가장 강력한 것이며, Apache 2.0 라이선스는 어디서든 찾을 수 있는 것 중 활용 장벽이 가장 낮습니다. 그냥 NVFP4 빌드를 실행하고, 메모리 예산을 잡고, 믿기 전에 자체 태스크 세트에서 그 수치를 재현하세요 — 카드 자체도 재현이 어려웠다고 경고합니다.