Nemotron 3.5 Super vs Claude Opus 5.5: 120억 개의 활성 매개변수, 계측기에 맞서다

이 비교를 좌우하는 숫자는 바로 여기 있으며, 어느 벤치마크 표에도 나와 있지 않습니다. N​VIDIA N​emotron 3.5 Super — N​VIDIA가 더 완전한 이름인 N​VIDIA N​emotron 3.5 Super VL이라는 이름으로 공개하고, Ollama 라이브러리에는 nemotron-3.5-super/로 등록되어 있는 모델 — 은 토큰을 하나 생성할 때마다 1,200억 개 매개변수 가운데 약 120억 개를 활성화합니다. Claude Opus 5.5는 매개변수 수를 전혀 공개하지 않으며, 입력 토큰 100만 개당 4달러, 출력 토큰 100만 개당 20달러를 청구합니다. 따라서 이 두 모델 가운데 하나는 토큰당 한계 비용이 전기, 즉 전력량의 함수이고, 다른 하나는 토큰당 한계 비용이 회계상의 개별 비용 항목입니다. 두 숫자 모두 실제입니다. 하지만 어느 쪽도 어느 모델의 운영 비용이 더 저렴한지는 알려주지 않습니다. 두 모델이 서로 다른 화폐로 가격이 매겨져 있기 때문입니다.

지금 이 글을 쓸 가치가 있는 이유: NVIDIA 가중치가 2026년 10월 12일 Hugging Face에 조용히, 이름이 N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16인 저장소에 올라왔습니다. 이는 NVIDIA 자체 뉴스룸 게시물이 10월 15일에 이를 공식화하기 사흘 전이었습니다. 그 발표 전까지 Nemotron 3.5 Super가 실행 가능한 것으로 존재한다는 유일한 공개 확인은 일련의 레지스트리 아티팩트였습니다 — 그리고 그 아티팩트의 사양 일부가 벤더의 카드에 있는 사양과 일치하지 않는다는 사실이었습니다. 저장소에서 알 수 있는 것은 실제로 상당한 양입니다: 바이트 수, 양자화 형식, 버전 게이트, 라이선스. 어떤 저장소에서도 알 수 없는 것은 당신의 워크로드에서 호스팅된 프런티어 모델을 상대로 어떻게 동작하는가입니다. 이 페이지는 그 간극에 관한 것입니다.

무엇보다도 먼저, 저장소가 실제로 담고 있는 내용

10월 12일, 60초 간격으로 세 개의 사용 가능한 체크포인트가 공개되었습니다: BF16 레퍼런스 가중치, Base 변형, 그리고 NVFP4 빌드입니다. 별도의 LiLiCorr 드래프터 저장소는 하루 전인 10월 11일에 올라왔으며, 이는 해당 티어의 가장 이른 공개 흔적입니다. 모델 카드에는 MoE 계층당 512개의 라우팅된 전문가를 갖춘 하이브리드 Mamba-2 및 Transformer 전문가 혼합(MoE), C-RADIO 비전 인코더와 비전-언어 커넥터, 총 1,200억 개 매개변수 중 120억 개 활성, 최대 100만 토큰의 컨텍스트, 텍스트·이미지·비디오 입력 및 텍스트 출력, 그리고 Multi-Token Prediction 헤드를 통한 네이티브 추측 디코딩이 설명되어 있습니다. 라이선스는 상업적 사용을 허용하는 OpenMDW-1.1입니다. BF16의 경우 배포 사양은 H100 4개 또는 GB200 2개로 명시되어 있습니다.

Ollama 목록은 대부분의 사람들이 가장 먼저 접하게 될 버전이며, 바로 여기에서 사양이 어긋나기 시작합니다. 이는 아홉 개의 태그를 노출합니다. 그중 네 개 — :latest/, :120b/, :120b-a12b/ 및 :120b-a12b-q4_K_M/ — 는 동일한 q4_K_M 레이어로 귀결되므로, 기본 pull은 4비트 양자화이고 "120b"라는 이름이 여러분이 받게 되는 파일은 아닙니다. 가장 작은 것을 포함한 모든 태그는 1.6 GiB 비전 프로젝터를 포함하는데, 이미지 경로가 선택 사항이 아니기 때문입니다. 기본 제공되는 샘플링은 temperature 1.0과 top_p 0.95이며, 이는 카드의 텍스트 권장 사항입니다 — 카드의 비전 설정은 temperature 0.6입니다. 그리고 런타임 게이트가 강제됩니다: config는 requires: 0.40.5/를 선언하므로, 구버전 Ollama에서는 pull이 전혀 작동하지 않습니다.

그 어느 것도 결함이 아닙니다. 그것은 공급업체의 릴리스 노트와 이를 커뮤니티에서 패키징한 것 사이의 흔한 간극이며, 바로 그렇기 때문에 하나가 아니라 두 문서를 모두 읽어야 하는 것입니다.

12B 활성의 솔직한 산술

희소 활성화는 이 모델의 상업적 논거 전체를 이루는 것이며, 그것이 무엇을 주고 무엇을 주지 않는지를 정확히 따져볼 가치가 있다.

이로써 얻는 것: 추론 시, 하나의 토큰은 네트워크의 약 10분의 1에만 닿는다. 따라서 고정 하드웨어에서의 처리량은 120B 모델보다 12B dense 모델에 훨씬 더 가깝고, 전체 1,200억 개 파라미터가 드러나는 유일한 곳은 메모리 풋프린트다. N​VIDIA 자체 카드는 동급 다른 제품보다 최대 5배 빠른 처리량을, 그리고 벤더의 Dynamo 스택에서 서빙될 경우 최대 8배 더 많은 동시 사용자를 85% 더 낮은 지연 시간으로 제공한다고 주장한다. 이는 벤더 하드웨어에서 산출된 벤더 수치이며, 감사가 아니라 사양이다. 그러나 그 주장의 방향성은 아키텍처의 직접적인 귀결이며, 적어도 일관된 이야기다.

그것으로 얻지 못하는 것: 가중치는 여전히 전체가 메모리에 상주해야 한다. BF16 GGUF 레이어는 230.4 GiB이다. q4_K_M 기본값은 82.3 GiB에 프로젝터를 더한 값이다. 토큰당 120억 개의 매개변수만 활성화되기 때문에 두 수치 모두 줄어들지 않는다. 따라서 하드웨어 하한은 메모리가 정하고, 처리량은 활성화가 정한다 — 이것이 96 GB 카드 한 장이 4비트 모델을 넉넉히 담고도 같은 총 크기의 dense 모델을 무색하게 만들 만한 속도로 토큰을 생성할 수 있는 이유이며, 같은 카드가 전체 정밀도 모델은 전혀 담을 수 없는 이유이기도 하다.

이제 O​pus 5.5를 그 옆에 두십시오. A​nthropic의 모델은 컨텍스트 100만 토큰, 최대 출력 128,000 토큰이며, 텍스트, 이미지, 파일 입력을 지원하고, 가격은 $4/$20이고 캐시 읽기는 백만 토큰당 $0.20입니다. 다운로드도 없고, 양자화 결정도 없고, 수정할 샘플링 기본값도 없고, 고정할 버전도 없습니다. 또한 이 모델은 감사가 철저히 이루어진 모델입니다: 대부분의 사람들이 이런 것들을 비교하는 데 사용하는 제3자 패널의 최상위에 위치하며, 이 N​emotron 등급보다 훨씬 위에 있습니다.

그러니까 이 비교는 "어느 쪽이 더 나은가"가 아니다. 측정된 일반 역량에서는 호스팅 플래그십이 이기며, 그렇지 않은 척하는 것은 구매 결정을 앞둔 독자에게 해가 될 것이다. 이 비교는 두 비용 곡선이 교차하는 지점에 관한 것이다.

1200억 파라미터 오픈 모델이 진가를 발휘하는 곳

세 곳, 그것도 아주 구체적인 곳입니다.

• 고정 청구로 처리하는 볼륨. 셀프 호스팅 체크포인트는 한계 비용을 고정 비용으로 바꾼다. 트래픽이 낮으면 종량제가 확실히 이긴다 — H100 네 대의 월 비용은 대부분의 팀이 토큰에 지출하는 비용보다 크다. 트래픽이 높고 꾸준하면 고정 비용은 상각되고 종량제는 그렇지 않다. 여기서 중요한 유일한 계산은 교차점이며, 그것은 두 모델의 품질이 아니라 여러분의 토큰 볼륨에 달려 있다.

• 페이지 수가 비용을 좌우하는 비전 작업. N​VIDIA의 카드는 MMLongBench-Doc에서 62.82, MathVision에서 78.16, CharXiv 추론에서 80.82, OCRBench v2 영어에서 68.12(중국어는 59.15)를 보고했으며, 모두 벤더가 보고한 수치입니다. O​pus 5.5에서는 같은 입력이 토큰 단위로 과금되는데, 스캔한 보고서 한 페이지는 토큰이 꽤 많이 듭니다. 하루에 수천 페이지의 문서를 처리하는 워크로드라면, 어떤 품질 차이보다도 셈법이 더 빠르게 달라집니다.

• 고정(Pinning). 직접 통제하는 디스크에 있는 체크포인트는 당신 몰래 바뀌지 않습니다. 이는 규제가 적용되는 파이프라인에서 실질적인 금전적 가치가 있으며, 호스팅 모델이 어떤 가격을 받더라도 제공할 수 없는 속성입니다.

그것이 자리를 차지할 만하지 않은 두 영역이 있고, 둘 다 공개적으로 말할 가치가 있다. 첫째는 장기 호라이즌 에이전트 작업이다. NVIDIA의 카드는 Terminal-Bench 2.1에서 66.70, SWE-bench Verified에서 71.10, SWE-bench Pro에서 51.78을 보고한다. 존경할 만하고, 재현되지 않았으며, 호스팅된 프런티어보다 뒤처진다. 둘째는 실패한 요청의 비용이 큰 모든 경우다. 왜냐하면 가중치가 나흘 된 모델은 세상의 관심을 나흘치나 등에 업고 있으면서 운영 이력은 전혀 없기 때문이다.

아직 믿어서는 안 되는 숫자들, 그리고 그 이유

Nemotron 3.5 Super에 대해 공개된 전체 벤치마크 표는 벤더 자체의 것이며, NVIDIA의 NeMo Gym 하네스를 통해 수집된 것입니다. GPQA-Diamond 89.52. Humanity's Last Exam 텍스트 전용 31.79. LiveCodeBench v6 88.22. IFBench 70.86. tau2-bench 69.24 리테일, 76.50 항공, 73.19 통신. BrowseComp 78. LMArena v3 프록시 52.67. 이 모든 수치는 재현 가능한 레시피가 첨부된 벤더 주장으로, 단순한 주장보다는 낫지만 여전히 독립적인 측정은 아닙니다.

독립적인 그림은 훨씬 빈약하며, 그 자체가 이 페이지에서 가장 유용한 사실이다. 이 모델들의 점수를 매기는 제3자 패널은 이 체크포인트를 Intelligence Index 20대 중반, 약 26에 놓는데, 이는 Opus 5.5의 약 58과 대비된다. 그 패널은 또한 해당 지수 실행에서 유난히 높은 출력 토큰 소비량을 기록했으며, 이를 장황함으로 해석한다. 그리고 장황함은 토큰당 비용을 지불하거나 토큰당 기다리는 모든 배포 환경에서 각주가 아니라 비용 항목이다. 독립적인 데이터 포인트 하나는 판정이 아니다. 하지만 그것은 이 모델을 판매하는 회사가 산출하지 않은 유일한 데이터 포인트다.

아무도 공개하지 않은 것: 4비트 양자화가 그 점수들을 어떻게 변화시키는지. 기본 Ollama 태그는 q4_K_M입니다. 공개된 모든 수치는 BF16 또는 NVFP4에 대한 것입니다. 따라서 대부분의 사람들이 실제로 경험하게 될 수치는 측정되지 않은 상태이며, 바로 그것이 앞으로 몇 주 동안 주목해야 할 수치입니다.

오늘날 무엇이라고 불러도 되고 무엇이라고 부르면 안 되는가

단호히 말해 둘 만합니다. 이런 페이지에서 가장 흔한 오해가 바로 이것이기 때문입니다. N​emotron 3.5 Super는 OrcaRouter에 없습니다. 우리는 200개가 조금 넘는 모델을 라우팅하고 있으며, 그중에 N​VIDIA N​emotron 항목은 없습니다. 따라서 이 특정 체크포인트가 필요하다면, 이용할 경로는 벤더 자체의 빌드 및 배포 채널과 로컬 런타임 pull이며 — 우리가 아닙니다.

이와 대조적으로 Opus 5.5는 우리 키로 제공되며, 제공사 정가를 그대로 적용하고 토큰당 마크업이 없습니다. 즉 공급업체 가격이 바뀌면 다음 계약 갱신 때가 아니라 같은 날 우리 쪽에 반영됩니다. 이러한 비대칭성은 지금 앞에 놓인 결정에 정말 유용합니다. 저렴한 첫 단계는 네 대의 H100에서 돌리려던 워크로드를 조달 절차 없이 하나의 API로 호스팅 모델에 먼저 실행해 보는 것입니다. 호스팅 모델이 감당할 만한 가격으로 그 일을 해낸다면, 클러스터를 아낀 셈입니다. 그렇지 않다면 — 대규모로 밀도 높은 기술 문서를 잘못 읽는 것이 모델이 그 일을 못 해내는 그럴듯한 방식이므로 — 이제 벤치마크 표가 아니라 증거를 갖게 되고, 다운로드는 살아남은 사례에 쓸 수 있습니다.

배포 레시피에 구체적으로 얼마의 비용이 드는가

카드 자체의 vLLM 레시피는 예산 문서로서 읽어볼 가치가 있다. 텐서 병렬화 4, GPU 메모리 사용률 0.85, 최대 32개 동시 시퀀스, 프롬프트당 이미지 1개와 비디오 1개, 비디오 프루닝 0.5, 그리고 세 개의 추측 토큰을 사용하는 MTP 헤드를 통한 추측 디코딩. 0.85 사용률의 H100 4대에 32개 시퀀스 상한은 대규모 서비스가 아니다 — 이는 본격적인 단일 노드 배포이며, 동시성 상한은 벤더가 단일 레플리카가 처리하기를 기대하는 바를 알려준다.

그 레시피에서 두 가지 세부 사항은 보기보다 더 중요합니다. 비디오 구성은 프롬프트당 비디오 하나를 허용하고 절반 비율로 프루닝을 수행하는데, 이는 긴 입력에서 비전 예산이 어디에 할당되는지에 대한 강력한 힌트입니다. 그리고 추론 파서의 이름은nemotron_v3/인 반면 도구 호출 파서의 이름은qwen3_coder/입니다 — 벤더는 자사가 발명하지 않은 도구 호출 형식을 재사용하고 있으며, 이는 기존 도구 호출 코드를 보유한 사람에게는 좋은 소식이고 새로운 파싱 로직을 작성하기 전에 알아둘 만한 점입니다.

그에 반해, 호스팅된 모델의 운영 접점은 API 키 하나다. "H100 네 대와 vLLM 레시피"와 "키 하나와 계량기" 사이의 비교는 노력 면에서 가깝지 않다. 비용 면에서만, 그것도 대량일 때만 가깝다.

리포지토리에서 알 수 있으면서도 놓치기 쉬운 한 가지가 더 있습니다: 권장 샘플링은 모달리티에 따라 다릅니다. 텍스트에는 temperature 1.0과 top_p 0.95가 필요하고, 비전에는 0.6과 0.95가 필요합니다. 한 쌍을 전역으로 설정한 다음 차트와 스캔한 페이지를 처리하는 배포는 비전 모델의 비전 절반을 텍스트 절반의 설정으로 실행하고 있는 셈입니다. 문서에서 이 모델의 첫인상이 좋지 않다면, 체크포인트에 대해 어떤 결론을 내리기 전에 가장 먼저 확인해야 할 노브는 바로 이것입니다.

그래서 어느 거야?

당신의 작업이 장기 지평(long-horizon) 에이전트형 코딩이거나, 첫 시도에서 추론이 최전선급(frontier-grade)이어야 하는 그 어떤 작업이라면, Claude Opus 5.5가 답이며 N​emotron 등급은 그 대체재가 아닙니다. 이는 결코 근소한 차이가 아니며, 벤더가 직접 공개한 에이전트 관련 지표도 그와 다르게 주장하지 않습니다.

대량의 문서와 이미지를 이해하는 작업으로, 비용을 좌우하는 것이 추론의 난이도가 아니라 페이지 수인 경우라면, 이는 올해 등장한 오픈 체크포인트 중 가장 흥미로운 것 중 하나입니다. 총 1,200억 파라미터에 활성 120억, 관대한 라이선스, 나중에 덧붙인 것이 아니라 진짜로 내장된 비전 경로, 그리고 단일 96GB 카드에 들어가는 4비트 기본값을 갖추고 있습니다. 문제는 모두가 실제로 실행하게 될 버전, 즉 q4_K_M 기본값에 대해서는 어디에도 공개된 평가가 없다는 점, 모델이 나온 지 나흘밖에 되지 않았다는 점, 그리고 런타임이 공개한 사양이 벤더가 공개한 사양과 완전히 일치하지는 않는다는 점입니다.

그 두 가지는 모두 그것을 시도해 볼 이유이지, 신뢰할 이유는 아닙니다. 먼저 그 워크로드를 호스팅된 모델에 맡겨 보세요. 그 워크로드가 프런티어 모델은 해결하지만 중간급 모델은 해결하지 못하는 유형인지 알아내기 위해서입니다. 그런 다음 살아남은 사례들이 클러스터나 다운로드, 또는 저녁 한나절의 구성 작업을 들일 가치가 있는지 판단하세요. 그리고 정말로 나흘 된 체크포인트를 요청 경로에 넣는다면, 폴백 뒤에 배치하세요. 운영 이력이 없는 모델에 대한 가장 저렴한 보험은 같은 호출 뒤에 두 번째 모델을 두는 것이니까요.

숫자만으로는 이런 것들 중 어느 하나라도 현장에서 잘못된 적이 있는지 알 수 없습니다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 여부 표시가 함께 제공됩니다.