NVIDIA Nemotron 3.5 Super VL Base BF16: NVIDIA가 목록에는 올렸지만 링크는 걸지 않은 249 GB 체크포인트

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16은 어떤 릴리스에 있는 아티팩트입니다. N​VIDIA N​emotron 3.5 Super VL 릴리스는 N​VIDIA가 링크하지 않았습니다. 회사의 10월 15일 발표 게시물은 한 구절에서 "릴리스에는 훈련 레시피, 데이터, 강화 학습 환경과 함께 기본, 사후 훈련 및 NVFP4 양자화된 체크포인트가 포함됩니다."라고 말합니다. 그 페이지의 모든 저장소 링크는 nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4를 가리킵니다. "Base-BF16"이라는 문자열은 그 게시물에 전혀 나타나지 않습니다.

이 저장소는 실제로 존재하며 공개되어 있습니다. Hugging Face는 최초 커밋을 2026-10-12T15:31:49Z로 기록하고 있고, 가중치 샤드는 2026-10-13T04:55Z에 업로드되었으며, 모델 카드 자체의 릴리스 날짜 필드에는 "Hugging Face - 10/15/2026"이라고 적혀 있습니다. 이 저장소에는 게이트가 걸려 있지 않고, 다운로드하는 데 토큰이 필요하지 않으며, 무게는 포스트트레이닝된 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 빌드와 정확히 같습니다. 즉, 63개의 BF16 샤드에 걸쳐 248.9GB로, 포스트트레이닝된 빌드의 64개 샤드에 걸친 248.9GB와 맞먹으며, 두 인덱스 파일은 16바이트 차이가 납니다. 가중치가 공개된 지 3일 후 다운로드된 횟수는 4회였으며, 포스트트레이닝된 전체 정밀도 저장소는 142회, NVFP4 형제 저장소는 81회였습니다. 이는 10월 16일에 확인한 Hugging Face 자체 카운터입니다.

그러니까 이것은 유출이나 소문이 아니다. 가중치는 틀리면 안 되는 대상이다 — 그것들은 다른 면에서는 요란한 릴리스에서 가장 덜 홍보된 아티팩트일 뿐이고, 그 뒤에 있는 모델 카드는 249 GB의 pre-post-training 체크포인트를 다운로드할 만한 사람이라면 중요한 지점에서 스스로 모순된다. 그 모순은 아래에 있다.

무엇이 착륙했는지, 그리고 그것을 언급하는 문장

같은 시기에 주요 저장소 세 개와 드래프터 하나가 공개됐습니다. 모두 NVIDIA 자체 제작이고, 모두 OpenMDW-1.1 라이선스이며, 어느 것도 접근 제한이 없습니다:

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16, 저장소 생성 2026-10-12T15:31:49Z, 가중치 2026-10-13T04:55Z, README 최종 수정 2026-10-15T15:22:08Z.

• 포스트트레이닝된 BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, 2026-10-12T15:32:06Z에 생성됨, 베이스 리포지토리보다 17초 후.

• 포스트 트레이닝된 NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, 2026-10-12T15:32:30Z에 생성되었으며, 총 248.9 GB가 아닌 75.1 GB입니다.

• NVFP4 드래프터 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, 여전히 하루 더 이른 2026-10-11T20:20:59Z에 생성되었습니다.

그 저장소들과 NVIDIA의 설명 사이의 대응 관계는 일관되지 않은 부분이며, 가정하기보다 직접 확인해 볼 가치가 있습니다. 발표문의 배포 앵커는 모두 NVFP4 빌드로 연결됩니다. 베이스 카드 자체의 첫 안내 문구는 다른 두 모델을 밖으로 가리킵니다 — “포스트 트레이닝된 모델을 찾고 계신가요? 맞춤화를 위해서는 BF16 릴리스를, 최적화된 배포를 위해서는 NVFP4 릴리스를 참조하세요” — 따라서 베이스 저장소는 첫 줄에서 대신 어디로 가야 하는지 알려줄 것입니다. 그 반대는 성립하지 않습니다. 포스트 트레이닝된 BF16 카드에는 어디에도 베이스 저장소로 가는 링크가 없으며, NVFP4 카드도 마찬가지입니다. 베이스 체크포인트는 이 릴리스에서 NVIDIA 자체 문서가 결코 안내하지 않는 유일한 아티팩트입니다. 그것은 발표문의 아홉 단어로 된 구절을 읽고 나서 조직의 파일 목록을 살펴봄으로써 찾게 되며, 여기서도 그런 방식으로 찾았습니다. NVIDIA의 설명 어디에도 베이스 체크포인트가 실제로 포스트 트레이닝된 모델과 동일한 249GB로 공개되는 이유나, 포스트 트레이닝된 모델이 할 수 없는 무엇을 그것으로 하라는 것인지는 설명되어 있지 않습니다.

그 부재 자체가 이 이야기의 핵심이다. 벤더가 세 개의 체크포인트 중 두 개를 링크하고 세 번째는 아홉 단어로 설명하는 오픈 웨이트 릴리스는 무언가를 숨기는 것이 아니다 — 가중치는 바로 거기 있다 — 하지만 그것은 당신에게 필요한 문서가 발표문에 없다는 뜻이다. 그 문서는 저장소에 있다.

이 릴리스에서 "base"가 의미하는 것

두 모델 카드가 이 질문에 답하고 있으며, 두 카드 사이의 차이는 포스트트레이닝이 여기서 무엇을 얻어냈는지 명확히 보여준다.

베이스 카드에는 세 가지 훈련 단계가 문서화되어 있습니다. 1단계는 Nemotron 3 Super Base 위에 언어 백본을 구축하고, 고정된 백본에 대해 100B 토큰 동안 공유 MTP 헤드를 훈련한 다음, Nemotron 3 Ultra Base로부터 1T 토큰 동안 증류합니다. 2단계는 100B 토큰의 인도어 지속 사전 훈련, 1M 컨텍스트로의 35B 토큰 확장, 256K 컨텍스트에서의 67B 토큰 소프트웨어 엔지니어링 중간 훈련, 그리고 9B 토큰의 장문맥 복구 단계입니다. 3단계는 C-RADIO 비전 인코더와 비전-언어 커넥터를 추가로 장착합니다.

포스트 트레이닝 카드에는 여섯 가지가 문서화되어 있으며, 베이스 카드에 없는 세 가지가 바로 모델을 쓸 만하게 만드는 세 가지입니다: 4단계는 비전, 추론, 코드, 도구, 채팅, 안전 및 장문맥 데이터에 대한 지도 미세 조정으로, 최대 524,288토큰의 패킹된 시퀀스를 사용합니다; 5단계는 검증 가능한 보상이 있는 강화 학습에 RLHF와 다중 교사 온폴리시 증류를 더한 것입니다; 그리고 6단계는 동결된 포스트 트레이닝 백본에 대항해 MTP 헤드를 강화하여 추측적 디코딩이 실제로 효과를 발휘하도록 하는 것입니다.

베이스 카드 자체가 추론(Inference) 섹션에서 이렇게 말합니다: "Base 모델은 추가 훈련을 위한 출발점으로 의도되었습니다. 채팅, 추론 및 도구 호출 애플리케이션에는 사후 훈련된 BF16 또는 NVFP4 릴리스와 해당 배포 지침을 사용하세요." 명시된 사용 사례는 "지속적 사전 학습, 지도 미세 조정, 강화 학습 및 증류를 통해 맞춤형 비전-언어 모델을 구축하는 개발자와 연구자"입니다.

이례적으로 노골적인 면책 문구이며, 이것이 그 산출물에 대한 올바른 해석이다. 여기서 "base"로 제공되는 것은 더 약한 채팅 모델이 아니다. 그것은 Stage 4부터 Stage 6까지가 실행 대상으로 삼은 기반이며, 다른 누군가가 자신의 데이터로, 자신의 라이선스 조건 아래에서, 20조 토큰 사전 학습을 다시 실행하지 않고도 다른 Stage 4부터 6을 실행할 수 있도록 그들과 함께 공개된 것이다.

설정이 담고 있지 않은 1M 토큰 주장

이것이 바로 249 GB의 주의를 기울일 가치가 있는 불일치입니다.

기본 모델 카드는 설명(Description)에서 모델이 "최대 1M 토큰의 컨텍스트 길이를 지원합니다"라고 명시하며, 모델 설계(Model Design) 섹션에서 이를 반복합니다: "모델은 최대 1M 토큰의 컨텍스트를 지원합니다." 훈련 방법론은 이러한 의도를 뒷받침합니다 — Stage 2에는 "1M 컨텍스트로의 35B 토큰 확장, 이어서 9B 토큰 장문맥 복구 단계"가 명시적으로 포함됩니다.

배포된 config.json은 다른 내용을 말합니다. 그 max_position_embeddings는 262,144입니다 — 256K이며, 1M이 아닙니다. rope_scaling 블록도 없고 original_max_position_embeddings 필드도 없으므로, 위치 체계가 확장을 선언하지도 않습니다. 반면 포스트트레이닝된 저장소의 구성은 max_position_embeddings를 1,048,576으로 선언합니다. 두 형제 체크포인트, 동일한 아키텍처 문자열, 동일한 레이어 레이아웃, 그리고 베이스 카드의 설명이 언급하지 않는 위치 제한의 4배 차이입니다.

세 가지 사실을 함께 읽어 보면, 가장 방어 가능한 결론은 베이스 모델이 짧은 컨텍스트라는 것이 아니다. 그것은 베이스 저장소가 보수적으로 선언된 한도를 제공하며, 당신이 그것을 바꾸기를 기대한다는 것이다. 1M 확장은 훈련되었다. 공개된 config는 이를 노출하지 않는다. 당신의 continued-pretraining 계획이 별다른 설정 없이 바로 1M 토큰 시퀀스 길이를 가정한다면, 그 가정은 카드에서 나온 것이지 런타임이 실제로 읽게 될 파일에서 나온 것이 아니다 — 그리고 해결책은 당신이 해야 한다는 것을 알아야 하는 config 편집이다.

같은 이유로 지적할 만하다: 베이스 카드의 모델 요약 표는 아예 존재하지 않는다. 포스트트레이닝 카드에는 그러한 표가 있다 — 총 파라미터 수, 아키텍처, 정밀도, 컨텍스트 길이, 배포 대상, 추측 디코딩, 추론 모드, 권장 샘플링, 적합 용도, 라이선스. 베이스 카드는 설명에서 곧바로 라이선스로 넘어간 뒤, 벤치마크 표로 간다. 권장 샘플링 행은 어디에도 없고, 배포 행도 없어서, 베이스 카드에는 원하는 하드웨어를 알려주는 내용이 전혀 없다.

출시된 설정에서 읽어낸 아키텍처

벤더의 기본 아키텍처 설명은 한 문단이고 실제 형태는 파일에 있으므로, 파일이 말하는 내용은 다음과 같습니다. 이 모든 내용은 config.json에서 직접 확인한 것이며, 기본 리포지토리에 있는 파일이고 어떤 요약에서 온 것이 아닙니다.

• 깊이와 구성 — 언어 백본의 88개 블록. 40개는 Mamba-2 레이어, 40개는 전문가 혼합 레이어, 8개는 전체 어텐션 레이어이며, 인덱스 7, 16, 25, 36, 47, 58, 69, 78에 있습니다. 약 9개 레이어마다 어텐션 블록 하나가 장문맥 메커니즘의 전부입니다.

• MoE — MoE 레이어마다 라우팅된 전문가 512개, 토큰마다 22개 선택, 공유 전문가 1개, 잠재 크기 1024, 그리고 라우팅된 전문가의 2688에 대비되는 공유 전문가의 중간 크기 5376입니다. 이것이 "총 120B, 활성 12B"라는 표제의 산술적 근거입니다.

• 어텐션 — 헤드 차원 128에서 쿼리 헤드 32개 대 키-값 헤드 2개, 즉 16:1 비율의 그룹화된 쿼리 어텐션입니다. 히든 크기 4096.

• MTP — 하나의 다음 토큰 예측 레이어로, 그 자체가 어텐션 블록과 MoE 블록으로 구성되며, DeepSeek의 멀티 토큰 예측 헤드 방식입니다. 여러 번이 아닌 단 한 번의 예측 단계입니다.

• 비전 — C-RADIO ViT-H 타워: 32개 레이어, 히든 크기 1280, 16개 헤드, 패치 크기 16, 7개 레지스터 토큰, 3개 클래스 토큰, 최대 이미지 크기 2048, 패치 예산 1024~13312. 커넥터는 20,480으로 프로젝션한 다음, 0.5의 다운샘플 비율과 강제 이미지 크기 512가 토큰 수를 다시 줄입니다.

• 비디오 — 시간적 패치 크기 2 및 선언된 프루닝 비율 0.7.

• 두 가지 특이한 점 — 설정은 <audio> 컨텍스트 토큰을 선언하는데, 해당 sound_config는 null입니다. 따라서 오디오를 위한 배관은 이 아키텍처에 존재하지만 이 체크포인트에는 그중 아무것도 포함되어 있지 않습니다. 그리고 tie_word_embeddings는 false인데, 이는 이 규모의 모델에서 표준이며 어휘 크기를 조정할 계획이라면 알아둘 가치가 있습니다.

규모를 가늠하자면, 저장소 자체의 safetensors 메타데이터는 텐서를 한 바이트씩 세어 총 124,453,395,974개의 파라미터를 집계하며, 이는 NVIDIA가 내세운 총 120B / 활성 12B라는 대표 수치와 대비됩니다. 두 숫자는 서로 다른 기준으로 보고됩니다 — 벤더 수치는 언어 모델의 라우티드+공유 연산을 기준으로 한 것이고, 파일 수치는 비전 타워와 MTP 헤드를 포함해 저장소에 저장된 모든 것을 기준으로 한 것입니다. 이 격차를 불일치로 취급하지 말고, 파일을 감안해 예산을 잡으세요.

벤치마크 표가 실제로 측정하는 것

기본 카드는 24개의 벤치마크 행을 공개하며, N​VIDIA로서는 자랑할 만하게도 각 항목이 무엇인지 알려주는 열도 제공합니다:

• MMLU 84.14 정확 일치 · MMLU-Pro 76.25 · AGIEval-En 75.65 CoT · SuperGPQA 47.65 CoT · GPQA Diamond 66.16, 5-shot CoT 정확 일치 기준

• 8-shot CoT 기준 GSM8K 91.74 · Minerva MATH 87.66 · MATH-500 샘플링된 pass@1 n=32 기준 81.56 · HumanEval 81.31 EvalPlus sanitized · MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench complete 48.42 및 instruct 49.39

• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39

• 8개 언어 평균 Global MMLU 86.56 · 6개 언어에서 8-shot 네이티브 CoT 기준 MGSM 87.53

그 표에 관해 놓치기 쉬운 두 가지가 있는데, 둘 다 중요하다.

먼저, 카드 자체의 도입 문장은 결과가 "비전-언어 학습 이전의 Nemotron 3.5 Super 텍스트 전용 베이스 백본을 평가한다"라고 말합니다. 그것이 다른 무엇을 의미하든, 이 수치들은 멀티모달 성적표가 아니라는 뜻입니다 — 베이스 카드 어디에도 OCR 벤치마크도, 문서 이해 행도, 비디오 행도 없습니다. 비디오와 문서 입력은 두 섹션 앞에서 설명되어 있는데도 그렇습니다. 베이스 체크포인트를 원하는 이유가 그 비전 타워 때문이라면, 이 카드는 계획을 세우는 데 기준으로 삼을 실증적 근거를 전혀 주지 않습니다.

둘째, 이 표에는 베이스라인 열이 없습니다. 포스트트레이닝 카드의 표는 7개 열에 걸쳐 있습니다 — N​emotron 3.5 Super GA 대 Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, N​emotron 3 Ultra, Inkling-Small, GLM-5.3-Flash. 베이스 카드에는 정확히 한 개의 열만 있습니다. 그리고 무엇을 실행했는지 그 구성이 많은 것을 말해줍니다: 포스트트레이닝 카드는 MMLU를 완전히 빼고 MMLU-ProX를 택한 반면, 베이스 카드는 MMLU와 MMLU-Pro를 둘 다 실행하며, MMLU-ProX도, 포스트트레이닝 카드가 의존하는 에이전틱 및 하네스 수준의 스위트도 실행하지 않습니다. 이 카드만으로는 "이 베이스가 저 베이스보다 더 나은가"라는 질문에 답할 수 없습니다. 둘 다 실행해야 할 것입니다.

위의 모든 수치는 NVIDIA의 것으로, NVIDIA 자체의 NeMo Gym 하네스를 통해 산출된 것이다 — 포스트트레이닝 카드가 이를 명시적으로 밝히고 있으며, 베이스 카드는 하네스 관련 언급을 전혀 공개하지 않는다. 두 표 중 어느 것도 독립적으로 재현된 적이 없다.

베이스 대 포스트 트레이닝, 둘이 공유하는 단 하나의 벤치마크에서

두 카드는 벤치마크 표를 공유하지 않지만, 나란히 놓을 수 있는 행을 정확히 하나 공유하며, 그것이 가장 중요한 행입니다.

• GPQA Diamond — 베이스 카드에서는 5-shot 사고 연쇄 정확 일치 기준 66.16. 포스트트레이닝 카드에서는 89.52. NVIDIA 자체의 두 문서에서 나온 23.36포인트 격차이며, 베이스 수치는 텍스트 전용 백본으로 명시적으로 표기되어 있다.

그것이 4단계부터 6단계가 대학원 수준 과학 추론에서 가치 있는 바에 대한 정직한 헤드라인이다: 포스트트레이닝은 이 모델을 다듬는 마무리 패스가 아니라, 거의 절반에 해당하는 역량을 다시 더하는 일이다. 그것은 또한 이 트레이드의 방향을 알려준다. 당신이 기본 체크포인트를 직접 포스트트레이닝할 계획이라면, N​VIDIA가 판매하는 모델보다 23점 뒤에서 시작하는 것이며, 당신의 데이터와 보상 신호가 당신의 도메인에서 그 격차를 좁힐 것이라는 데 베팅하는 것이다 — 이는 바로 N​VIDIA 자체 고객 수치가 말해 주는 베팅이다: Scale AI는 공급업체 크레딧 처리에서 추론 비용이 40배 절감되었다고 보고했고, Ramp는 영수증→JSON 추출에서 처리량이 최대 50% 높아지고 지연 시간이 10배 낮아질 것으로 기대한다. 이는 독립적인 측정이 없는, 공급업체와 고객이 주장한 결과이며, 격차를 좁히는 것이 달성 가능하다는 유일한 공개 증거다.

두 카드를 함께 읽을 때의 함정에 주의하세요. 베이스 카드의 "MMLU-Pro" 76.25와 포스트트레이닝 카드의 "MMLU-ProX" 76.91은 0.66점 차이처럼 보이지만 비교할 수 없습니다 — 서로 다른 벤치마크이며, 그중 하나는 TigerLab 추출 방법이 명시되어 있습니다. 베이스 카드의 "MMLU" 84.14는 포스트트레이닝 카드에 전혀 대응 항목이 없습니다. 동일 벤치마크 델타를 원한다면, 얻을 수 있는 것은 GPQA Diamond이고, 얻을 수 없는 것은 LiveCodeBench입니다: 베이스 카드는 CodeGen을 47.61로 보고하는 반면, 포스트트레이닝 카드는 LiveCodeBench v6를 88.22로 보고하는데, 이는 같은 벤치마크 계열의 다른 버전이며 델타가 아닙니다.

249 GB로 살 수 있는 것과 살 수 없는 것

다운로드 자체는 명령어 하나이며, 전체 베이스 모델 카드에서 유일한 명령어입니다:

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

이것이 Quick Start의 전부입니다. 기본 카드에는 코드 블록이 하나 들어 있고, 포스트트레인된 카드에는 스물두 개가 들어 있습니다. 다음은 없습니다: vllm serve 줄, SGLang 실행, 텐서 병렬 안내, --max-num-seqs, 추론 파서 플래그도, 추측 디코딩을 위한 MTP 구성도, API 클라이언트 예제도 없습니다. 포스트트레인된 카드에는 이 모든 것이 들어 있습니다. 여기에는 4×H100 레시피(다음을 포함: --enable-mamba-shared-prefix-checkpoint)와 TP2의 2×GB200 레시피도 포함됩니다.

• 런타임 엔진 — 베이스 카드는 PyTorch, Megatron-LM, NeMo를 명시하고, 그 추론(Inference) 섹션에서는 PyTorch만을 명시합니다. 포스트 트레이닝된 카드는 vLLM과 SGLang을 명시합니다. 이들은 한쪽은 학습 프레임워크 이름이고 다른 쪽은 서빙 런타임 이름이며, 이러한 구분은 우연이 아니라 의도된 것입니다.

• 테스트 하드웨어 — Hopper H100 및 H200, Grace Blackwell GB200 및 GB300, Blackwell B200 및 B300. 배포 시에는 포스트 트레이닝 카드가 4×H100 또는 2×GB200으로 좁혀집니다.

• 디스크 — 63개 샤드에 걸쳐 248.9 GB로, 사후 학습된 풀 정밀도 빌드와 동일합니다. NVFP4 형제 모델은 75.1 GB입니다. 실행하려는 게 아니라 살펴보거나 개조하려고 베이스를 내려받는 것이라면, 서빙 레시피도 얻지 못한 채 NVFP4 다운로드의 3.3배를 지불하는 셈입니다.

실제로 얻게 되는 것 중 정말로 사용할 수 있는 것은 다음과 같습니다: 저장소는 완전한 chat_template.jinja(12,513바이트)를 제공하며, 여기에는 enable_thinking 스위치가 포함되어 있고, 중간 노력 변형도 포함됩니다. 또한 generation_config.json도 함께 제공됩니다. 여기에는 temperature 1.0, top_p 0.95 및 do_sample true로 설정되어 있습니다. 해당 템플릿을 사후 학습된 템플릿과 비교하면 414바이트 차이가 나며, 그 차이는 전부 이미지 및 비디오 플레이스홀더 주변의 공백 처리입니다 — 두 템플릿은 그 외에는 동일한 파일입니다.

그래서 베이스 체크포인트를 채팅 모델로 삼아 대화하기 위한 연결 구성은 갖춰져 있고, 출시된 채팅 모델과 거의 동일하다. 빠져 있는 것은 그렇게 해야 한다는 어떤 언급이다. 베이스 카드에는 권장 샘플링 행도, 추론 모드 행도 없고, 채팅 구성에서 그것에 대한 벤치마크도 없다. 약 10분이면 그것을 채팅 모델로 서빙할 수 있다. 그 출력이 테스트 하네스 밖으로 나갈 자격이 있는지는 별개의 문제이며, 카드의 답은 그렇지 않다는 것이다.

아무도 이야기하지 않는 코퍼스 공개

다음은 기본 릴리스에서 가중치보다 어쩌면 더 유용한 부분인데, 한 번도 링크된 적 없는 저장소의 표에 들어 있어 거의 주목을 받지 못했습니다.

기본 카드는 포스트 트레이닝된 카드가 담고 있지 않은 학습 코퍼스를 상세히 공개한다: 2013년부터 2025년 12월 사이에 수집된 20조 개가 넘는 토큰으로 이루어진 파운데이션 코퍼스로, 출처별로 항목화되어 있다 — N​emotron-CC-v2 및 v2.1은 9.1T, N​emotron-CC-Code-v1은 427.9B, N​emotron-Pretraining-Code 세트는 합계 1.7T, N​emotron-CC-Math-v1은 133.3B, 특화 및 SFT 합성 세트는 660B, 법률 세트는 4.3B. 영어, 19개의 다른 구어 언어, 43개의 프로그래밍 언어.

그다음에는 대부분의 오픈 웨이트 릴리스가 아예 공개하지 않는 두 개의 표가 나온다. 하나는 제3자가 소유한, 공개적으로 접근할 수 없는 비공개 데이터셋을 나열하면서 그 레이블을 생성한 모델들의 이름을 밝힌다 — 다양한 OCR 및 시각적 질의응답 재레이블링 작업 전반에는 Qwen3.5-122B-A10B, 필터링된 중국어 OCR 하위 집합에는 DeepSeek-OCR, 정답이 검증된 하위 집합에는 Qwen3.5, 검색용 RL 데이터에는 Gemini 3와 GPT-5. 다른 하나는 NVIDIA 자체 비공개 데이터셋을 나열하며, 여기서도 생성기들의 이름을 밝힌다: 수학 사고의 연쇄(chain-of-thought) SFT 데이터에는 Kimi K3, 경쟁 프로그래밍 OCR에는 DeepSeek-V4-Pro, 구조화된 출력 RL에는 gpt-oss-120b, 개선 작업에는 GLM-5.2, 검색 그래프 탐색에는 MiniMax-M2, 그리고 그 밖의 긴 꼬리에 속하는 여러 모델이 있다.

그다음에는 대부분의 오픈 웨이트 공개 버전이 아예 공개하지 않는 두 개의 표가 나온다. 하나는 제3자가 소유한 비공개·외부 비공개 데이터셋을 나열하고, 그 레이블을 생성한 모델들의 이름을 밝힌다 — 광범위한 OCR 및 시각 질의응답 재레이블링 작업 전반에 걸친 Qwen3.5-122B-A10B, 필터링된 중국어 OCR 하위 집합에 적용된 DeepSeek-OCR, 정확한 것으로 검증된 하위 집합에 적용된 Qwen3.5, 검색용 RL 데이터에 적용된 Gemini 3와 GPT-5. 다른 하나는 NVIDIA 자체 비공개 데이터셋을 나열하고, 역시 생성 모델의 이름을 밝힌다: 수학 연쇄 사고(chain-of-thought) SFT 데이터용 Kimi K3, 경쟁 프로그래밍 OCR용 DeepSeek-V4-Pro, 구조화 출력 RL용 gpt-oss-120b, 정제용 GLM-5.2, 검색 그래프 탐색용 MiniMax-M2, 그리고 그 밖의 긴 꼬리 모델들. 이 짝을 이룬 두 표는 업계가 실제로 어떻게 돌아가는지를 상기시켜 준다 — 최전선 모델의 훈련 신호에는 경쟁사 모델의 출력이 일상적으로 포함되며, NVIDIA는 그중 어떤 것을 어떤 목적으로 쓰는지 밝히는 극소수 연구소 중 하나다.

리포지토리는 또한 다음과 같은 것을 함께 제공합니다: Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf, 10월 15일에 추가된, EU 대상 학습 콘텐츠 공개 문서입니다. 중간 학습 구성은 동일한 세분성으로 공개되어 있으며, 그중 한 줄은 소프트웨어 작업을 위해 미세 조정할 계획이라면 직접적으로 관련이 있습니다: 67B 토큰 소프트웨어 엔지니어링 단계는 20% 전체 리포지토리, 41% 이슈 및 풀 리퀘스트 쌍, 3% 커밋 diff, 1% 빌드 및 CI 로그, 10% 에이전트 추적, 20% 사전 학습 리플레이 및 5% 롱 컨텍스트 데이터로 구성되며, 그 출처는 SWE-bench 및 Terminal-Bench 리포지토리에 대해 오염 제거되었습니다. 그 오염 제거 진술은 카드에서 두 벤치마크 중 하나의 점수가 어떤 가치가 있는지 알려주는 바로 그 한 줄입니다.

라이선스, 그리고 베이스 체크포인트가 누구를 위한 것인지

OpenMDW-1.1은 포스트 트레이닝된 빌드와 동일한 라이선스이며, 모델 카드에는 “이 모델은 상업적 또는 비상업적 용도로 사용할 준비가 되어 있습니다.”라고 명확히 적혀 있습니다. 저장소는 게이트가 걸려 있지 않고 다운로드에 Hugging Face 토큰이 필요하지 않지만, 이 패밀리의 다른 곳에 있는 NVIDIA 자체 컨테이너 레시피는 토큰을 전제로 합니다.

라이선스를 사용 사례 옆에 놓으면 의도된 대상이 명확해진다. 추론 비용을 아끼려고 249GB짜리 포스트 트레이닝 전 체크포인트를 내려받는 사람은 없다 — NVFP4 빌드는 3.3배 더 작고, 더 빠르며, GPQA Diamond에서 23점 더 우수하다. 베이스 체크포인트는 포스트 트레이닝 단계를 직접 주도하려는 팀, 즉 N​VIDIA가 수행한 것과는 다른 도메인, 다른 보상 신호, 또는 다른 데이터 정책을 원하는 팀을 위한 것이다. 상업적 사용이 허용되고 가중치에 게이트가 없는 OpenMDW-1.1 아래에서, 그 위에 제품을 만드는 것은 정당한 일이며, 바로 이 점이 문서 누락이 대가를 치르게 하는 이유다.

그리고 여기서는 두 종류의 독자를 구분할 가치가 있습니다. 당신의 질문이 "이번 주에 문서 파싱이나 비디오 이해를 위해 무엇을 호출해야 하나"라면, 베이스 체크포인트는 당신이 찾는 답이 아니며 결코 답이 아니었습니다. 답은 후학습된 모델이고, 거기서 남은 문제는 가용성이 아니라 벤치마크 검증입니다. 당신의 질문이 "허용적 라이선스로 120B급 하이브리드 Mamba-MoE 비전-언어 백본을 내 학습 실행의 출발점으로 구할 수 있을까"라면, 이 저장소가 답이며, 이 저장소는 10월 12일부터 링크되지 않은 채로 방치되어 왔습니다.

그것을 평가하려고 한다면

이런 체크포인트에서 값비싼 실수는 다운로드를 테스트로 착각하는 것이다. 그게 아니다: 첫 포워드 패스 전의 249 GB, 63개 샤드, 그리고 설정 편집은 비전 타워가 당신의 문서 클래스로 전이되는지에 대해 아무것도 알려주지 않는다.

값싼 테스트는 먼저 서빙 중인 모델에서 기능 질문을 확립하고, 그런 다음에야 디스크를 쓰는 것입니다. 라우팅 게이트웨이는 그 용도에는 유용하지만, 이 결정에서 다른 어떤 용도로도 유용하지 않습니다 — 프로바이더 정가에 0% 마크업으로 통과되는, 수백 개 모델에 걸친 하나의 키와 하나의 엔드포인트가 있으면 이미 사용 중인 어떤 비전 모델이든 사후 학습된 Nemotron 3.5 Super VL 빌드와 맞붙여, 자신의 이미지로, 오후 한나절에 토큰 비용만 들여 시험해 볼 수 있습니다. 프로바이더 간 자동 페일오버가 여기서 중요한 이유는 좁고 분명합니다. 5,000건 중 4,000번째 요청에서 죽는 평가 실행은 실행 전체를 날려버리는데, 프로바이더 오류 시 다른 곳에서 재시도하는 게이트웨이는 오후 한나절과 이틀의 차이를 만듭니다.

그렇지 않으면 모호할 수 있는 한 가지를 분명히 하자면: N​VIDIA N​emotron 3.5 Super VL은 우리 카탈로그에 없습니다. 우리는 오늘 이 모델을 제공하지 않으며, 특히 베이스 체크포인트는 호스팅 엔드포인트가 아예 제공할 가능성이 낮은 것입니다. 베이스 체크포인트는 추론 제품이 아니기 때문입니다. 게이트웨이가 제공하는 것은 실험의 저렴한 절반, 즉 249 GB를 지불할 가치가 있는지 알려주는 비교입니다.

아직 확립되지 않은 것은 무엇인가

네 가지, 위험이 아니라 격차로 제시된 것.

• 어느 컨텍스트 제한이 실제일까. 카드에는 1M이라고 적혀 있고, 배포된 구성은 262,144를 선언하며, 학습 설명에는 1M 확장이 실행되었다고 합니다. 이 세 가지를 해명하는 공개된 발표는 없습니다. 장문맥 continued-pretraining 실행을 계획하는 사람이라면 구성 값을 기본값으로 취급하고, 카드보다는 자신의 런타임을 기준으로 검증해야 합니다.

• 비전 타워가 할 수 있는 것. 베이스 카드는 어떤 종류의 멀티모달 평가도 공개하지 않는다. OCR도, 문서도, 차트도, 비디오 행도 없다 — 해당 모달리티들에 맞춰 파인튜닝되는 것이 존재 목적인 이 패밀리의 단 하나의 체크포인트에 대해서는 말이다. 그것이 공개된 증거에서 가장 큰 구멍이다.

• 베이스가 다른 무엇과 어떻게 비교되는지. 단일 열 벤치마크 표, 베이스라인도, 하네스 주석도 없음. 66.16 GPQA Diamond 수치는 원칙적으로 NeMo Gym을 통해 재현 가능하며, N​VIDIA 외부의 누구도 재현한 적이 없다.

• 베이스가 1M 배포 레시피를 어디든 함께 제공하는지 여부. 포스트트레이닝된 카드에는 전체 윈도우에 대한 4×H100 및 2×GB200 실행 명령이 들어 있습니다. 베이스 카드에는 hf download 하나가 들어 있습니다. 그것이 문서상의 누락인지, 아니면 1M에서 베이스를 서빙하는 것이 NVIDIA가 지원할 의도가 없는 사항이라는 진술인지는 명확하지 않습니다.

그렇다고 해서 그 릴리스가 덜 흥미로워지는 것은 아니다. 그것은 베이스 체크포인트를 이 패밀리에서 가장 문서화가 덜 된 아티팩트로 만들고, 좁고 특정한 종류의 팀에게는 가장 유용한 아티팩트로 만든다 — 차이는 다음 단계가 API 호출인지 트레이닝 실행인지에 있다.

실패 모드가 아직 문서화되지 않은 모델의 경우, 유용한 대응물은 다른 곳에서 이미 무엇이 잘못되었는지에 대한 기록입니다. 이 등급의 모델과 관련된 문서화된 AI 사고와 에이전트 실패는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 분쟁 플래그가 함께 제공됩니다.