
Nemotron 3.5 Super VL의 공개 포스트 트레이닝 데이터셋: 실제로 무엇을 파인튜닝할 수 있을까
- OrcaNEWOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100만 토큰당 · 71 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952지능
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856지능
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100만 토큰당 · 741 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238지능
- OpenAIOpenAI: GPT-6 Sol2026-09-2248지능
- AnthropicAnthropic: Claude Opus 5.52026-09-2258지능
- xAIGrok 4.72026-09-2146지능
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 100만 토큰당 · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 100만 토큰당 · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040지능
- OpenAIOpenAI: GPT-6 Astra2026-09-0453지능77코딩
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241지능76코딩
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245지능76코딩
- AnthropicAnthropic: Claude Fable 5.12026-09-0153지능82코딩
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 100만 토큰당 · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 100만 토큰당 · 110 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642지능72코딩
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 100만 토큰당 · 184 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845지능75코딩
NVIDIA Nemotron 3.5 Super VL은 2026년 10월 12일 Hugging Face에 가중치를 공개했고 10월 15일에 발표되었습니다. 그 릴리스에서 대부분의 보도가 건너뛴 절반은 실제로 여러분이 기반으로 삼을 수 있는 부분입니다: 10월 12일과 15일 사이에 nvidia 조직은 열한 개의 새로운 포스트트레이닝 데이터셋을 공개했습니다 — 모델 카드 자체의 6단계 훈련 설명 뒤에 있는 지도 미세 조정 및 강화 학습 코퍼스입니다. 열한 개 모두 OpenMDW-1.1을 적용 조건으로 명시하지만, 균일성은 거기서 끝납니다. 그중 두 개는 Hub에서 license: other로 표시되고, 또 다른 두 개는 그 안에 든 내용 때문에 두 번째 라이선스를 함께 갖고 있으며, "ready for commercial or non-commercial uses"라고 결코 말하지 않는 두 카드는 여러분이 짐작할 그 카드들이 아닙니다. 아래에서는 각 세트에 무엇이 들어 있는지, 카드가 그것에 관해 무엇을 공개하고 무엇을 공개하지 않는지, 그리고 전체 공개분이 어떤 NVIDIA 문서를 펼쳐 보느냐에 따라 매우 다르게 읽히는 99.62% 중앙값 정확도 회복 수치와 어떻게 대조되는지를 살펴봅니다.
무엇이 반영되었고, 언제인가요?
Hugging Face는 생성 타임스탬프를 기록하므로, 이는 추정된 것이 아니라 읽어낸 값입니다. 열한 개의 리포지토리 모두 61시간이라는 시간 범위 안에 나타났습니다:
• Nemotron-RL-litmus-bench-v0.2 — 10월 12일, 16:37 UTC. 화학 추론, 훈련 질문 47,118개 및 테스트 질문 2,056개, 64 MB, ChEMBL, OpenADMET ExpansionRx 챌린지 데이터 및 Biogen ADME 세트로 구축되었습니다. CC-BY-SA-4.0 및 OpenMDW-1.1로 이중 라이선스됩니다. ChEMBL에서 파생된 질문에 동일조건변경허락 조건이 적용되기 때문입니다.
• Nemotron-SFT-Agentic-v4 — 10월 14일 17:54 UTC. 단일 및 다중 턴 도구 사용 궤적, tool_calling 분할 549,707개와 knowledge_agent 분할 84,957개로 이루어진 634,664개 대화 레코드, 18.88 GB. Qwen3.5-397B-A17B 및 GLM-5.2로 생성.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 10월 14일 17:55 UTC. 채팅, 다중 턴 지시 수행 및 응답 길이 제어, 대화 기록 3,850,582건, 80.74 GB. Kimi-K2.6, Gemma4-E4B-it 및 Qwen3.5-397B-A17B로 생성.
• Nemotron-SFT-Agentic-Finance-v1 — 10월 14일 18:54 UTC. 수치 추론, 금융 모델링, 시장 분석, 조정 및 beat-or-miss 질문 전반에 걸쳐 공개 SEC 공시 자료를 기반으로 한 7,878개의 멀티턴 도구 호출 예시, 28 MB.
• Nemotron-RL-Agentic-Finance-v1 — 10월 14일, 18:55 UTC. 10,185개의 RL 태스크, 동일한 다섯 개 태스크 패밀리, 166 MB이며, filing 컨텍스트는 의도적으로 제공되지 않아 에이전트가 sec_filing_search, parse_html_page, retrieve_information을 사용해 이를 검색해야 합니다.
• Nemotron-SFT-Long-Context-Transduction-v1 — 10월 14일, 19:47 UTC. 위치 추적 및 시퀀스 변환을 위한 10,000개의 지시–답변 쌍, 1.22GB. 이를 생성한 모델은 없습니다: 카드에는 어떤 언어 모델도 예제나 답변을 생성하지 않는다고 명시되어 있으며, 네 가지 작업군은 산술 평가, 16진수 토큰 정렬, 변수 확장 및 CSV 변환입니다.
• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 10월 14일, 20:14 UTC. 영어→다국어 번역 예시 4,335개, 2.22 GB. 원문 텍스트는 PG-19 코퍼스의 퍼블릭 도메인 도서에서 가져왔으며 DeepSeek V4 Flash로 번역했습니다.
• Nemotron-RL-Finance-Tool-Calling-v1 — 10월 14일, 22:46 UTC. 90,307개의 금융 레코드 — 81,397개의 핵심 추론 샘플과 8,910개의 보다 광범위한 금융 에이전트 샘플 — 가 1.23GB에 담겨 있으며, NeMo Gym의 Finance SEC Search 환경을 대상으로 구동됩니다.
• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 10월 14일 22:46 UTC. 1.01 GB에 63,056개 예시가 있으며, 2017–2024년을 아우르는 S&P 500 기업의 10-K, 10-Q, 8-K 공시를 기반으로 합니다.
• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 10월 14일 23:45 UTC. 100,000개 레코드, 3.86 GB: hospitality, e-commerce, banking 및 insurance 분야를 아우르는, RL 중 시뮬레이션된 에이전트 대화를 위한 conversation_tool_use_simulation 리소스 서버용 시드 정책, 도구 정의 및 시나리오.
• Nemotron-SFT-BBQ-v1 — 2024년 10월 15일 05:22 UTC. 연령, 외모, 장애를 아우르는 영어 공정성 데이터로, 각 범주당 2,000건씩 총 6,000건, 8.0 MB 분량이며, Bias Benchmark for QA 분류 체계에 맞춰 구축되었습니다. 가상의 참가자들 간 대화는 추측보다는 근거에 기반한 답변을 장려하도록 설계되었습니다.
그 목록에서는 행 수보다 더 중요한 두 가지가 있다. 첫째는 라이선스 양상이 헤드라인 태그가 시사하는 것만큼 일률적이지 않다는 점이고, 둘째는 이 출력물들이 누구의 것이냐 하는 점이다.

라이선스 태그는 라이선스의 전부가 아닙니다.
열한 개 리포지토리 모두가 OpenMDW-1.1을 자신들의 준거 약관으로 명시합니다. 차이는 그것이 여러분에게 어떻게 전달되는가에 있으며, 그 위에 상업적인 무엇인가를 구축하기 전에 그 차이를 읽어볼 가치가 있습니다.
• 태그 대 명명된 라이선스 — 11개 중 9개는 API에서 바로 읽을 수 있는 일반 태그로 license: openmdw-1.1을 표시합니다. Nemotron-SFT-Agentic-Finance-v1과 Nemotron-RL-Agentic-Finance-v1은 license: other로 표시되며 license_name: openmdw-1.1과 계약서 링크가 함께 제공됩니다. 조건은 동일하지만, 라이선스 태그로 저장소를 필터링하는 도구는 서로 다른 두 값을 보게 됩니다.
• 업스트림 데이터로 인한 두 번째 라이선스 — Nemotron-SFT-Long-Context-Translation-PG19-v1은 소스 코퍼스가 PG-19이기 때문에 Apache-2.0을 OpenMDW-1.1과 함께 적용하며, 해당 카드에는 기반이 되는 영어 저작물이 미국에서는 퍼블릭 도메인이지만 다른 관할권에서는 저작권 상태가 다를 수 있으므로 사용자는 재배포 전에 현지 법률을 확인해야 한다고 덧붙이고 있습니다. Nemotron-RL-litmus-bench-v0.2는 OpenMDW-1.1과 함께 CC-BY-SA-4.0을 적용하며, 동일조건변경허락 조건은 특히 ChEMBL에서 파생된 질문에 적용됩니다.
• 상업적 사용 문구 — 카드 아홉 장에는 "이 데이터셋은 상업적 또는 비상업적 용도로 사용할 수 있습니다."라고 명시되어 있습니다. 그렇지 않은 두 장은 Nemotron-SFT-Long-Context-Transduction-v1과 Nemotron-SFT-Long-Context-Translation-PG19-v1으로, 금융 데이터셋이 아니라 롱컨텍스트 쌍입니다.
• 콘텐츠 제외 범위가 문서화된 위치 — 재무. 문서에 근거한 카드에는 해당 릴리스가 Form 10-K, 10-Q 및 8-K 본문에서 허용된 제한적 맥락의 발췌문만을 유지하며, 전체 SEC 코퍼스, 모든 전시물 및 제3자 저작권 고지가 있는 모든 콘텐츠는 제외된다고 명시되어 있으며, 컨설턴트 보고서, 프레젠테이션, 공정성 의견서 및 애널리스트 리서치를 구체적으로 열거하고 있습니다. 또한 발췌문에 대한 책임은 각 발행사에 있음을 언급하고 있습니다.
그래서 실무적으로 읽으면 직관과 반대가 된다. 금융 세트는 라이선스 배지가 가장 요란한 쪽이다 — 문서 기반 및 도구 호출 세트에는 깔끔한 openmdw-1.1이 붙어 있다 — 그리고 그 안에 무엇이 들어 있는지에 관한 문서화된 제한이 가장 많은 쪽이기도 하다. 장문맥 세트는 Hub 메타데이터와 설명 문구가 서로 가장 크게 어긋나는 쪽이다. 어느 쪽도 외면할 이유는 아니다; 둘 다 라이선스 필드 하나 대신 카드 네 장을 읽어야 하는 이유다.

누구의 출력으로 NVIDIA의 플래그십이 훈련되었나?
이번 공개 전반에 걸쳐 나타나는 또 다른 요소는 생성 모델이며, 카드들은 이를 에두르지 않고 명시한다. 플래그십 에이전트형 SFT 세트는 Qwen3.5-397B-A17B와 GLM-5.2로 생성되었다. 지시 수행 세트에는 Kimi-K2.6과 Gemma4-E4B-it이 추가된다. 문서 기반 금융 세트는 질문 생성용으로 Qwen3.5-397B-A17B, 답변용으로 DeepSeek-V4-Pro, 필터링 및 선택용으로 gpt-oss-120b를 명시한다. RL 금융 도구 호출 세트는 업스트림에 Qwen3.5-397B-A17B 및 Qwen3-235B-A22B-Instruct-2507, 답변용으로 DeepSeek-V4-Pro, 필터링용으로 gpt-oss-120b, 그리고 8회 롤아웃에 걸친 RL 난이도 프로파일링용으로 NVIDIA Nemotron 자체를 나열한다. PG-19 번역은 DeepSeek V4 Flash로 생성되었다.
그것은 우연이 아니라 공개 결정이며, 품질을 따져보려는 사람에게 이번 공개에서 가장 유용한 정보다. 그것은 당신이 파인튜닝해 넣고 있는 행동적 사전이 상당 부분 NVIDIA의 것이 아니라는 점을 알려준다 — 그것은 두 중국 프런티어 오픈웨이트 계열과 OpenAI 오픈웨이트 모델 하나, Google 소형 모델 하나가 섞인 것이다. 그중 어느 것이 금융 텍스트나 도구 선택에서 어떻게 행동하는지에 대한 의견이 있다면, 그 의견은 여기서 당신의 출발점에도 적용되며, 이제는 추측하는 대신 그것을 확인할 수 있는 출처가 있다.
데이터가 당신이 행동할 수 있는 부분인 이유
이번 출시에서 데이터셋 공개가 더 흥미로운 절반인 이유는 공급업체 자체 수치에서 드러난다. NVIDIA의 뉴스룸 게시물은 해당 모델을 포스트트레이닝한 조직들을 거명하고 그 결과를 인용한다: Scale AI는 Skydance의 벤더 크레딧 작업에서 "추론 비용 40배 절감" 및 "지연 시간 5배 감소"; Ramp는 영수증 이미지를 구조화된 JSON으로 변환하는 작업에서 "최대 50% 더 높은 처리량과 10배 더 낮은 지연 시간"을 기대; AI21과 Alice는 위협 인텔리전스에서 "정확도 41% 향상." 개발자 블로그를 뉴스룸과 나란히 읽으면 동일한 고객 결과가 "추론 비용 40배 절감, 지연 시간 10배 감소, 정확도 40% 향상"으로 축소된다 — 뉴스룸이 41이라고 말한 곳에서 40, 5배라고 말한 곳에서 10배이며, 같은 두 배포로 보이는 것들에 대해서다. 이는 벤치마크가 아니라 고객이 자신의 워크로드에 대해 기대하는 바이며, 어느 버전도 당신이 재현할 수 없다.
재현 가능한 것은 영수증이다. 뉴스룸은 이 모델이 약 380만 개의 샘플과 수십 개의 환경에 걸친 강화 학습으로 포스트 트레이닝되었으며, 공개 데이터셋이 에이전트 도구 사용, 금융, 지시 따르기, 긴 컨텍스트, 공정성, 비전-언어 이해를 아우른다고 밝힌다. 위의 11개 저장소가 바로 그 코퍼스이며, 카드가 가리키는 NeMo Gym 환경이 그 하네스이다. 문서 인텔리전스 에이전트를 원하는 팀은 이제 모델, 서빙 레시피, 미세 조정 라이브러리, 훈련 데이터를 한곳에서 모두 가지고 있다. "이 모델은 특화될 수 있다"와 "오늘 다운로드할 수 있는 특화 버전이 여기 있다" 사이의 격차를 이 저장소들이 메운다.
그 카테고리 목록에 관한 한 가지 주의점: NVIDIA의 뉴스룸은 공개된 데이터셋 가운데 비전-언어 이해를 포함하고 있으며, 이 기간에 생성된 11개의 새로운 nvidia 데이터셋 저장소는 텍스트 및 도구 사용 코퍼스입니다. 문서 기반 금융 세트는 이번 릴리스에서 비전 세트에 가장 가까운 것이지만, 형식은 텍스트 전용입니다. 이미지와 비디오 쪽을 보러 오셨다면, 데이터는 여기에 없습니다 — Hub에서 가장 최근의 NVIDIA 비전 데이터셋은 이 기간보다 5일 전에 공개되었습니다.
카드가 공개하지 않는 것, 그리고 그로 인해 당신이 치르는 대가
다음은 아무도 출시 게시물에 넣지 않는 숫자이며, 이번 공개에서는 빠져 있는 숫자입니다. 열한 개의 데이터셋 카드 중 어느 것도 토큰 수를 공개하지 않습니다. 그들은 레코드 수와 저장 용량만 공개하며, 그게 전부입니다. 그래서 규모 산정 질문 — 지시 수행 세트를 한 에폭 도는 데 GPU 시간이 얼마나 필요한가 — 은 릴리스만으로는 답할 수 없고, 바이트를 가정된 토큰당 바이트 비율로 나누어 추정할 수 있을 뿐이며, 이는 마치 측정된 것처럼 보도로 흘러 들어가는 바로 그런 종류의 수치입니다.
활용할 수 있는 근거는 공개된 저장 용량입니다: Nemotron-SFT-Instruction-Following-Chat-v4의 경우 80.74 GB, Nemotron-SFT-Agentic-v4의 경우 18.88 GB, 대화형 도구 사용 시드 세트의 경우 3.86 GB, 그리고 긴 꼬리 — 2.22 GB, 1.23 GB, 1.22 GB, 1.01 GB, 166 MB, 28 MB, 8.0 MB, 64 MB입니다. 가장 큰 두 세트는 이번 공개분의 다른 모든 것보다 10배에서 100배 더 큽니다. 이는 토큰 수를 전혀 세지 않고도 사후 학습 비중이 실제로 어디에 있는지 알려줍니다.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 80.74 GB, 3,850,582개 레코드. 이 데이터셋은 전체 파라미터 학습을 한나절이면 끝나는 작업이 아니라 하나의 프로젝트로 만들어 주는 규모입니다.
• Nemotron-SFT-Agentic-v4 — 18.88GB에 634,664개 레코드. 크기가 약 4분의 1 수준이라 단일 노드 실행으로도 충분히 감당할 수 있는 범위에 들어옵니다.
• Nemotron-SFT-BBQ-v1 — 8.0MB에 6,000개 레코드. 몇 분 만에 반복 실험할 수 있을 만큼 작아서, 실제로 중요한 작업에 GPU 일주일을 투입하기 전에 파인튜닝 루프가 제대로 연결되어 있는지 확인하는 가장 저렴한 방법입니다.
• Nemotron-SFT-Long-Context-Transduction-v1 — 1.22 GB이지만 예시는 10,000개뿐이며, 공개된 예시당 범위는 2,048~131,072 타깃 토큰입니다. 여기서는 비용이 볼륨이 아니라 시퀀스 길이에 의해 좌우되며, 카드에 따르면 이 예산은 cl100k_base로 추정한 생성 목표치이지 학습 후 측정된 개수가 아닙니다.
모델 측면의 규모를 보면, 모델 카드는 단계별 예산을 공개한다: 동결된 백본에 대한 1,000억 토큰 규모의 MTP 워밍업, 한 단계 더 큰 Nemotron으로부터의 1조 토큰 증류, 1,000억 토큰의 Indic 지속 사전 학습, 1M 컨텍스트로의 350억 토큰 확장, 256K에서의 670억 토큰 소프트웨어 엔지니어링 중간 학습, 그리고 90억 토큰의 장문 컨텍스트 복구 단계다. 이는 NVIDIA가 릴리스 전체에서 제시한 유일한 토큰 예산이며, 기본 모델 학습에 적용되는 것이지 이러한 데이터셋에 대한 미세 조정에는 적용되지 않는다.
이것이 바로 여기서 LoRA 경로가 각주에 그치지 않고 중요한 이유이기도 합니다. NVIDIA는 지도 미세 조정과 저랭크 적응을 위해 개발자들에게 NVIDIA NeMo AutoModel을 안내하며, 어댑터는 모델의 몇 가지 동작을 바꾸는 것과 249 GB의 가중치를 다시 도출하는 것 사이의 차이입니다. 두 경로 모두 실재하며, 둘 중 선택은 베이스 모델의 동작을 얼마나 많이 바꿀 의도인지에 관한 결정입니다. 좁은 스키마나 정책 준수 동작을 추구하는 금융팀은 LoRA 영역에 있습니다. 모델이 모든 상호작용에서 새로운 운영 절차를 유지하기를 원하는 팀은 그렇지 않습니다.
두 문서, 하나의 벤치마크, 상반된 답변
이 릴리스와 함께 제공되는 기술 보고서는 10월 14일자이며, 맥락 없이 가장 멀리까지 퍼져 나간 수치를 담고 있다. NVIDIA는 공개된 NVFP4 체크포인트가 99.62%의 중앙값 정확도 회복률을36개 벤치마크 전반에서 BF16 대비 달성했다고 보고한다. 이는 공격적인 학습 후 양자화(post-training-quantization) 레시피에 이어 200회의 SFT 기반 양자화 인식 증류를 거친 결과로, 보고서의 모듈별 표에 따르면 C-RADIO 비전 인코더, VL 커넥터, Mamba 컨볼루션, 임베딩은 BF16으로, 라우터 연산은 FP32로 남겨두었다.
"정확도 회복률 중앙값"은 비율들의 중앙값이지 최솟값이 아니다. 99.62%를 얻기 위해 보고서는 벤치마크별 점수 비율을 계산하고 36개 중 가운데 값을 택하므로, 헤드라인은 전형적인 벤치마크가 전체 정밀도보다 약 0.4%포인트 낮게 나온다는 것만 알려줄 뿐 꼬리 부분에 대해서는 전혀 말해주지 않는다. 보고서 자체 표는 꼬리 부분을 보여준다: Tau3 Banking은 94.20%, SciCode의 문제 해결 부문은 93.63%, MMLU-ProX는 95.90% — 반대 방향으로는 GDPVal이 111.53%, Terminal-Bench v2.1이 103.47%인데, 이는 양자화가 단일 실행에서 BF16 기준보다 높게 나올 수 있기 때문이다.
그런 다음 모델 카드를 비교해 보면, 이야기는 꼬리보다 더 흥미로워진다. NVIDIA 자체의 NVFP4 모델 카드는 동일한 체크포인트에 대해 BF16 대 NVFP4 표를 공개하는데, 그 표에서 Terminal-Bench 2.1은 66.70 대 60.80으로 나온다 — 양자화 빌드가 9퍼센트 낮다. 기술 보고서의 전체 스위트 표에서는 같은 벤치마크가 60.67 대 62.78로 나오며, 양자화 빌드가 앞선다. 같은 모델, 같은 벤치마크, 같은 평가 하네스 계열, 두 개의 NVIDIA 문서, 상반된 방향. 이 카드는 또한 WebVoyager가 77.72에서 66.31로 떨어지고 DeepSWE가 24.65에서 18.2로 떨어지는 것을 보여주는데, 그중 어느 것도 99.62%라는 헤드라인에서 얻게 되는 이야기의 버전이 아니다.
그것은 스캔들이 아닙니다 — 서로 다른 표는 서로 다른 하네스 구성을 담을 수 있고, 보고서의 표는 각 행 옆에 복구율을 함께 보고합니다 — 하지만 그것은 "NVFP4 때문에 정확도를 잃는가"에 대한 정직한 답이 다음과 같다는 뜻입니다: 공개된 대부분의 행에서는 거의 정확도를 잃지 않습니다; 실제로 잃는 행에서는 중앙값이 시사하는 것보다 더 많이 잃습니다; 그리고 그런 행이 어느 것인지에 대해 벤더의 두 문서는 서로 일치하지 않습니다. 워크로드가 에이전트형 터미널 작업이라면, 표를 고르기보다 직접 다시 측정하십시오.
이와 대조적으로, 배포 계산은 모호하지 않으며 양자화된 빌드를 지지하는 가장 강력한 논거입니다. BF16 리포지토리는 체크포인트 파일 총 248.9GB이고 자체 퀵스타트는 이를 4× H100에서 서빙합니다. NVFP4 리포지토리는 총 75.06GB이며, 보고서는 이를 스케일을 포함해 파라미터당 4.82비트로 제시하는데, 이는 H200 한 대, GB200 한 대 또는 단일 DGX Spark에 들어갑니다. GB200 한 대에서 보고서는 최대 4,856 출력 토큰/s/GPU를 20턴 에이전트 프록시 워크로드에서 사용자당 최소 50토큰/s를 유지하면서 제시하며, NVFP4는 2.43× BF16 처리량(같은 워크로드 기준)이며, 모델은 2.34× 및 1.90× Qwen3.5-122B-A10B 및 Qwen3.8 Flash-Next의 처리량입니다. 이 모든 수치는 NVIDIA가 자체 서빙 스택에서, 레시피가 선택한 동시성에서 측정한 것입니다.
릴리스의 또 다른 4분의 1은 놓치기 쉽지만, 나중에 여러분의 파인튜닝이 논란의 대상이 될 경우 중요해집니다. 보고서는 학습 후 데이터에 대한 오염 검사 과정을 설명하는데, 이 과정에서 20,671개 샘플이 제거되었습니다 — 약 0.09%로, 14,793개 SFT와 5,878개 RL 샘플로 나뉘며 — 검사한 30개 벤치마크 중 22개에서 1,808개(6.0%)의 벤치마크 질문과 일치했고, 판정된 후보 쌍의 약 3%가 심각한 오염으로 표시되었습니다. 대부분의 오픈 웨이트 릴리스는 정제 방법론을 전혀 공개하지 않습니다. 인용할 수 있는 방법론을 갖추는 것은, 고객이 여러분의 파인튜닝 평가 수치가 왜 그렇게 나오는지 물을 때 생각보다 더 큰 가치가 있습니다.

이것이 이번 주에 할 수 있는 일을 어떻게 바꾸는가
10월 12일 이전에는 불가능했던 세 가지 구체적인 일들이 이제 가능해졌다.
첫 번째는 데이터 라이선싱 논의 없이 구축할 수 있는 금융 공시 에이전트입니다 — 단, 한 가지 단서가 붙습니다. 금융 리포지토리는 전체 루프를 포괄합니다: 7년간의 S&P 500 공시에 걸친 문서 기반 SFT 예시 63,056개, 실시간 SEC 검색 환경을 대상으로 한 RL 도구 호출 기록 90,307개, 행동 계층을 위한 멀티턴 도구 호출 예시 7,878개, 그리고 검색이 작업의 일부가 되도록 공시 문맥을 제외한 RL 작업 10,185개입니다. 단서는 위에 문서화된 예외 조항입니다: 발췌만 포함하고, 첨부물은 제외하며, 제3자 저작권 자료는 제거하고, 문제는 발행사 책임으로 남깁니다. 이는 깔끔한 입장이라기보다 잘 문서화된 입장이며, 코드보다 카드를 먼저 읽어야 하는 세트입니다.
두 번째는 에이전트형 도구 사용이며, 이는 이번 릴리스에서 가장 잘 지원되는 버티컬입니다. Nemotron-SFT-Agentic-v4의 634,664개 레코드, 호스피탈리티, 이커머스, 뱅킹 및 보험 시나리오를 갖춘 100,000개 레코드의 대화형 도구 사용 시드 세트, 그리고 카드가 가리키는 NeMo Gym 환경 사이에서, 전체 파이프라인이 처음부터 끝까지 설명됩니다: 궤적 생성, 시뮬레이션된 대화 실행, 검증 가능한 보상으로 훈련, 공급업체 자체가 사용한 하네스에서 평가. 이 모델에 대해 어떻게 생각하든, 이는 일반 비전-언어 모델을 도구 호출 에이전트로 전환하기 위한 완전한 공개 레시피이며, 예전에는 암묵지였던 부분입니다.
세 번째는 실제로 반복 개선할 수 있는 공정성 기준선입니다. Nemotron-SFT-BBQ-v1은 6,000개 레코드와 8.0MB로, 연령, 외모, 장애 전반에 걸쳐 2,000/2,000/2,000으로 균형을 이루고 있으며, 대화는 증거 기반 답변과 가정 기반 답변이 모두 그럴듯하도록 작성되어 있습니다. 이 규모라면 오후 한나절 안에 실행하고 채점하고 다시 실행할 수 있어, "이걸 어떻게 테스트했나요"라는 질문이 조달 문제에서 실험으로 바뀝니다.
프로덕션 경로를 걸지 않고 시도해 보는 것
이번 릴리스에서 까다로운 부분은 데이터가 아니라 배포입니다. BF16 체크포인트는 H100 4장을 요구하고, 양자화된 체크포인트는 H200 또는 GB200 한 장을 요구합니다. 오픈 웨이트는 Hugging Face에 있고, 벤더 자체의 호스팅 엔드포인트 경로는 NVIDIA NIM이며, 뉴스룸에서는 서드파티 플랫폼들도 언급했습니다. 우리는 이 모델을 서빙하지 않으므로, 관리형 엔드포인트를 원한다면 벤더 자체 API와 여러 서드파티 플랫폼을 살펴봐야 합니다. 여기서 라우터가 유용한 부분은 나머지 결정입니다.
200개 이상의 모델 전반에서 단일 키로, 공급자 정가에 0% 마크업이라는 것은 NVFP4 빌드를 오늘 사용 중인 텍스트 모델과 비교하는 데 두 번째 벤더 계약이 아니라 단 한 줄의 변경만 필요하다는 뜻이며, 공급자 간 자동 장애 조치는 단지 테스트만 해보는 워크로드가 프로덕션 트래픽 옆에 나란히 있어도 어느 쪽도 상대방에게 의존하지 않을 수 있다는 뜻입니다. 그것이 바로 되돌릴 수 있는 결정의 형태입니다. 문서가 이틀밖에 되지 않고 자체 벤치마크 표가 서로 어긋나는 모델에게 바라는 바로 그런 것입니다.
실용적인 순서는 다음과 같습니다: Nemotron-SFT-BBQ-v1 또는 에이전트형 세트의 일부를 가져와, 임대한 H200에서 LoRA를 실행해 여러분의 루프를 검증하고, 자체 평가로 점수를 매긴 다음에야 249GB 풀정밀도 빌드와 네 개의 GPU가 그만한 가치가 있는지 결정하는 것입니다. 데이터셋은 무료로 다운로드할 수 있고, 작은 것들은 무료로 실행할 수 있습니다. 그 계획에는 99.62% 중앙값을 믿어야 할 어떤 부분도 없습니다.
아직 무엇이 빠졌나요?
세 가지 격차는 마케팅이 아니라 셈법을 바꾸기 때문에 주목할 가치가 있습니다.
첫 번째는 파인튜닝된 결과에 대한 독립적 평가입니다. 이번 릴리스의 모든 학습 후 수치 — 병렬 에이전트 실행과 자기 검증을 통한 Terminal-Bench의 62.7→71.9 상승, 동일 실험에서 DeepSWE의 24.6→34.5 상승, AI21에서의 41% 정확도 향상, Scale AI에서의 40배 비용 절감 — 는 NVIDIA의 하네스 또는 고객 자체 측정에서 나온 것입니다. 이 데이터셋들에서 Nemotron 3.5 Super VL 파인튜닝을 재현하고 그 결과를 공개한 제3자는 없습니다. 그런 제3자가 나오기 전까지는 효과 크기를 상한으로 간주하십시오.
두 번째는 비디오 경로입니다. 모델은 최대 2분 길이의 MP4를 2 FPS와 256 프레임으로, 또는 1080p의 경우 1 FPS와 128 프레임으로 받아들이며, 프루닝 비율은 0.5입니다. 그리고 이번 공개에는 공개 비디오 사후 학습 데이터셋이 없습니다. 위의 모든 리포지토리는 텍스트이며, 번역 및 트랜스덕션 세트는 시각적인 무엇이 아니라 긴 컨텍스트 텍스트입니다. 모델 카드가 광고하는 비디오 이해가 여러분의 사용 사례라면, NVIDIA는 이를 특화할 데이터 없이 그 기능을 출시한 것입니다.
세 번째는 이 데이터셋들이 Nemotron이 아닌 모델에 어떤 영향을 미치는지 아무도 공개하지 않았다는 점입니다. 열한 개 모두 하나의 모델의 포스트트레이닝 혼합물을 만들기 위해 구축되었습니다 — 카드에는 일부 세트가 이전의 Nemotron 특정 버전을 통합한다고 명시되어 있고, 대화형 시드 세트는 새로 생성한 것이 아니라 피벗 세트를 위한 시드 데이터라고 설명되어 있습니다. 에이전트형 코퍼스가 다른 120B 백본으로 전이되는지는 미해결 질문이며, 기존 파인튜닝 스택을 갖춘 팀이 가장 먼저 답을 얻고 싶어 할 질문입니다.
세 가지 격차는 모두 NVIDIA의 작업이 아니라 다른 누군가의 작업으로 메워지는 종류다. 이는 오픈 릴리스에서 흔한 전개다. 가중치는 오늘 다운로드할 수 있고, 데이터도 오늘 다운로드할 수 있으며, 첫 번째로 신뢰할 만한 독립적 파인튜닝이야말로 그것이 GPU 시간을 들일 가치가 있는지 알려줄 바로 그 요소다.
이 글에서 비교한 모델2
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
