NVIDIA Nemotron Labs Dory 1.0 4B가 네 개의 체크포인트와 함께 아무런 발표 없이 Hugging Face에 등장했다

NVIDIA Nemotron Labs Dory 1.0 4B가 지금 Hugging Face에 네 가지 양자화 버전으로 올라와 있는데, NVIDIA는 이에 대해 한마디도 하지 않았다. 체크포인트 nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8는 이 빌드를 "GA (10/16/2026)"로 표기한 모델 카드와 함께 공개되었고, 그 세 형제 모델 — NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16, NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 및 NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — 는 2026년 10월 16~17일 UTC 자정을 전후한 동일한 36분 구간 안에 푸시되었다. NVIDIA의 개발자 블로그에는 이에 대응하는 글이 없고, Nemotron 연구 랜딩 페이지에도 항목이 없으며, 어느 쪽에도 Dory라는 모델에 대한 언급이 전혀 없다. 카드 자체는 이례적으로 완성도가 높다 — 전체 벤치마크 표, 두 엔진에 대한 서빙 지침, 체크섬 — 하지만 그 주변의 마케팅 골격, 즉 보통 모델이 존재한다는 사실을 알려주는 요소는 완전히 빠져 있다.

그러므로 그것이 당신에게 무엇을 말하도록 허용하는지, 또 허용하지 않는지를 정확히 따져볼 가치가 있습니다. 알 수 있는 것은: 가중치가 존재하고, 다운로드할 수 있으며, 라이선스가 명시되어 있고, 아키텍처는 재현할 수 있을 만큼 자세히 설명되어 있으며, 공급업체는 스스로 측정했다는 주석과 함께 자체 수치를 공개했다는 점입니다. 아직 확인되지 않은 것은: 이것이 N​emotron Labs 제품군의 시작인지 일회성 실험인지, 논문이나 블로그 글이 나올 예정인지, 그리고 그 수치가 다른 누군가의 하네스에서도 견딜 수 있는지입니다. N​VIDIA는 이것을 출시로 규정하지 않았으며, 이 글도 그렇지 않습니다. 이 글은 하룻밤 사이에 나타난 리포지토리를 읽은 것입니다.

저장소에 실제로 무엇이 들어 있나요?

아티팩트는 체크포인트 네 개와 모델 카드 하나입니다. 이 카드는 실질적인 문서이며, 아래 내용의 거의 전부가 여기에서 나옵니다.

• 포맷 — BF16(W16A16), MXFP8(W8A16), NVFP4(W4A16) 및 llama.cpp용 Q5_K_M GGUF 내보내기. 이 글에서 MXFP8 체크포인트를 다루는 이유는 오직 그것이 정식 리포지토리 ID를 가진 체크포인트이기 때문이며, 카드에 실린 벤치마크는 BF16에서 측정되었습니다.

• 크기와 형태 — 총 4B개의 매개변수로, 전문가 혼합이 아닌 밀집 스택이며, 8개 레이어 입력 블록, 20개 레이어 순환 블록, 8개 레이어 출력 블록으로 나뉩니다.

• 컨텍스트 — 최대 256K 토큰, NVIDIA가 카드에 제공하는 실행 명령에서 vLLM으로 검증된 262,144개 위치.

• 라이선스 — OpenMDW 1.1. 이는 허용적이고 재배포 가능한 모델 라이선스이며, 해당 텍스트는 카드에서 링크되어 있습니다. 카드에는 이 모델이 "상업적 또는 비상업적 사용에 사용할 준비가 되어 있다"라고 분명히 명시되어 있습니다.

• 언어 — 영어만 지원하지만, 사전 학습 데이터는 43개 프로그래밍 언어를 아우릅니다.

• 학습 예산 — 사전 학습 토큰 6조 개이며, 그중 처음 약 4.5조 개는 NVFP4로 네이티브 실행된 후 나머지는 BF16으로 전환되었고, 이어서 3,000억 토큰 규모의 컨텍스트 확장 단계가 진행되었습니다. 데이터는 2013년부터 2025년 12월까지를 포괄합니다. 후속 학습은 NVIDIA가 선별한 세트에 대한 지도 미세 조정이고, 그다음은 GRPO를 사용한 다중 환경 강화 학습입니다.

• 저장소 활동 — 작성 시점 기준 `main`에 커밋 8개와 기여자 2명이 있으며, 그중 가장 최근 것은 README 편집입니다. 첫 번째 커밋인 "Upload Dory 4B MXFP8 checkpoint and tokenizer"는 올라온 지 몇 시간밖에 되지 않았습니다. 이것은 몇 달 동안 공개 상태로 조용히 있다가 이제야 주목받은 저장소가 아닙니다. 오늘 채워진 저장소입니다.

이 카드가 제대로 해내지만 대부분의 카드는 그렇지 않은 한 가지 세부 사항: GGUF 내보내기의 정확한 바이트 크기와 SHA-256을 나열하여 다운로드한 것을 확인할 수 있게 해줍니다. 3,673,288,864바이트이며, 해시는 실행 지침에 적혀 있습니다.

아키텍처야말로 관심을 가질 이유의 전부다.

벤치마크 표를 걷어내면, N​VIDIA N​emotron Labs Dory 1.0 4B에 관한 흥미로운 사실은 그것이 하나의 고정된 모델이 아니라는 점입니다. 이는 루프형, 즉 잠재 순환(latent-recurrent) 네트워크입니다. 20개 층으로 이루어진 순환 블록이 입력 블록과 출력 블록 사이에서 반복적으로 적용되며, 입력은 매 루프마다 다시 주입됩니다. 따라서 동일한 체크포인트라도 요청하는 루프 수에 따라 다르게 동작하며, 이는 훈련 시점이 아니라 서빙 시점에 선택합니다.

세 가지 결과가 뒤따르는데, 이는 모두 누군가의 테스트가 아니라 모델 카드에서 비롯된 것입니다:

• 탄력적 추론 연산 — 하나의 가중치 파일이 여러 연산 예산을 처리합니다. 지연 시간이 중요하면 루프 횟수 1, 권장 기본값은 2, 에이전트 작업의 정확도가 초당 토큰 수보다 더 중요할 때는 4입니다. 재학습도, 내려받아 동기화 상태를 유지해야 하는 두 번째 체크포인트도 필요 없습니다.

• 토큰 효율성 — NVIDIA는 토큰당 추가 연산이 더 긴 가시적 사고 사슬이 아니라 잠재 추론에 투입된다고 주장하므로, 루프 횟수가 높을수록 동일한 작업에 대해 더 적은 출력 토큰을 생성할 수 있습니다. 이 카드는 그 근거를 뒷받침하기 위해 출력 토큰 계수 차트를 제공합니다. 이 주장은 비용에 직접적인 영향을 미치며, 이것이 이를 일축하기보다 짚고 넘어갈 가치가 있는 이유입니다.

• 메모리 효율적인 루핑 — 바로 이 기능이 뻔한 반론에 답합니다. 표준 루핑은 루프마다 별도의 KV 캐시를 유지하므로, 패스를 추가할 때마다 메모리가 증가합니다. Dory는 순환 어텐션 레이어당 단일 캐시를 유지하고 매 패스마다 덮어쓰는 마지막 루프 KV 캐싱 모드를 지원하므로, 루프를 아무리 많이 실행해도 메모리 사용량이 대략 1회 루프 크기로 유지됩니다. NVIDIA는 마지막 루프 캐싱의 정확도가 출력 길이가 거의 변하지 않은 상태로 루프별 캐싱에 가깝게 유지된다고 말하며, 이를 자체 실험 결과라고 설명합니다.

어텐션 스택은 하이브리드다. 슬라이딩 윈도우 레이어와 전체 어텐션 레이어가 교차 배치되며, 이는 2026년 장문맥 소형 모델들이 수렴한 것과 같은 큰 흐름의 패턴이다. 이것들 각각은 그 자체로 이례적이지 않다. 덜 흔한 점은 256K 윈도우를 가진 4B 모델에서 루프 수를 배포 노브로 제공한다는 것이다.

공급업체 표로 읽은 벤치마크 표

여기 있는 모든 수치는 NVIDIA가 해당 카드에서 “일관된 하네스(NeMo Gym / Nemo Evaluator SDK)”라고 부르는 조건에서 산출한 것입니다. 외부의 누구도 이 중 어떤 것도 재현하지 않았고, 모델은 출시된 지 약 하루밖에 되지 않았으며, 네 저장소 모두의 다운로드 카운터는 0을 가리킵니다. 이 숫자들은 점수판이 아니라 방향성에 대한 주장으로 보세요.

N​VIDIA가 선택한 비교군은 그 자체로 시사하는 바가 큽니다: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B, Qwen3.6-35B-A3B. 특히, 두 4B급 비교 대상은 이전 Q​wen 세대에서 나온 것이며, 다른 모든 비교 대상은 상당히 더 큽니다. 세 가지 루프 설정 전반을 살펴보세요:

• SWE-bench Verified — 한 루프에서 50.3, 두 루프에서 59.5, 네 루프에서 61.8이며, Qwen3.5-4B의 54.7, Qwen3.5-9B의 61.0, Gemma 4 26B A4B의 57.40, Qwen3.6-35B-A3B의 73.4와 대비됩니다.

• Terminal-Bench 2.1 — 15, 24, 35, 43 대비 12.5 / 18.1 / 22.2. 이 항목은 루핑이 가장 큰 효과를 내는 항목이며, Dory가 여전히 다른 모델들에 가장 크게 뒤처져 있는 항목입니다.

• τ³-bench (Banking) — Qwen3.5-4B의 5.03, Qwen3.5-9B의 7.22, Gemma 4 26B A4B의 13.66, Qwen3.6-35B-A3B의 9.54에 대비해 11.6 / 12.89 / 14.69. Dory는 여기서 4B와 9B Qwen 모델을 큰 차이로 앞섭니다.

• GDPval-AA-V2 (Elo) — 424, 546, 751.6, 987과 비교한 815 / 946 / 967. 한 루프에서 두 루프로의 상승은 131 Elo 포인트로, 이는 표 전체에서 루프 간 변동 중 단일 최대치입니다.

• GPQA Diamond, 도구 없음 — 69.19 / 72.41 / 72.16 대 77.71, 80.93, 80.43 및 85.35. Dory는 이 항목에서 4B Q​wen을 포함한 모든 비교 대상에게 뒤진다.

• HLE, 텍스트 전용, 도구 없음 — 8.25 / 10.89 / 10.43 대 11.31, 15.43, 17.79 및 19.18. 마찬가지다.

• IFBench — 74.29 / 77.94 / 79 대 53.83, 59, 77.89 및 57.44. 명령 수행은 Dory의 가장 강한 상대적 결과이며, 네 번의 루프에서는 26B G​emma 4를 근소하게 앞선다.

• AA-LCR — 63 / 71 / 73 대 64.7, 68.4, 64.6, 68.5. 장문맥 검색은 루프를 적용하면 눈에 띄게 향상되어 결국 네 가지 비교 대상 모두를 앞선다.

• AA-Omniscience(정확도) — 10.03 / 10.08 / 10.03 대 15.02, 18.05, 21.13 및 19.95. 루핑은 저장된 지식에는 사실상 아무런 영향을 주지 않으며, 이는 예상된 결과이자 표의 나머지 부분에 대한 유용한 정합성 점검이다.

중요한 것은 패턴의 형태다. 루프는 에이전트형 및 도구 사용 작업에서 가장 큰 이점을 주고, 백과사전적 회상에서는 가장 적은 이점을 주며, 두 번째 루프는 모든 경우에서 세 번째와 네 번째보다 훨씬 더 가치가 있다. 이는 두 번의 루프를 기본값으로 사용하라는 카드 자체의 권장 사항과 일치한다.

NVIDIA 자체의 각주 안에 담긴 네 가지 주의사항

이 지점은 카드가 대부분보다 더 솔직한 곳이며, 표를 훑어보는 독자가 오해하게 되는 곳이기도 하다.

• AA 수치는 Artificial Analysis 수치가 아닙니다. AA 점수 지수에 대한 N​VIDIA의 비교는 "일관된 평가 하네스에서 산출된 내부 추정치"이며 "공식 Artificial Analysis(AA) 점수와 다를 수 있다"고 명시적으로 표시되어 있습니다. 이는 동등 조건의 내부 측정치이며, 외부 순위가 아닙니다.

• 긴 컨텍스트 열은 하이브리드 구성을 사용합니다. AA-LCR의 경우 카드에는 AA-LCR v1.1의 수정된 정답 키를 사용했지만 더 새로운 판정 모델이 아니라 더 오래된 판정 모델을 유지했다고 적혀 있습니다. 수정된 키 세트를 더 오래된 판정 모델과 혼합하면 그 열은 N​VIDIA의 다른 행들과 비교 가능해지며, 다른 누구의 것과도 반드시 비교 가능한 것은 아닙니다.

• 반복 실행 횟수는 제각각입니다. SciCode는 8회, AA-LCR은 16회, AA-Omniscience는 10회, GDP.pdf는 5회 실행되며, HLE, Terminal-Bench 4.0 및 GDPval-AA 변형들은 한 번만 실행됩니다. 의미 있는 분산이 있는 벤치마크에서의 단일 실행은 점수가 아니라 점 추정치입니다.

• 표에서 한 행은 측정된 수치가 아니라 보고된 수치임을 나타내는 단검(†) 기호로 표시되어 있다 — Qwen3.6-35B-A3B의 SWE-bench Verified 73.4가 그것이다. 즉, 보드에서 가장 커 보이는 숫자가 바로 N​VIDIA가 스스로 실행하지 않은 수치라는 뜻이다.

이 중 어느 것도 이 표를 틀리게 만들지는 않는다. 그것은 한 연구소의 내부 스냅샷일 뿐이며, 정직하게 읽자면 Dory는 에이전트 작업에서 이전 Q​wen 세대의 4B 및 9B 모델과 진정으로 경쟁력 있어 보이지만, 나란히 놓인 26B 및 35B 모델에는 뒤처진다.

오늘 실행할 수 있는 것과 실행할 수 없는 것

우리가 검증할 수 있는 이 모델의 호스팅 엔드포인트는 N​VIDIA에도, 그 누구에게도 없습니다. Dory는 가중치만 제공되며, 카드에 있는 두 가지 서빙 경로 모두 병합되지 않은 풀 리퀘스트에서 빌드해야 합니다:

• vLLM — 지원은 풀 리퀘스트 60149에서 "검토 중"입니다. 릴리스에 반영될 때까지는 해당 브랜치에서 vLLM을 설치한 다음, 루프 수와 KV-cache 모드를 설정하는 오버라이드로 서빙하세요. 카드에는 precompiled-kernel 환경 플래그를 사용하면 로컬 CUDA 빌드를 피할 수 있다고 나와 있습니다.

• llama.cpp — 지원은 풀 리퀘스트 30306에 있고, 카드는 움직이는 PR head가 아니라 특정 리비전을 고정하는데, 이는 레퍼런스 설정에 대한 올바른 판단입니다. 지침은 Apple Silicon에서의 네이티브 ARM64 macOS를 대상으로 하며, GGUF 경로는 위에 표시된 바이트 크기의 Q5_K_M 내보내기를 예상합니다.

카드에는 두 프로젝트 중 어느 하나라도 병합되었다는 내용이 전혀 없으며, 어느 엔진의 릴리스 노트에도 이를 시사하는 항목이 없습니다. 이번 주에 Dory를 실행하려면 PR에서 빌드하게 됩니다.

기억해 둘 만한 하드웨어 노트: NVIDIA는 H100, B200, B300 및 DGX Spark에서 테스트했으며, 공개된 유일한 속도 수치는 처리량 수치가 아니라 Spark에서의 양자화 속도 향상입니다. 해당 기기에서 MXFP8은 입력/출력 길이 조합에 따라 BF16 대비 1.69× 및 1.84×를 보이고, NVFP4는 2.17× 및 2.44×에 도달합니다. 권장 샘플링은 temperature 1.0, top-p 0.95이며, vLLM 경로에서는 추론이 항상 켜져 있습니다.

조용한 4B 릴리스가 여전히 당신의 오후를 투자할 가치가 있는 이유

출시 없이 등장한 모델의 흥미로운 점은, 그 주장이 출시 주장과는 다른 방식으로 검증 가능하다는 것이다. 카테고리 승리를 주장하는 기조연설은 없다. 대신 특정하고 반증 가능한 메커니즘을 주장하는 카드가 있다 — 하나의 4B 체크포인트가 추론 시점에 컴퓨트에 따라 자체 정확도를 확장한다는 것이다. 여러분은 GPU 하나에서 loop-count 플래그로 그것을 테스트할 수 있으며, 답은 여러분 자신의 평가에서 보이거나 보이지 않거나 둘 중 하나다.

이는 또한 라우팅 레이어가 존재하는 바로 그런 상황이며, 이 부분을 두루뭉술하게 넘어가기보다 우리가 여기서 무엇을 하는지 정확히 짚고 갈 가치가 있습니다. OrcaRouter는 NVIDIA Nemotron Labs Dory 1.0 4B를 서비스하지 않습니다. 이 모델은 우리 카탈로그에 없고, 우리가 확인할 수 있는 한 어디에도 호스팅 엔드포인트가 없습니다. 단일 키가 실제로 제공하는 것은 비교의 나머지 절반입니다. 자체 호스팅 4B를 벤치마크할 때 비교 대상이 될 호스팅 모델들은 하나의 API를 통해 공급자 정가, 0% 마크업으로 이용할 수 있으므로, 자체 호스팅 실험에 두 번째 계약이나 두 번째 SDK가 필요하지 않습니다. 자동 페일오버는 자체 GPU 풀이 포화되는 시간대를 커버하고, 라우팅 DSL을 사용하면 자체 호스팅 호출을 하나의 엔드포인트 뒤에서 호스팅 모델들과 나란히 둘 수 있습니다. 탄력적 확장이 운영 복잡성을 감수할 만한 가치가 있는지 시험해 보고 있다면, 적어도 대조군은 키 하나만 있으면 닿을 수 있습니다.

무엇이 이것을 진짜 이야기로 만들어줄까

세 가지가 있는데, 아직 어느 것도 존재하지 않습니다.

먼저, 한 가지 공지가 있습니다. 이 카드는 10월 16일자이고 리포지토리들은 밤사이 채워졌습니다; N​VIDIA의 개발자 피드는 10월 15일에 완전히 다른 모델에 관한 N​emotron 게시물을 올렸습니다. 블로그 글, 논문 또는 N​emotron Labs 패밀리 페이지가 언제든 나타날 수 있으며, 그러한 자료는 이 카드가 암시적으로 남겨 둔 학습 세부 정보와 모델의 의도된 역할을 담고 있을 가능성이 큽니다.

둘째, 엔진 지원입니다. vLLM과 llama.cpp 모두 아직 병합되지 않은 풀 리퀘스트에 머물러 있습니다. 둘 중 하나라도 병합되는 날이면, "실행할 수 있다"는 더 이상 "브랜치에서 빌드할 수 있다"는 뜻이 아니게 됩니다.

셋째, 그리고 가장 가치 있는 것은 독립적인 평가입니다. 재현할 가치가 가장 큰 주장은 벤더가 강조한 것들입니다: 루프 수에 따른 SWE-bench 및 Terminal-Bench의 변화, 그리고 마지막 루프 KV 캐싱이 정확도를 보존한다는 주장입니다. 둘 다 공개된 툴링으로 테스트할 수 있으며, 둘 중 어느 것도 NVIDIA 외부의 누구에 의해서도 테스트된 적이 없습니다.

오늘의 정확한 요약은 이렇습니다: 네 가지 형식의 실제 가중치, 허용적 라이선스, 진정으로 이례적인 아키텍처, 두 개의 열린 풀 리퀘스트로만 존재하는 서빙 경로, 그리고 유의 사항이 자체 각주에 인쇄된, 한 연구소 자체의 하네스인 벤치마크 시트입니다. 이는 N​VIDIA가 올해 공개한 가장 흥미로운 4B 모델이며, 회사는 아직 그것에 대해 누구에게도 알리기로 결정하지 않았습니다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.