NVIDIA가 Meta의 816B 플래그십을 위한 드래프터를 조용히 출시했다

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

출시된 항목, 확인할 수 있는 순서대로

아래의 모든 내용은 저장소 또는 이를 위한 Hugging Face 자체 API에서 가져온 것입니다. 이 중 어느 것도 벤더 벤치마크를 신뢰할 필요가 없습니다.

• 타이밍 — 해당 저장소는 2026년 10월 16일 04:40 UTC에 생성되었고, 가중치는 약 40분 후에 커밋되었습니다. 카드 자체의 릴리스 문구에는 "Huggingface: 10/16/2026"라고 적혀 있습니다. NVIDIA 개발자 블로그에는 함께 제공되는 발행물이 없으며, 모델 카드는 DFlash 논문과 Model Optimizer 프로젝트만 참조합니다.

• 아티팩트 — BF16의 safetensors 파일 하나, 파라미터 4,384,162,432개, 약 8.8GB의 저장 공간. 아키텍처 클래스는 DFlash2DraftModel이며, 5개의 dense 디코더 레이어, 윈도우 2,048의 비인과적 슬라이딩 윈도우 어텐션, 히든 크기 8,192, 각 64차원인 16개의 키-값 헤드에 대응하는 128개의 쿼리 헤드, 그리고 202,048개의 어휘를 갖습니다. 블록 크기는 8이며, 드래프트는 타깃의 62개 중 5개 레이어 — 3, 19, 31, 47, 59 — 를 활용합니다.

• 접근 제한이 없습니다 — Hugging Face는 해당 저장소를 공개 및 무제한으로 보고합니다. 지금 바로 drafter를 다운로드할 수 있는 반면, Meta의 대상 저장소는 여전히 약관 동의 로그인 뒤에 있습니다.

• 라이선스 스택 — 드래프트 체크포인트는 NVIDIA 오픈 모델 계약(NVIDIA Open Model Agreement)의 적용을 받으며, 카드에는 Meta의 Muse 모델 라이선스(Muse Model License)가 추가로 적용되어, 이를 기반으로 제작된 모든 결과물에 "Built with Muse Spark Open"이라는 출처 표기 문구가 요구됩니다.

• NVIDIA가 밝힌 출처 — 카드 자체의 제3자 고지에는 Muse-Spark-Open-816B-A42B가 "NVIDIA가 소유하거나 개발한 것이 아니며" 이 초안 작성자가 "해당 대상 모델과 함께 사용하도록 NVIDIA에 의해 훈련되었다"고 명백히 적혀 있습니다. 훈련 프롬프트는 NVIDIA의 Nemotron-Post-Training-Dataset-v2에서 나왔으며, 수학, 코드, STEM 전반에 걸친 약 348만 개의 다국어 샘플로 구성되어 있고, 응답은 다섯 가지 추론 강도 수준에 걸쳐 대상 모델에 의해 합성되었습니다.

• 툴체인 — 카드에는 이 모델이 "NVIDIA Model Optimizer 0.47의 출시 전 빌드"로 학습되었다고 적혀 있습니다. Model Optimizer 0.47.0은 2026년 9월 23일에 공개 출시되었고, 0.48.0rc0이 10월 8일에 뒤를 이었으므로, 이 드래프터가 나온 레시피는 이제 제3자가 다시 실행할 수 있는 것이 되었습니다.

이것은 이 모델을 위한 첫 번째 드래프터가 아니며, NVIDIA의 첫 번째 드래프터도 아닙니다.

이 두 가지 사실은 여기서 실제로 새로운 것이 무엇인지 판단하는 데 모두 중요합니다. 둘 중 하나만으로도 그 드롭이 실제와 다른 무언가처럼 보이게 할 수 있기 때문입니다.

NVIDIA는 지난여름부터 다른 이들의 오픈 웨이트를 위한 DFlash 계열 드래프터를 조용히 공개해 왔습니다. 6월 중순의 MiniMax-M2.7-DFlash, 6월과 7월에 걸쳐 나온 Kimi-K2.6-DFlash와 그 뒤를 이은 Kimi-K2.7-Code-DFlash, 그리고 8월 초의 Nemotron 3.5 Lightning 30B 드래프터가 그것입니다. NVIDIA의 Muse Spark Open 드래프터는 데뷔작이 아니라 시리즈의 다음 항목입니다.

Muse Spark Open에도 이번 것 이전에 이미 드래프터가 있었다. 제3자 조직 산하의 DFlash2 체크포인트는 10월 13일 Hugging Face에 공개되었고, 같은 타깃을 위한 DSpark 체크포인트는 10월 15일에 마지막으로 업데이트되었다 — 둘 다 Meta 자체의 데이제로 스택이 한 런타임에는 DFlash V2, 다른 런타임에는 DSpark라는 이름을 붙인 지 약 한 달 뒤였다. 따라서 "Muse Spark Open용 드래프터가 존재한다"는 것이 이 이야기의 핵심은 아니다.

이야기는 더 좁고 더 유용합니다: NVIDIA 자체의, Model Optimizer로 훈련된 BF16 DFlash2 체크포인트가 이제 해당 모델을 위해 존재하며, vLLM을 테스트된 엔진으로 하여 Blackwell 하드웨어용으로 공개되었습니다. 어떤 드래프터를 실행할지 선택하고 있다면, 그 선택은 실제로 서빙 스택의 선택이며, 바로 그 지점에서 두 경로가 갈라집니다.

숫자들, 그리고 그 숫자에 붙은 정확한 조건들

NVIDIA는 세 개의 테스트 세트에 걸쳐 한 가지 값을 보고합니다: 수락 길이, 즉 드래프트 길이 7로 측정한 생성 단계당 생성되는 토큰 수의 평균입니다.

• MT-Bench, 2턴 질문 80개 — 그리디 디코딩에서 수용된 스텝당 3.73 토큰, 샘플링에서 3.01 토큰. 수학이 4.47로 가장 강한 카테고리이고, 인문학이 2.92로 가장 약하다.

• SPEED-Bench 정성 평가, 11개 카테고리 전반에 걸친 880개 프롬프트 — greedy 3.72, sampling 3.01. 다국어는 4.27, 코딩은 4.15에 도달한 반면, 글쓰기는 3.05로 뒤처진다.

• SPEED-Bench 처리량, 32,000토큰 입력 — 그리디 3.30, 샘플링 2.78이며, 여기서 상황이 나빠집니다: 고엔트로피 버킷은 그리디 2.51, 샘플링 2.16으로 급락하는 반면, 저엔트로피 텍스트는 3.71입니다.

• 조건 — 추론 노력 수준 xhigh, 출력 토큰 4,096개, 동시성 32, 단일 GB300 노드에서 TP4 및 EP4로, vLLM을 통해 서빙되며 대상 모델은 NVFP4입니다. 그리디 수치는 temperature 0이고, 샘플링 수치는 temperature 1.0에 top-p나 top-k 절단을 적용하지 않고 확률적 드래프트 샘플링 방식을 사용한 것입니다.

세 가지 주의 사항은 그 숫자들 아래가 아니라 옆에 있어야 합니다. 첫째, 그것들은 벤더가 보고한 것이며, 우리는 그중 어느 것도 재현하지 않았고, 다른 누구도 이 체크포인트에 대한 독립적인 측정을 발표하지 않았습니다. 둘째, 수용 길이는 속도 향상이 아닙니다 — 그것은 속도 향상을 계산하는 기준이 되는 상한입니다. 수용된 모든 토큰은 여전히 8160억 개 파라미터 모델에 의해 검증되어야 하며, 드래프터 자체의 순전파에도 비용이 듭니다; NVIDIA는 초당 토큰 비율도, 지연 시간 비교도 발표하지 않았는데, 이는 이것을 배포할지 결정하는 독자가 원할 바로 그 숫자입니다. 셋째, 이 모든 것은 동시성 32에서 측정되었는데, 이는 추측 디코딩이 일반적으로 가장 효과를 발휘하는 영역이 아닙니다 — 이득은 지연 시간에 제약된, 낮은 배치의 단일 스트림에 집중되며, 바쁜 서버는 더 적은 이득을 얻습니다.

이 표들이 전혀 측정하지 않는 것은 출력 품질입니다. 그리디 디코딩에서의 검증은 대상 모델 자체의 토큰을 반환하도록 설계되었으므로, 그리디 열은 거의 순수한 속도 주장에 가깝습니다. 샘플링 열은 자체 트래픽에서 테스트해야 하는 항목입니다. 확률적 드래프터는 단순히 얼마나 빠른지만이 아니라 분포가 어떻게 탐색되는지를 바꾸기 때문입니다.

실제로 그것을 어떻게 켜는지

카드는 지원되는 호출 방식을 하나 제시하는데, 그것은 vLLM 서버의 단일 플래그입니다. 대상(target)을 서빙하고, drafter를 speculative-config 인수를 통해 전달합니다: 메서드는 "dflash"이고, 모델은 NVIDIA 체크포인트이며, 추측 토큰 수는 7이고, 드래프트 샘플 메서드는 확률적이며, 명령에는 원격 코드 신뢰가 필요합니다. TensorRT-LLM은 카드가 나열한 두 번째 엔진이고, vLLM은 가속 엔진으로 명시된 엔진이며 Blackwell에서 테스트된 엔진입니다.

두 가지 공백은 짚고 넘어갈 만하다. 이 카드의 지원 하드웨어 항목은 Linux와 함께 NVIDIA Blackwell이므로, 이는 Apple 실리콘이나 소비자용 구성에 접어넣을 수 있는 경로가 아니라 데이터센터 GPU 경로다. 그리고 Meta 자체의 출시 자료가 DFlash V2를 경유하게 하는 런타임인 SGLang은 NVIDIA의 이 체크포인트용 엔진 목록 어디에도 나타나지 않는다. 두 드래프터는 서로 바꿔 쓸 수 있는 것이 아니다. 당신의 서빙 스택이 SGLang이라면, 이 저장소는 당신을 위해 작성된 것이 아니다.

초안 작성자가 독자를 위해 바꾸는 것과 바꾸지 않는 것

추측 디코딩은 대규모 모델 추론에서 가중치를 결코 다운로드하지 않을 사람들에게까지 닿는 부분이다. 매우 큰 오픈 모델을 얼마나 저렴하게 서빙할 수 있는지를 좌우하는 핵심 지렛대이기 때문이다. 더 나은 드래프터는 단계당 더 많은 승인 토큰을 뜻하고, 이는 GPU당 처리량 증가로 이어지며, 결국 API에서 더 낮은 가격과 더 빠른 첫 토큰으로 나타난다. 그래서 4.38B 모델이 뉴스인 것이다. 그것에 대해 읽는 사람은 거의 아무도 실제로 실행하지 않더라도.

그렇긴 하지만, 이것은 816B 모델을 여러분 책상 위에 올려놓는 물건이 아니다. 이는 가장 작은 실용적 체크포인트조차 수백 기가바이트 단위로 측정되는 대상에 딸린 8.8GB 부속물이며, Blackwell 실리콘에서, 서로 겹쳐진 두 라이선스 아래에 놓인다. 이것은 여러분이 대화를 나누는 모델이 아니고, 스스로 텍스트를 생성하지 않으며, 초안을 작성하도록 훈련된 대상 없이는 전혀 작동할 수 없다.

그런 것 없이 Muse Spark의 기능을 원한다면, 서빙되는 라인에 바로 있습니다: Muse Spark 1.2와 Muse Spark 1.1은 OrcaRouter가 라우팅하는 두 체크포인트이며, 둘 다 Meta의 정가에 0% 마크업으로 그대로 전달됩니다. 공급자 가격이 마크업되지 않고 그대로 전달되기 때문입니다. Muse Spark Open과 이 DFlash2 드래프트 체크포인트는 우리 카탈로그에 없으며, 그리고 그렇지 않다고 암시하지도 않겠습니다 — 자가 호스팅 가중치를 위한 드래프터는 자가 호스팅 인프라입니다. 이와 관련해 우리가 여전히 유용한 지점은 지루한 부분입니다: 200개 이상의 모델을 아우르는 단일 API, 공급자가 성능 저하될 때 자동 장애 조치, 그리고 코드 변경이 아니라 구성으로 모델 간 트래픽을 이동시키는 라우팅 DSL, 이는 검증되지 않은 체크포인트가 실제 트래픽에서 어떤 동작을 하는지 프로덕션 경로를 그것에 걸지 않고 알아내는 저렴한 방법입니다.

무엇이 남아 있는 의문점들을 해결해 줄까요?

이 글을 바꿔 놓을 네 가지 요인이 있지만, 그중 어느 것도 NVIDIA의 의도를 둘러싼 미스터리는 아니다.

• 엔드투엔드 속도 향상 수치 — 동일한 하드웨어에서 매칭된 비추측(non-speculative) 기준선 대비 초당 토큰 수 또는 지연 시간, NVIDIA가 아닌 누군가가 측정한 것. 수용 길이(acceptance length)는 드래프트가 자주 적중한다는 것을 알려주지만, 서버가 더 빨라졌다는 것은 알려주지 않는다.

• BF16 대 NVFP4 타깃 비교 — 게시된 모든 표는 NVFP4 타깃을 기준으로 측정되었으며, 이는 대부분의 사람들이 실제로 서빙하게 될 구성이지만, 이 카드에서는 타깃이 더 높은 정밀도로 실행된 사례를 보고하지 않습니다.

• vLLM 및 TensorRT-LLM 외부 지원 — 체크포인트가 SGLang에 등장하면 Muse Spark Open용 두 DFlash2 드래프터는 특정 스택 전용이 아니라 서로 대체 가능해지고, 바로 그때부터 둘 중 하나를 고르는 일이 간단해집니다.

• 공개된 툴링으로 재학습 — 이 drafter는 Model Optimizer 0.47의 사전 출시 빌드에서 나왔습니다. 0.47.0이 9월 23일부터 공개되었고 0.48.0rc0이 10월 8일부터 나와 있으므로, 그 레시피를 검토할 수 있으며, 이를 기반으로 학습된 체크포인트는 아마 조금 더 나은 결과를 보고할 것입니다.

적어도 그것들 중 첫 번째가 실현되기 전까지는, 솔직한 요약은 이렇다. NVIDIA는 다른 누군가의 플래그십을 위해 잘 문서화되고 게이트가 없으며 특정 하드웨어에 특화된 드래프터를 출시했고, 수락 길이를 공개했으며, 발표는 건너뛰었다 — 그리고 신경 써야 할 이유는 Muse Spark Open이 더 빨라졌다는 것이 아니라, 8160억 파라미터 오픈 웨이트를 대규모로 저렴하게 만드는 인프라가 이렇게 조용히 계속 도착하고 있다는 점이다.