NVIDIA âm thầm phát hành một mô hình nháp cho mô hình chủ lực 816B của Meta

NVIDIA đã công bố nvidia/Muse-Spark-Open-816B-A42B-DFlash2 lên Hugging Face vào ngày 16 tháng 10 năm 2026, và không thông báo cho bất kỳ ai. Kho lưu trữ này là một checkpoint nháp — một mô hình giải mã suy đoán (speculative decoding) với 4,38 tỷ tham số, mà toàn bộ nhiệm vụ của nó là đoán trước vài token tiếp theo của Muse-Spark-Open-816B-A42B, mô hình chủ lực trọng số mở 816 tỷ tham số của Meta, để mô hình lớn có thể xác minh cả một khối dự đoán chỉ trong một lượt truyền xuôi duy nhất thay vì phát ra từng token một. Không có bài đăng blog nào của NVIDIA, không có luồng thông báo, không có thông cáo báo chí, và tính đến thời điểm viết bài, kho lưu trữ này hiển thị không lượt tải xuống và không lượt thích nào. Điều nó có là một thẻ mô hình với các bảng độ dài chấp nhận, một lệnh gọi vLLM hoạt động được, và một danh sách ngắn những điều mà nó đáng chú ý là từ chối tuyên bố. Đây là những gì sản phẩm này nói và những gì nó không nói.Điều mà những con số không thể cho bạn biết là liệu có phần nào trong đó đã gặp trục trặc ngoài thực tế hay không: các sự cố AI được ghi nhận và các thất bại của agent liên quan đến những mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.

Những gì đã phát hành, theo thứ tự có thể kiểm tra

Mọi thứ dưới đây đều đến từ kho lưu trữ hoặc từ API của chính Hugging Face dành cho nó. Không phần nào trong đó đòi hỏi phải tin tưởng vào một benchmark của nhà cung cấp.

• Thời điểm — repo được tạo lúc 04:40 UTC ngày 16 tháng 10 năm 2026 và trọng số của nó được commit khoảng bốn mươi phút sau đó; dòng phát hành của chính model card ghi "Huggingface: 10/16/2026". Không có ấn phẩm đi kèm nào trên blog nhà phát triển của NVIDIA, và model card chỉ tham chiếu đến bài báo DFlash và dự án Model Optimizer.

• Artifact — một tệp safetensors ở BF16, 4.384.162.432 tham số, khoảng 8,8 GB dung lượng lưu trữ. Lớp kiến trúc là DFlash2DraftModel, với năm lớp giải mã dense, attention cửa sổ trượt phi nhân quả tại cửa sổ 2.048, kích thước ẩn 8.192, 128 đầu truy vấn so với 16 đầu khóa-giá trị ở 64 chiều mỗi đầu, và từ vựng 202.048. Kích thước khối là 8; mô hình nháp lấy năm lớp của mô hình mục tiêu — 3, 19, 31, 47 và 59 — trong tổng số 62.

• Nó không bị rào chắn truy cập — Hugging Face báo cáo rằng kho lưu trữ này là công khai và không hạn chế. Bạn có thể tải drafter ngay bây giờ, trong khi kho lưu trữ mục tiêu của Meta vẫn nằm sau bước đăng nhập chấp nhận điều khoản.

• Ngăn xếp giấy phép — checkpoint bản nháp chịu sự điều chỉnh của NVIDIA Open Model Agreement, và thẻ này bổ sung thêm Muse Model License của Meta lên trên, với chuỗi ghi công "Built with Muse Spark Open" là bắt buộc đối với bất kỳ thứ gì được xây dựng dựa trên nó.

• Nguồn gốc, được NVIDIA nêu rõ — thông báo bên thứ ba của chính thẻ này nói thẳng rằng Muse-Spark-Open-816B-A42B "không thuộc sở hữu hay được phát triển bởi NVIDIA" và rằng mô hình soạn thảo này "đã được NVIDIA huấn luyện để dùng với mô hình đích đó". Các prompt huấn luyện đến từ Nemotron-Post-Training-Dataset-v2 của NVIDIA, khoảng 3,48 triệu mẫu đa ngôn ngữ trải khắp toán học, lập trình và STEM, với các phản hồi được mô hình đích tổng hợp qua năm mức độ nỗ lực suy luận.

• Bộ công cụ — thẻ cho biết mô hình được huấn luyện bằng "bản dựng tiền phát hành của NVIDIA Model Optimizer 0.47". Model Optimizer 0.47.0 đã được phát hành công khai vào ngày 23 tháng 9 năm 2026, và 0.48.0rc0 ra mắt tiếp sau đó vào ngày 8 tháng 10, nên công thức làm ra mô hình nháp này giờ đây là thứ mà bên thứ ba có thể chạy lại.

Đây không phải là drafter đầu tiên cho mô hình này, và cũng không phải là drafter đầu tiên của NVIDIA.

Cả hai sự thật đó đều quan trọng để đánh giá điều thực sự mới mẻ ở đây, bởi vì chỉ riêng một trong hai thôi cũng sẽ khiến sự sụt giảm trông giống như một thứ mà nó không phải.

NVIDIA đã âm thầm công bố các mô hình nháp thuộc họ DFlash cho trọng số mở của người khác kể từ mùa hè: MiniMax-M2.7-DFlash vào giữa tháng 6, Kimi-K2.6-DFlash rồi đến Kimi-K2.7-Code-DFlash trong suốt tháng 6 và tháng 7, và một mô hình nháp Nemotron 3.5 Lightning 30B vào đầu tháng 8. Một mô hình nháp Muse Spark Open từ NVIDIA là mục tiếp theo trong một loạt, chứ không phải màn ra mắt đầu tiên.

Muse Spark Open cũng đã có sẵn các mô hình nháp từ trước bản này. Một checkpoint DFlash2 thuộc một tổ chức bên thứ ba đã được đăng lên Hugging Face vào ngày 13 tháng 10, và một checkpoint DSpark cho cùng mục tiêu được cập nhật lần cuối vào ngày 15 tháng 10 — cả hai đều diễn ra khoảng một tháng sau ngăn xếp day-zero của chính Meta, vốn đặt tên DFlash V2 cho một runtime và DSpark cho runtime còn lại. Vậy nên “có một mô hình nháp cho Muse Spark Open” không phải là điểm mấu chốt.

Câu chuyện hẹp hơn và hữu ích hơn: checkpoint BF16 DFlash2 do chính NVIDIA đào tạo bằng Model Optimizer giờ đã tồn tại cho mô hình, được công bố cho phần cứng Blackwell với vLLM là engine đã được kiểm chứng. Nếu bạn đang chọn drafter nào để chạy, thì lựa chọn đó thực chất là lựa chọn serving stack, và đó chính là nơi hai con đường tách nhau.

Những con số, và những điều kiện chính xác gắn với chúng

NVIDIA báo cáo một đại lượng trên ba bộ kiểm thử: độ dài chấp nhận, số token trung bình được tạo ra mỗi bước sinh, được đo với độ dài bản nháp là 7.

• MT-Bench, 80 câu hỏi hai lượt — 3,73 token cho mỗi bước được chấp nhận khi giải mã tham lam và 3,01 khi lấy mẫu. Toán là hạng mục mạnh nhất với 4,47; nhân văn là hạng mục yếu nhất với 2,92.

• SPEED-Bench định tính, 880 prompt thuộc 11 danh mục — 3,72 với greedy và 3,01 với sampling. Đa ngôn ngữ đạt 4,27 và lập trình đạt 4,15, trong khi viết chỉ đạt 3,05.

• Thông lượng SPEED-Bench, đầu vào 32.000 token — 3.30 ở chế độ greedy và 2.78 ở chế độ sampling, và đây là chỗ bức tranh trở nên tệ đi: nhóm entropy cao tụt xuống còn 2.51 ở greedy và 2.16 ở sampling, so với 3.71 đối với văn bản entropy thấp.

• Các điều kiện — mức nỗ lực suy luận xhigh, 4.096 token đầu ra, độ đồng thời 32, trên một nút GB300 duy nhất tại TP4 và EP4, được phục vụ qua vLLM với mô hình đích ở NVFP4. Các số liệu tham lam là nhiệt độ 0; các số liệu lấy mẫu là nhiệt độ 1,0 không cắt top-p hay top-k, sử dụng phương pháp lấy mẫu bản nháp theo xác suất.

Ba lưu ý cần đặt bên cạnh những con số đó, chứ không phải ở bên dưới chúng. Thứ nhất, chúng do nhà cung cấp báo cáo và chúng tôi chưa tái lập được bất kỳ con số nào trong đó, cũng như chưa có ai khác công bố một phép đo độc lập cho checkpoint này. Thứ hai, độ dài chấp nhận không phải là mức tăng tốc — nó là mức trần để từ đó tính ra mức tăng tốc. Mỗi token được chấp nhận vẫn phải được xác minh bởi một mô hình 816 tỷ tham số, và lượt lan truyền xuôi (forward pass) của chính bộ dự thảo cũng tốn chi phí; NVIDIA không công bố tỷ lệ token/giây nào và cũng không có so sánh độ trễ, mà đó mới là con số mà một người đọc đang cân nhắc có nên triển khai hay không sẽ muốn có. Thứ ba, tất cả đều được đo ở mức đồng thời 32, vốn không phải là chế độ mà giải mã suy đoán thường đem lại lợi ích tốt nhất — lợi ích tập trung ở các luồng đơn, lô nhỏ, bị ràng buộc bởi độ trễ, còn một máy chủ bận rộn thì nhận được ít hơn.

Điều mà các bảng này hoàn toàn không đo lường là chất lượng đầu ra. Việc xác minh dưới giải mã tham lam (greedy) được thiết kế để trả về chính các token của mô hình đích, vì vậy cột greedy gần như chỉ là một tuyên bố thuần túy về tốc độ. Cột lấy mẫu mới là cột bạn nên kiểm thử trên lưu lượng của riêng mình, bởi vì một bộ dự thảo xác suất thay đổi cách phân phối được duyệt qua, chứ không chỉ thay đổi tốc độ nhanh đến mức nào.

Cách bạn thực sự sẽ bật nó lên

Thẻ này đưa ra một lời gọi được hỗ trợ, và nó là một cờ duy nhất trên máy chủ vLLM. Bạn phục vụ mô hình đích, rồi truyền drafter qua đối số speculative-config: phương thức là "dflash", mô hình là checkpoint NVIDIA, số token suy đoán là 7, phương thức lấy mẫu bản nháp là theo xác suất, và lệnh cần bật tin cậy mã từ xa. TensorRT-LLM là engine thứ hai mà thẻ liệt kê; vLLM là engine mà nó nêu tên là engine tăng tốc và là engine nó đã thử nghiệm trên Blackwell.

Có hai khoảng trống đáng được nêu tên. Dòng phần cứng được hỗ trợ của card là NVIDIA Blackwell với Linux, nên đây là một hướng GPU trung tâm dữ liệu chứ không phải thứ có thể gộp vào một thiết lập Apple-silicon hay cấu hình tiêu dùng. Và SGLang — runtime mà tài liệu ra mắt của chính Meta định tuyến DFlash V2 qua đó — không xuất hiện ở đâu trong danh sách engine của NVIDIA cho checkpoint này. Hai drafter này không thể hoán đổi cho nhau; nếu serving stack của bạn là SGLang, thì repository này không được viết cho bạn.

Người soạn thảo thay đổi điều gì cho người đọc, và điều gì thì không

Giải mã suy đoán là phần của suy luận mô hình lớn chạm tới những người sẽ không bao giờ tải trọng số về, vì nó là đòn bẩy chính quyết định mức độ rẻ mà các mô hình mở rất lớn có thể được phục vụ. Một bộ dự thảo tốt hơn nghĩa là nhiều token được chấp nhận hơn trong mỗi bước, kéo theo thông lượng cao hơn trên mỗi GPU, và đó chính là thứ cuối cùng biểu hiện thành giá thấp hơn cùng token đầu tiên nhanh hơn tại một API. Đó là lý do một mô hình 4,38B lại là tin tức, dù gần như không ai trong số những người đọc về nó sẽ chạy nó.

Tuy vậy, cái này không đặt một mô hình 816B lên bàn của bạn. Nó là một tệp đính kèm 8,8 GB cho một mô hình đích mà checkpoint nhỏ nhất có thể dùng được của nó cũng phải tính bằng hàng trăm gigabyte, trên silicon Blackwell, dưới hai giấy phép chồng lên nhau. Nó không phải là mô hình để bạn trò chuyện cùng, nó không tự tạo ra văn bản nào, và nó hoàn toàn không thể chạy nếu thiếu mô hình đích mà nó được huấn luyện để tạo bản nháp cho.

Nếu bạn muốn có năng lực Muse Spark mà không cần bất kỳ thứ nào trong số đó, thì dòng được phục vụ chính là nơi nó tồn tại: Muse Spark 1.2 và Muse Spark 1.1là hai checkpoint mà OrcaRouter định tuyến, cả hai đều ở mức giá niêm yết của Meta với mức chênh 0% được chuyển thẳng qua, vì giá của nhà cung cấp được chuyển qua thay vì bị đánh thêm. Muse Spark Open và checkpoint draft DFlash2 này khôngnằm trong danh mục của chúng tôi và chúng tôi sẽ không ngụ ý điều ngược lại — một drafter cho trọng số tự lưu trữ là hạ tầng tự lưu trữ. Điểm mà chúng tôi vẫn hữu ích xung quanh nó là phần nhàm chán: một API cho hơn 200 mô hình, tự động chuyển đổi dự phòng khi một nhà cung cấp suy giảm, và một DSL định tuyến có thể di chuyển lưu lượng giữa các mô hình bằng cấu hình thay vì bằng thay đổi mã, đây là một cách rẻ để tìm hiểu xem một checkpoint chưa được kiểm chứng hoạt động thế nào trên lưu lượng thực mà không đặt cược một đường dẫn production vào nó.

Điều gì sẽ giải quyết những câu hỏi còn bỏ ngỏ?

Bốn điều sẽ thay đổi bài viết này, và không điều nào trong số đó là một bí ẩn về ý định của NVIDIA.

• Một con số tăng tốc đầu-cuối — token mỗi giây hoặc độ trễ so với một đường cơ sở không suy đoán tương ứng trên cùng phần cứng, được đo bởi bất kỳ ai không phải NVIDIA. Độ dài chấp nhận cho bạn biết bản nháp đang khớp thường xuyên; nó không cho bạn biết máy chủ đã trở nên nhanh hơn.

• So sánh mục tiêu BF16 với NVFP4 — mọi bảng được công bố đều được đo đối chiếu với mục tiêu NVFP4, đây chính là cấu hình mà hầu hết mọi người sẽ thực sự chạy phục vụ, nhưng thẻ không báo cáo trường hợp nào mà mục tiêu được chạy ở độ chính xác cao hơn.

• Hỗ trợ bên ngoài vLLM và TensorRT-LLM — nếu checkpoint xuất hiện trong SGLang, hai drafter DFlash2 cho Muse Spark Open sẽ trở nên có thể thay thế cho nhau thay vì gắn chặt với từng stack, và đó chính là lúc việc lựa chọn giữa chúng trở nên đơn giản.

• Huấn luyện lại trên bộ công cụ đã phát hành — drafter này ra đời từ một bản dựng tiền phát hành của Model Optimizer 0.47. Vì 0.47.0 đã được công khai từ ngày 23 tháng 9 và 0.48.0rc0 đã ra mắt từ ngày 8 tháng 10, nên công thức có thể kiểm tra được, và một checkpoint được huấn luyện theo công thức đó hẳn sẽ báo cáo kết quả tốt hơn một chút.

Cho đến khi ít nhất điều đầu tiên trong số đó thành hiện thực, tóm tắt trung thực là NVIDIA đã phát hành một mô hình nháp chuyên biệt cho phần cứng, được ghi chép đầy đủ, không bị chặn truy cập, dành cho flagship của người khác, công bố độ dài chấp nhận, và bỏ qua thông báo — và lý do để quan tâm không phải là Muse Spark Open đã trở nên nhanh hơn, mà là hạ tầng để làm cho trọng số mở 816 tỷ tham số trở nên phù hợp về chi phí ở quy mô lớn cứ tiếp tục xuất hiện âm thầm như thế này.