NVIDIA Nemotron Labs Dory 1.0 4B đã có mặt trên Hugging Face với bốn checkpoint và không có thông báo nào

N​VIDIA N​emotron Labs Dory 1.0 4B hiện đang có trên Hugging Face, với bốn mức lượng tử hóa, và N​VIDIA vẫn chưa nói một lời nào về nó. Checkpoint nvidia/N​VIDIA-N​emotron-Labs-Dory1.0-4B-MXFP8 đã được đăng lên cùng một thẻ mô hình ghi dấu bản dựng là "GA (10/16/2026)"; ba phiên bản anh em của nó — N​VIDIA-N​emotron-Labs-Dory1.0-4B-BF16, N​VIDIA-N​emotron-Labs-Dory1.0-4B-NVFP4 và N​VIDIA-N​emotron-Labs-Dory1.0-4B-GGUF — đã được đẩy lên trong cùng khung 36 phút ở hai bên nửa đêm UTC ngày 16–17 tháng 10 năm 2026. Không có bài đăng tương ứng trên blog nhà phát triển của N​VIDIA, không có mục nào trên trang đích nghiên cứu N​emotron, và không có tham chiếu nào đến một mô hình tên Dory ở bất kỳ đâu trên cả hai. Bản thân thẻ này đầy đủ một cách bất thường — một bảng benchmark đầy đủ, hướng dẫn phục vụ cho hai engine, một checksum — nhưng bộ khung tiếp thị xung quanh nó, thứ thường cho bạn biết một mô hình tồn tại, lại hoàn toàn vắng mặt.

Vậy nên thật đáng để chính xác về những gì điều đó cho phép bạn nói và không cho phép bạn nói. Những gì có thể biết được: các trọng số tồn tại, chúng có thể tải xuống được, giấy phép đã được nêu rõ, kiến trúc được mô tả đủ chi tiết để tái tạo, và nhà cung cấp đã công bố các con số của riêng mình cùng một ghi chú rằng chính họ đã đo chúng. Những gì chưa được xác nhận: liệu đây có phải là khởi đầu của một dòng N​emotron Labs hay chỉ là một thử nghiệm một lần, liệu một bài báo hay bài đăng blog có sắp ra mắt không, và liệu các con số có đứng vững dưới hệ thống đánh giá của bất kỳ ai khác hay không. N​VIDIA chưa định vị đây như một sự ra mắt, nên bài viết này cũng không. Đây là một cách đọc một kho mã xuất hiện qua đêm.

Thực sự có gì trong kho lưu trữ?

Các artifact gồm bốn checkpoint và một model card. Model card mới là tài liệu có nội dung chính yếu, và nó là nguồn của gần như mọi thứ bên dưới.

• Các định dạng — BF16 (W16A16), MXFP8 (W8A16), NVFP4 (W4A16) và bản xuất Q5_K_M GGUF cho llama.cpp. Checkpoint MXFP8 là chủ đề của bài viết này chỉ vì nó là bản mang id kho lưu trữ chuẩn; các benchmark trong model card được đo trên BF16.

• Kích thước và hình dạng — tổng cộng 4B tham số, một ngăn xếp dày đặc thay vì hỗn hợp các chuyên gia, được chia thành khối đầu vào 8 lớp, khối tái diễn 20 lớp và khối đầu ra 8 lớp.

• Ngữ cảnh — lên đến 256K token, với 262.144 vị trí được xác thực trong vLLM theo lệnh khởi chạy mà NVIDIA cung cấp kèm trên card.

• Giấy phép — OpenMDW 1.1, một giấy phép mô hình mang tính cho phép, có thể phân phối lại, với văn bản được liên kết từ thẻ. Thẻ nêu rõ rằng mô hình "sẵn sàng cho mục đích thương mại hoặc phi thương mại".

• Ngôn ngữ — Chỉ tiếng Anh, mặc dù dữ liệu tiền huấn luyện bao gồm 43 ngôn ngữ lập trình.

• Ngân sách huấn luyện — 6 nghìn tỷ token tiền huấn luyện, trong đó khoảng 4,5 nghìn tỷ token đầu tiên được chạy nguyên bản ở NVFP4 trước khi phần còn lại chuyển sang BF16, tiếp theo là giai đoạn mở rộng ngữ cảnh 300 tỷ token. Dữ liệu trải dài từ năm 2013 đến tháng 12 năm 2025. Hậu huấn luyện là bước tinh chỉnh có giám sát trên một tập dữ liệu do NVIDIA tuyển chọn, sau đó là học tăng cường đa môi trường với GRPO.

Hoạt động của kho — tám commit trên `main` và hai người đóng góp tại thời điểm viết bài, mới nhất trong số đó là một bản chỉnh sửa README. Bản đầu tiên, “Upload Dory 4B MXFP8 checkpoint and tokenizer”, mới chỉ vài giờ tuổi. Đây không phải là một kho đã nằm im lặng trước công chúng suốt nhiều tháng rồi mới được chú ý; đây là một kho mới được đưa nội dung vào hôm nay.

Một chi tiết mà card này làm đúng còn hầu hết các card khác thì không: nó liệt kê chính xác kích thước byte và SHA-256 của bản xuất GGUF để bạn có thể xác minh thứ mình đã tải xuống. 3.673.288.864 byte, với mã băm được in trong hướng dẫn khởi chạy.

Kiến trúc chính là toàn bộ lý do để quan tâm.

Bỏ qua bảng benchmark, sự thật thú vị về NVIDIA Nemotron Labs Dory 1.0 4B là nó không phải một mô hình cố định. Nó là một mạng lặp, hay còn gọi là mạng tái diễn tiềm ẩn: khối tái diễn 20 lớp được áp dụng lặp đi lặp lại giữa các khối đầu vào và đầu ra, và đầu vào được đưa trở lại ở mỗi vòng lặp. Do đó, cùng một checkpoint sẽ hoạt động khác nhau tùy theo số vòng lặp bạn yêu cầu, và bạn chọn điều đó ở thời điểm phục vụ chứ không phải ở thời điểm huấn luyện.

Ba hệ quả kéo theo, tất cả đều xuất phát từ thẻ mô hình chứ không phải từ việc kiểm thử của bất kỳ ai:

• Tính toán suy luận co giãn — một tệp trọng số phục vụ nhiều mức ngân sách tính toán. Đặt số vòng lặp là 1 để ưu tiên độ trễ, 2 là giá trị mặc định được khuyến nghị, 4 khi độ chính xác trên các tác vụ agentic quan trọng hơn số token mỗi giây. Không cần huấn luyện lại, không cần tải checkpoint thứ hai rồi phải giữ chúng đồng bộ.

• Hiệu quả token — NVIDIA tuyên bố rằng phần tính toán bổ sung cho mỗi token được dùng vào suy luận tiềm ẩn thay vì tạo ra một chuỗi suy nghĩ hiển thị dài hơn, vì vậy số vòng lặp cao hơn có thể tạo ra ít hơn token đầu ra cho cùng một tác vụ. Card này đi kèm một biểu đồ hệ số token đầu ra để chứng minh luận điểm đó. Tuyên bố ấy có hệ quả trực tiếp về chi phí, và đó chính là lý do nó đáng được lưu ý thay vì gạt đi.

• Vòng lặp tiết kiệm bộ nhớ — đây là điểm giải đáp cho phản đối hiển nhiên. Cách lặp tiêu chuẩn giữ một KV cache riêng cho mỗi vòng lặp, nên bộ nhớ tăng lên theo mỗi lượt chạy thêm. Dory hỗ trợ chế độ KV-caching ở vòng lặp cuối, chỉ giữ một cache duy nhất cho mỗi lớp attention hồi tiếp và ghi đè nó ở mỗi lượt chạy, nhờ đó giữ mức tiêu tốn bộ nhớ ở xấp xỉ kích thước của một vòng lặp bất kể bạn chạy bao nhiêu vòng. NVIDIA cho biết độ chính xác khi dùng caching ở vòng lặp cuối vẫn gần sát với caching theo từng vòng lặp, với độ dài đầu ra gần như không đổi, và mô tả đó là kết quả thử nghiệm của riêng mình.

Ngăn xếp attention là kiểu lai: các lớp cửa sổ trượt và attention đầy đủ xen kẽ nhau, đúng mô hình tổng quát mà thế hệ mô hình nhỏ có ngữ cảnh dài năm 2026 đã hội tụ về. Tự thân không có điểm nào trong số này là lạ. Điều ít phổ biến hơn là việc đưa số vòng lặp thành một nút triển khai trên mô hình 4B với cửa sổ 256K.

Bảng benchmark, được đọc như một bảng của nhà cung cấp

Mọi con số ở đây đều do NVIDIA đưa ra theo cái mà tấm thẻ này gọi là "một khung đánh giá nhất quán (NeMo Gym / Nemo Evaluator SDK)". Chưa có bên nào bên ngoài tái lập được bất kỳ kết quả nào, mô hình mới ra đời được khoảng một ngày, và bộ đếm lượt tải trên cả bốn kho mã đều hiển thị số không. Hãy coi những con số này như một tuyên bố về hướng đi, chứ không phải một bảng điểm.

Bộ so sánh mà NVIDIA lựa chọn tự nó đã nói lên nhiều điều: Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B và Qwen3.6-35B-A3B. Đáng chú ý, hai mẫu so sánh thuộc lớp 4B đều đến từ thế hệ Qwen trước đó, còn mọi mẫu so sánh khác đều lớn hơn đáng kể. Hãy đọc theo cả ba thiết lập vòng lặp:

• SWE-bench Verified — 50.3 ở một vòng lặp, 59.5 ở hai vòng, 61.8 ở bốn vòng, so với 54.7 của Qwen3.5-4B, 61.0 của Qwen3.5-9B, 57.40 của Gemma 4 26B A4B và 73.4 của Qwen3.6-35B-A3B.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 so với 15, 24, 35 và 43. Đây là dòng mà việc lặp lại đem lại nhiều nhất và cũng là nơi Dory vẫn bị bỏ xa nhất so với phần còn lại.

• τ³-bench (Ngân hàng) — 11.6 / 12.89 / 14.69 so với 5.03 của Qwen3.5-4B, 7.22 của Qwen3.5-9B, 13.66 của Gemma 4 26B A4B và 9.54 của Qwen3.6-35B-A3B. Dory dẫn trước các mô hình Qwen 4B và 9B ở đây với khoảng cách lớn.

• GDPval-AA-V2 (Elo) — 815 / 946 / 967 so với 424, 546, 751.6 và 987. Bước nhảy từ một vòng lặp lên hai vòng lặp là 131 điểm Elo, đây là mức dịch chuyển giữa các vòng lặp lớn nhất trong toàn bộ bảng.

• GPQA Diamond, không dùng công cụ — 69,19 / 72,41 / 72,16 so với 77,71, 80,93, 80,43 và 85,35. Dory thua ở mục này trước mọi đối thủ so sánh, kể cả Qwen 4B.

• HLE, chỉ văn bản, không công cụ — 8.25 / 10.89 / 10.43 so với 11.31, 15.43, 17.79 và 19.18. Vẫn vậy.

• IFBench — 74.29 / 77.94 / 79 so với 53.83, 59, 77.89 và 57.44. Khả năng tuân thủ chỉ dẫn là kết quả tương đối mạnh nhất của Dory; ở bốn vòng lặp, nó nhỉnh hơn Gemma 4 26B.

• AA-LCR — 63 / 71 / 73 so với 64.7, 68.4, 64.6 và 68.5. Truy xuất ngữ cảnh dài cải thiện rõ rệt nhờ vòng lặp và cuối cùng vượt lên trên cả bốn đối tượng so sánh.

• AA-Omniscience (độ chính xác) — 10.03 / 10.08 / 10.03 so với 15.02, 18.05, 21.13 và 19.95. Việc lặp lại về cơ bản không có tác dụng gì đối với kiến thức đã lưu trữ, đây là kết quả mong đợi và là một phép kiểm tra tính hợp lý hữu ích đối với phần còn lại của bảng.

Hình dạng của mô thức mới là điều quan trọng. Việc lặp mang lại nhiều nhất ở các tác vụ agentic và sử dụng công cụ, ít nhất ở việc truy hồi kiến thức bách khoa, và vòng lặp thứ hai đáng giá hơn nhiều so với vòng thứ ba và thứ tư ở mọi nơi. Điều đó nhất quán với khuyến nghị của chính thẻ là mặc định dùng hai vòng lặp.

Bốn lưu ý nằm trong phần chú thích của chính NVIDIA

Đây là chỗ mà card trung thực hơn phần lớn, và cũng là chỗ mà một độc giả chỉ lướt qua bảng biểu sẽ bị dẫn dắt sai.

• Các số liệu AA không phải là số liệu của Artificial Analysis. Việc N​VIDIA so sánh với một chỉ số điểm AA được ghi nhãn rõ ràng là “các ước tính nội bộ được tính toán theo một khung đánh giá nhất quán”, vốn “có thể sai lệch so với điểm Artificial Analysis (AA) chính thức”. Chúng là phép đo nội bộ theo cùng tiêu chí, không phải một bảng xếp hạng bên ngoài.

• Cột ngữ cảnh dài sử dụng một thiết lập kết hợp. Với AA-LCR, thẻ cho biết nó đã dùng các đáp án đã được hiệu chỉnh từ AA-LCR v1.1 nhưng vẫn giữ một mô hình giám định cũ hơn thay vì mô hình mới hơn. Việc kết hợp một bộ đáp án đã hiệu chỉnh với một mô hình giám định cũ khiến cột đó có thể so sánh với các hàng khác của NVIDIA và không nhất thiết so sánh được với bất kỳ ai khác.

• Số lần lặp lại thì mỗi nơi một kiểu. SciCode chạy tám lần, AA-LCR mười sáu, AA-Omniscience mười, GDP.pdf năm, còn HLE, Terminal-Bench 4.0 và các biến thể GDPval-AA chỉ chạy một lần. Một lần chạy trên một benchmark có phương sai đáng kể là một ước lượng điểm, không phải một điểm số.

• Một hàng trong bảng được đánh dấu bằng dấu kiếm như một con số được báo cáo thay vì được đo lường — 73.4 của Qwen3.6-35B-A3B trên SWE-bench Verified. Nghĩa là con số trông lớn nhất trên bảng lại chính là con số mà N​VIDIA không tự mình chạy.

Không có điều nào trong số này khiến bảng trở nên sai. Nó chỉ biến bảng thành ảnh chụp nội bộ của một phòng thí nghiệm, và cách diễn giải trung thực là Dory thực sự có sức cạnh tranh với các mô hình 4B và 9B từ thế hệ Qwen trước đó trong các tác vụ agentic, trong khi vẫn đứng sau các mô hình 26B và 35B mà nó được đặt bên cạnh.

Những gì bạn có thể chạy hôm nay và những gì bạn không thể

Không có endpoint được host nào cho mô hình này mà chúng tôi có thể xác minh, từ N​VIDIA hay bất kỳ ai khác. Dory chỉ có trọng số, và cả hai đường phục vụ trong thẻ đều yêu cầu xây dựng từ một pull request chưa được hợp nhất:

• vLLM — hỗ trợ đang "được xem xét" trong pull request 60149. Cho đến khi nó có mặt trong một bản phát hành, bạn cài đặt vLLM từ nhánh đó, rồi phục vụ với các ghi đè thiết lập số vòng lặp và chế độ KV-cache. Thẻ lưu ý rằng cờ môi trường precompiled-kernel giúp tránh việc build CUDA cục bộ.

• llama.cpp — hỗ trợ nằm trong pull request 30306, và thẻ cố định một bản sửa đổi cụ thể thay vì PR head đang thay đổi, đó là trực giác đúng đắn cho một thiết lập tham chiếu. Các hướng dẫn nhắm đến macOS ARM64 gốc trên Apple Silicon, và đường dẫn GGUF mong đợi bản xuất Q5_K_M ở kích thước byte được in ở trên.

Không có gì trong thẻ cho thấy dự án nào đã được hợp nhất, và cũng không có mục nào trong ghi chú phát hành của cả hai engine ám chỉ điều ngược lại. Nếu bạn muốn chạy Dory trong tuần này, bạn đang build từ một PR.

Ghi chú phần cứng đáng lưu lại: N​VIDIA đã thử nghiệm trên H100, B200, B300 và DGX Spark, và các con số tốc độ duy nhất được công bố là mức tăng tốc lượng tử hóa trên Spark chứ không phải các chỉ số thông lượng. Trên thiết bị đó, MXFP8 cho thấy mức 1,69× và 1,84× so với BF16 tùy thuộc vào tổ hợp độ dài đầu vào/đầu ra, và NVFP4 đạt 2,17× và 2,44×. Cấu hình lấy mẫu được khuyến nghị là temperature 1.0 với top-p 0.95, và suy luận luôn được bật trong đường dẫn vLLM.

Vì sao một bản phát hành 4B âm thầm vẫn đáng để bạn dành cả buổi chiều

Điều thú vị về một mô hình xuất hiện mà không có màn ra mắt là tuyên bố của nó có thể kiểm chứng được theo cách mà một tuyên bố ra mắt không thể. Không có bài phát biểu nào khẳng định chiến thắng ở một hạng mục; chỉ có một tấm thẻ khẳng định một cơ chế cụ thể, có thể phản chứng — rằng một checkpoint 4B tự mở rộng độ chính xác của nó theo lượng tính toán tại thời điểm suy luận. Bạn có thể kiểm tra điều đó trên một GPU với cờ đếm vòng lặp, và câu trả lời hoặc hiện rõ trong đánh giá của chính bạn, hoặc không.

Đó cũng là tình huống mà một lớp định tuyến được xây dựng để xử lý, và đáng để nói chính xác về những gì chúng tôi làm ở đây thay vì chỉ nói vòng vo. OrcaRouter không phục vụ N​VIDIA N​emotron Labs Dory 1.0 4B — mô hình này không nằm trong danh mục của chúng tôi và không có endpoint được lưu trữ nào cho nó ở bất kỳ đâu mà chúng tôi có thể xác nhận. Điều mà một khóa duy nhất thực sự mang lại cho bạn là nửa còn lại của phép so sánh: những mô hình được lưu trữ mà bạn sẽ dùng làm chuẩn đối chiếu cho một mô hình 4B tự vận hành thì có thể truy cập được qua một API duy nhất, theo giá niêm yết của nhà cung cấp với mức markup 0%, vì vậy một thử nghiệm tự vận hành không cần hợp đồng thứ hai hay SDK thứ hai. Chuyển đổi dự phòng tự động bao phủ khoảng thời gian pool GPU của riêng bạn bị bão hòa, và DSL định tuyến cho phép một lệnh gọi tự vận hành nằm cạnh những lệnh gọi được lưu trữ phía sau một endpoint. Nếu bạn đang kiểm tra liệu độ sâu đàn hồi có đáng với độ phức tạp vận hành hay không, thì ít nhất nhóm đối chứng chỉ cách một khóa.

Điều gì sẽ biến điều này thành một câu chuyện thực sự?

Ba thứ, chưa có thứ nào trong số đó hiện diện.

Đầu tiên, một thông báo. Thẻ đề ngày 16 tháng 10 và các kho lưu trữ đã được nạp dữ liệu qua đêm; nguồn cấp tin dành cho nhà phát triển của NVIDIA đã đăng một bài về Nemotron vào ngày 15 tháng 10, bài này hoàn toàn nói về một mô hình khác. Một bài blog, một bài báo hoặc một trang về dòng Nemotron Labs có thể xuất hiện bất cứ lúc nào, và nhiều khả năng nó sẽ chứa các chi tiết huấn luyện cùng vai trò dự kiến của mô hình mà thẻ bỏ ngỏ.

Thứ hai, hỗ trợ engine. Cả vLLM lẫn llama.cpp đều đang nằm chờ trong những pull request chưa được hợp nhất. Ngày một trong hai được hợp nhất, "bạn có thể chạy nó" sẽ không còn đồng nghĩa với "bạn có thể build nó từ một nhánh" nữa.

Thứ ba, và giá trị nhất, là một đánh giá độc lập. Những tuyên bố đáng được tái lập nhất là những tuyên bố mà nhà cung cấp đã nhấn mạnh: sự thay đổi của SWE-bench và Terminal-Bench theo số vòng lặp, và khẳng định rằng bộ nhớ đệm KV ở vòng lặp cuối vẫn duy trì độ chính xác. Cả hai đều có thể kiểm chứng bằng công cụ đã được công bố, và cả hai đều chưa từng được bất kỳ ai ngoài NVIDIA kiểm nghiệm.

Tóm tắt chính xác hôm nay là thế này: trọng số thật ở bốn định dạng, một giấy phép thoáng, một kiến trúc thực sự khác thường, một đường phục vụ chỉ tồn tại dưới dạng hai pull request đang mở, và một bảng benchmark vốn chỉ là harness của riêng một phòng thí nghiệm với những lưu ý được in trong chính chú thích cuối trang của nó. Đây là mô hình 4B thú vị nhất mà NVIDIA đã công bố trong năm nay và công ty vẫn chưa quyết định nói cho bất kỳ ai về nó.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.