NVIDIA Nemotron Labs Dory 1.0 4B so với Qwen 3.8: Mô hình 4B trọng số mở đối đầu với dòng ba tầng của Alibaba

So sánh NVIDIA Nemotron Labs Dory 1.0 4B với "Qwen 3.8" không phải là một cuộc đối đầu — đó là một sự lệch pha theo một cách cụ thể và đáng để rút ra bài học. Qwen 3.8 không phải là một mô hình duy nhất; ở đầu open-weight, nó là Qwen3.8-27B, một mô hình đa phương thức dense 27B theo giấy phép Apache 2.0 với cửa sổ 256K, và cao hơn nữa là Qwen3.8-Flash và Qwen3.8-Max, cả hai đều lớn hơn, cả hai đều chỉ được phục vụ qua API của Alibaba. Dory là một checkpoint 4B duy nhất, chỉ văn bản, chỉ tiếng Anh từ NVIDIA, được công bố trên Hugging Face với bốn mức lượng tử hóa theo giấy phép OpenMDW 1.1, với thẻ mô hình của nó đóng dấu "GA (10/16/2026)" và không có thông báo nào đi kèm. Vậy nên câu hỏi thực sự không phải là liệu một mô hình 4B có thể đánh bại một mô hình 27B hay không. Mà là liệu một mô hình 4B độ sâu đàn hồi do chính bạn vận hành có phải là cách rẻ hơn để chạm tới tầng tác vụ mà nếu không thì bạn sẽ phải thuê từ dòng Qwen3.8 — và hai sự thật then chốt nhất cho quyết định là Qwen3.8-27B thuộc dạng open-weights, nên cả hai mô hình đều chạy trên phần cứng của bạn, và rằng thẻ mô hình của chính Dory không hề đánh giá hiệu năng so với bất kỳ mô hình Qwen3.8 nào.

Điều gì thực sự đang được so sánh?

Hãy bắt đầu với phía Qwen trước, vì "Qwen 3.8" gộp ba mệnh đề khác nhau thành một.

Qwen3.8-27B là mô hình ngôn ngữ-thị giác dày đặc trọng số mở của Alibaba, Apache 2.0, 27B tham số, 64 lớp, chiều ẩn 5.120, với ngữ cảnh gốc 262.144 token mà thẻ mô hình cho biết có thể mở rộng tới một triệu. Mô hình chấp nhận văn bản, hình ảnh và video và trả về văn bản, sử dụng bố cục kết hợp Gated DeltaNet và Gated Attention xuyên suốt 16 khối lặp lại, và được phát hành ở định dạng Transformers với hỗ trợ vLLM, SGLang và TokenSpeed. Mô hình đạt 90,3 trên LiveCodeBench v6, 89,2 trên GPQA Diamond, 79,5 trên IFBench và 73,0 trên Terminal-Bench 2.1, nằm trong danh sách dài các kết quả tác tử và thị giác. Mô hình đã công khai từ giữa tháng 8 năm 2026 và đã được tải về vài triệu lần.

Qwen3.8-Flash và Qwen3.8-Max là các tầng dịch vụ được lưu trữ. Flash là mô hình đa phương thức tối ưu chi phí với ngữ cảnh một triệu token; Max là mô hình chủ lực của Alibaba, cũng một triệu token, được định vị để cạnh tranh với những mô hình độc quyền mạnh nhất. Cả hai đều không có trọng số mở. Bạn truy cập chúng thông qua API.

NVIDIA Nemotron Labs Dory 1.0 4B là mô hình 4B. Dense, looped, latent-recurrent — một khối đầu vào 8 lớp, một khối tái diễn 20 lớp được áp dụng với số lần thay đổi, một khối đầu ra 8 lớp — với cơ chế attention lai xen kẽ giữa cửa sổ trượt và attention đầy đủ. Văn bản vào, văn bản ra, chỉ tiếng Anh, ngữ cảnh 256K. Được tiền huấn luyện trên 6 nghìn tỷ token, khoảng 4,5 nghìn tỷ token đầu tiên trong số đó được huấn luyện nguyên bản bằng NVFP4, cộng thêm phần mở rộng ngữ cảnh 300 tỷ token, sau đó là SFT và GRPO đa môi trường. Không tồn tại endpoint được lưu trữ nào cho nó mà chúng tôi có thể xác minh được.

Một điểm cần nắm cho đúng, vì nó hay khiến người ta hiểu sai: N​VIDIA phát hành Dory ở các định dạng BF16, MXFP8, NVFP4 và Q5_K_M GGUF. Id repository chính thức là bản MXFP8, nhưng các benchmark trong model card lại được đo trên BF16. MXFP8 là một dạng lượng tử hoá của cùng bộ trọng số, chứ không phải một model khác.

So sánh thông số kỹ thuật

• Thông số — Dory 1.0 4B là mô hình dense 4B, với một khối recurrent được áp dụng lặp lại nên lượng tính toán hiệu dụng trên mỗi token ở bốn vòng lặp vượt quá số tham số. Qwen3.8-27B là mô hình dense 27B với một tháp thị giác. Chúng không cùng hạng cân và chỉ một trong hai phù hợp để triển khai trên bộ nhớ nhỏ.

• Phương thức — Qwen3.8-27B nhận cả hình ảnh và video lẫn văn bản. Dory chỉ nhận văn bản. Mọi tác vụ có hình ảnh đều kết thúc ở đây.

• Ngữ cảnh — cả hai đều quảng cáo 256K. Thẻ mô hình của Qwen3.8-27B ghi 262.144 vị trí gốc, có thể mở rộng tới khoảng một triệu; còn thẻ của Dory ghi tối đa 256K với 262.144 đã được xác thực trong vLLM theo lệnh khởi chạy đi kèm. Qwen3.8-Flash và Max đều đạt tới một triệu token ngay mà không cần mở rộng.

• Giấy phép — Apache 2.0 cho Qwen3.8-27B, OpenMDW 1.1 cho Dory. Cả hai đều thân thiện với thương mại; Apache 2.0 là văn bản quen thuộc hơn.

• Ngôn ngữ — Qwen3.8-27B vốn đa ngôn ngữ theo nguồn gốc; Dory chỉ có tiếng Anh cùng 43 ngôn ngữ lập trình trong hỗn hợp tiền huấn luyện của nó.

• Hành vi tính toán — đây là hàng duy nhất mà Dory có thứ mà Qwen3.8-27B về mặt cấu trúc không thể cung cấp. Độ sâu của Dory là một tham số tại thời điểm phục vụ: một vòng để tối ưu độ trễ, hai vòng theo mặc định được NVIDIA khuyến nghị, bốn vòng khi độ chính xác tác tử quan trọng hơn, tất cả từ một checkpoint, với chế độ KV-caching vòng cuối nhằm giữ bộ nhớ đệm ở kích thước xấp xỉ một vòng bất kể số vòng. Qwen3.8-27B có độ sâu cố định; các đòn bẩy của nó là lượng tử hóa và phần cứng.

• Định dạng — Dory cung cấp bốn mức lượng tử hoá, bao gồm một GGUF cho llama.cpp. Qwen3.8-27B có một repo FP8 riêng cùng một hệ sinh thái phái sinh rất lớn gồm các bản lượng tử hoá và finetune, và đó chính là những gì mà vài triệu lượt tải về mang lại.

Câu hỏi benchmark mà bảng của chính NVIDIA né tránh

Đây là chi tiết đáng ngại. Bảng benchmark của NVIDIA cho Dory so sánh nó với Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B và Qwen3.6-35B-A3B. Nó dùng hai thế hệ Qwen trước đó và không hề dùng đến Qwen3.8. Đó là một lựa chọn có thể biện minh cho một mô hình 4B — Qwen3.8-27B gần như lớn gấp bảy lần kích thước của nó — nhưng điều đó nghĩa là nhà sản xuất không có bất kỳ so sánh đối đầu trực tiếp nào được công bố với thế hệ Qwen hiện tại, theo cả hai hướng. Về phần mình, thẻ Qwen3.8-27B của Alibaba lại đánh giá benchmark so với các mô hình độc quyền tiên tiến nhất, chứ không so với một mô hình 4B.

Điều mà thẻ của Dory thực sự công bố, so với các đối chứng cũ hơn của nó, là trung thực về việc lặp lại đem lại lợi ích ở đâu. Hãy đọc qua ba cài đặt vòng lặp của nó so với Qwen3.5-4B và Qwen3.5-9B:

• SWE-bench Verified — 50.3 / 59.5 / 61.8 so với 54.7 và 61.0. Ở bốn vòng lặp, Dory trên danh nghĩa đánh bại Q​wen 9B ở hàng này.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 so với 15 và 24. Nó thua cả hai, kể cả bản 4B.

• τ³-bench (Ngân hàng) — 11.6 / 12.89 / 14.69 so với 5.03 và 7.22. Dory đạt mức hơn gấp đôi so với Q​wen 4B và xấp xỉ gấp đôi so với 9B.

• GPQA Diamond, không dùng công cụ — 69.19 / 72.41 / 72.16 so với 77.71 và 80.93. Nó thua cả hai.

• IFBench — 74.29 / 77.94 / 79 so với 53.83 và 59. Một thắng lợi lớn về khả năng tuân theo chỉ dẫn.

• AA-LCR — 63 / 71 / 73 so với 64.7 và 68.4. Truy xuất ngữ cảnh dài cải thiện rõ rệt nhờ các vòng lặp và về đích với kết quả dẫn trước.

• AA-Omniscience — 10.03 / 10.08 / 10.03 so với 15.02 và 18.05. Kiến thức được lưu trữ hầu như không thay đổi theo số vòng lặp, đây là phép kiểm tra tính hợp lý mà phần còn lại của bảng đều vượt qua.

Mỗi một con số trong số đó đều là của N​VIDIA, được đo trên harness của N​VIDIA, với số lần lặp lại được công bố — SciCode tám lần chạy, AA-LCR mười sáu lần, một số benchmark đúng một lần — và thẻ này dán nhãn các điểm số mang dạng Artificial-Analysis của nó là "ước tính nội bộ", vốn có thể sai lệch so với các con số chính thức. Không có con số nào trong đó được tái lập.

Giờ hãy đặt card của Qwen3.8-27B cạnh nó. Các điểm được báo cáo của nó — 89.2 trên GPQA Diamond, 79.5 trên IFBench và 73.0 trên Terminal-Bench 2.1 — đều cao hơn những con số tốt nhất của Dory trên cùng các benchmark này, đúng như bạn sẽ kỳ vọng ở một mô hình lớn gấp bảy lần với pipeline huấn luyện mới hơn hai thế hệ. Không có tình huống nào mà một mô hình 4B đánh bại một 27B được thực thi tốt trên benchmark kiến thức hay suy luận, và Dory không tuyên bố như vậy. Điều Dory tuyên bố là một chuyện khác: rằng ở 4B, nó đạt được hành vi agentic tầm cỡ 9B, và rằng bạn có thể chọn chi bao nhiêu compute cho quy mô đó.

Triển khai: khoảng cách không hề nhỏ, và vấn đề không nằm ở chất lượng

Qwen3.8-27B là một bản phát hành trọng số mở thông thường. Định dạng Transformers, hỗ trợ được liệt kê cho vLLM, SGLang và TokenSpeed, một phiên bản anh em FP8, cùng một hệ sinh thái đã tạo ra hơn một nghìn bản lượng tử hóa và hàng trăm bản tinh chỉnh kể từ tháng 8. Nếu ngăn xếp của bạn chạy được các mô hình trọng số mở hiện đại, thì nó cũng chạy được mô hình này, và hạn chế thực sự duy nhất là bộ nhớ — 27B dense ở BF16 không phải là mô hình cho máy nhỏ, nhưng các biến thể lượng tử hóa tồn tại chính là để giải quyết điều đó.

Dory thì ngược lại. Hỗ trợ vLLM đang được xem xét trong một pull request mở; cho đến khi nó được hợp nhất, NVIDIA hướng dẫn bạn cài vLLM từ nhánh đó với cờ precompiled-kernel rồi khởi chạy với các override cấu hình số vòng lặp hồi quy và chế độ KV-cache. Hỗ trợ llama.cpp nằm trong pull request mở thứ hai với một commit được ghim và hướng dẫn build trên ARM64 macOS. Không có endpoint được lưu trữ nào cho Dory ở bất kỳ đâu mà chúng tôi có thể xác minh, và bộ đếm lượt tải xuống trên cả bốn repository đều bằng 0 vào thời điểm bài viết này được viết. Các số liệu tốc độ đã công bố chỉ giới hạn ở mức tăng tốc lượng tử hóa trên DGX Spark — 1,69× và 1,84× cho MXFP8 so với BF16, 2,17× và 2,44× cho NVFP4, tùy thuộc vào tổ hợp độ dài đầu vào/đầu ra — chứ không phải thông lượng.

So với điều đó, tuyên bố về bộ nhớ trong card của Dory là thành phần kỹ thuật duy nhất có thể biện minh cho sự bất tiện. Cơ chế lặp tái diễn tiêu chuẩn lưu một KV cache riêng cho mỗi vòng lặp, nên bộ nhớ tăng theo từng lượt. Chế độ KV-caching ở vòng lặp cuối của Dory giữ một cache cho mỗi lớp attention tái diễn và ghi đè nó sau mỗi lượt, giữ mức sử dụng bộ nhớ ở xấp xỉ kích thước một vòng lặp cho bất kỳ số vòng lặp nào, với độ chính xác mà NVIDIA nói rằng vẫn gần với chế độ theo từng vòng lặp. Nếu điều đó vẫn đúng dưới phép đo của người khác, một mô hình 4B với cửa sổ 256K và bốn vòng lặp trở nên khả thi trên phần cứng mà nếu không thì không thể kham nổi. Chưa có ai ngoài NVIDIA kiểm chứng.

OrcaRouter thực sự nằm ở đâu trong so sánh này

Đây là một so sánh hiếm hoi mà chúng ta có thể nói cụ thể, bởi vì hai bên ở đây đang ở vị thế khác nhau. Phía Qwen nằm trong danh mục của chúng tôi: qwen/qwen3.8-27b được tự lưu trữ trên hạ tầng riêng của OrcaRouter, và qwen/qwen3.8-flash cùng qwen/qwen3.8-max đều có thể truy cập dưới dạng các endpoint được lưu trữ, tất cả thông qua một khóa API duy nhất với giá niêm yết của nhà cung cấp và mức tăng giá 0%. Phía NVIDIA thì không — NVIDIA Nemotron Labs Dory 1.0 4B không có trong danh mục và không có endpoint được lưu trữ ở bất kỳ đâu mà chúng tôi có thể xác nhận.

Sự bất đối xứng đó thực sự hữu ích chứ không hề gượng gạo. Lập luận cho một mô hình nhỏ tự lưu trữ là lập luận về chi phí, và một lập luận chi phí cần giá thuê mà nó đang phản biện. Ba hạng Qwen3.8 có giá rất khác nhau — 27B ở mức $0,33 cho mỗi triệu token đầu vào và $2,40 cho mỗi triệu token đầu ra, Flash ở $0,15 và $0,47, Max ở $2,00 và $6,00 — nên phiên bản trung thực của câu hỏi "liệu một mô hình 4B có thể thay thế cái này không" có ba câu trả lời khác nhau tùy vào hạng bạn thực sự đang dùng hôm nay. Một khóa OrcaRouter duy nhất tiếp cận được cả ba, nên việc định giá câu hỏi đó không cần ba tài khoản. Vì chúng tôi chuyển nguyên giá niêm yết của nhà cung cấp mà không tăng giá, một thay đổi giá Qwen sẽ đến đây ngay trong cùng ngày. Và khi bạn chọn một hạng, cơ chế chuyển đổi dự phòng tự động giữa các nhà cung cấp cùng DSL định tuyến — thứ cho phép bạn kết hợp các mô hình sau một lệnh gọi — nghĩa là việc chuyển từ Qwen được lưu trữ sang Dory tự lưu trữ, hoặc ngược lại, chỉ là thay đổi cấu hình tại một điểm gọi thay vì tái cấu trúc. Chúng tôi không phục vụ Dory; chúng tôi là cách rẻ để đo lường thứ mà nó sẽ thay thế.

Phán quyết

Nếu khối lượng công việc của bạn mang tính đa phương thức, đa ngôn ngữ hoặc thiên về kiến thức — bất cứ thứ gì mà mô hình cần biết thay vì làm — thì Qwen3.8-27B là câu trả lời dạng trọng số mở và sự so sánh này không hề cân sức. Nó có kích thước gấp bảy lần, mới hơn hai thế hệ, được hậu thuẫn bởi một hệ sinh thái phái sinh lớn, chạy trên các engine vốn đã hỗ trợ nó, và thẻ mô hình của chính nó tuyên bố những con số mà Dory không đạt tới trên GPQA hay các benchmark hướng dẫn. Thay vào đó, hãy thuê Flash hoặc Max nếu bạn hoàn toàn không muốn tự vận hành một mô hình 27B.

Dory 1.0 4B là một đặt cược vào một trục khác. Nó chỉ đáng với sự phiền phức khi phải dựng từ một nhánh nếu ba điều sau đúng với bạn: tác vụ chỉ có văn bản và chỉ tiếng Anh, nó mang tính tác nhân chứ không phải hướng tri thức, và bạn thực sự sẽ dùng một núm điều chỉnh compute — chạy một vòng lặp khi chịu tải và bốn vòng khi độ chính xác là điều quan trọng, từ một checkpoint duy nhất, mà không cần tải xuống lần thứ hai. Thẻ của nó tuyên bố rằng đặt cược đó sinh lời trên τ³-Bench và khả năng tuân theo chỉ dẫn ở mức 4B, và nó tiết lộ đủ về cách những con số đó được tạo ra để bạn có thể chiết khấu chúng một cách thích hợp.

Điều có thể giải quyết chuyện này là phép thử mà chưa ai chạy: Dory 1.0 4B đối đầu với Qwen3.8-27B trên cùng một harness, ở cùng mức lượng tử hóa, trên một bộ tác vụ agentic. Bảng của N​VIDIA bỏ qua hoàn toàn thế hệ Q​wen hiện tại, còn bảng của A​libaba thì không nhìn xuống một hạng cân. Cho đến khi ai đó công bố so sánh đó, lập trường chính xác là một trong hai mô hình này là mô hình 27B đã được chứng minh, được hỗ trợ, được triển khai rộng rãi, còn mô hình kia là một repository 4B xuất hiện qua đêm với một ý tưởng thú vị trong đó — và người duy nhất có thể nói liệu ý tưởng đó có đáng để xây dựng hay không chính là bạn, trên bộ tác vụ của bạn.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.