NVIDIA Nemotron Labs Dory 1.0 4B so với Gemma 4 12B: Gấp ba lần tham số, không cùng một công việc

Cách hiển nhiên nhất để đọc một so sánh giữa N​VIDIA N​emotron Labs Dory 1.0 4B và G​emma 4 12B là như một cuộc chiến về kích thước — 4B đối đầu 12B, nhỏ đối đầu trung bình — và cách đóng khung đó làm lãng phí sự so sánh, bởi vì hai mô hình không chấp nhận cùng đầu vào, không giữ cùng quan điểm về giấy phép, và không trở nên nhanh hơn theo cùng một cách. Dory là một mạng chỉ văn bản, chỉ tiếng Anh, dạng vòng lặp, có đặc điểm nổi bật là một lần tải xuống phục vụ nhiều ngân sách tính toán. G​emma 4 12B là một mô hình đa phương thức any-to-any (bất kỳ sang bất kỳ) nhận văn bản, hình ảnh và âm thanh thông qua một ngăn xếp không có bộ mã hóa duy nhất và trả về văn bản. Khoảng cách tham số là có thật, nhưng đó là khác biệt ít thông tin nhất giữa chúng. Đây là những gì thực sự phân tách hai mô hình, bao gồm cả những phần mà chưa ai chạy thử nghiệm.

Mỗi thứ là gì, trong một lượt

N​VIDIA Nemotron Labs Dory 1.0 4B là một mô hình dense 4B do N​VIDIA huấn luyện và công bố trên Hugging Face với bốn dạng lượng tử hóa — BF16, MXFP8, NVFP4 và một GGUF Q5_K_M — theo giấy phép OpenMDW 1.1. Thẻ mô hình của nó đóng dấu bản dựng là "GA (10/16/2026)". Mô hình xử lý văn bản đầu vào và văn bản đầu ra, chỉ tiếng Anh, với ngữ cảnh lên tới 256K token. Kiến trúc mới là điểm cốt lõi: một khối hồi quy 20 lớp được áp dụng với số lần thay đổi, nằm giữa khối đầu vào 8 lớp và khối đầu ra 8 lớp, nhờ đó số vòng lặp trở thành một nút điều chỉnh ở thời điểm phục vụ thay vì một quyết định ở thời điểm huấn luyện. N​VIDIA khuyến nghị hai vòng lặp là mặc định và bốn vòng khi độ chính xác dạng tác tử quan trọng hơn. Không có thông báo nào về bản phát hành này; các kho lưu trữ được đổ đầy nội dung trong một đêm và nhà cung cấp chưa công bố bài viết nào kèm theo.

Gemma 4 12B là mô hình đa phương thức dày đặc 11,95B của Google DeepMind, Apache 2.0, ngữ cảnh 256K, 48 lớp với cơ chế attention lai và cửa sổ trượt 1024 token, cùng vốn từ vựng 262K. Nó được mô tả là không dùng encoder: các patch ảnh và dạng sóng âm thanh được chiếu trực tiếp vào không gian embedding của mô hình ngôn ngữ thay vì thông qua các encoder thị giác và âm thanh riêng biệt. Đầu vào gồm văn bản, hình ảnh và âm thanh; đầu ra là văn bản. Video được xử lý dưới dạng các khung hình được lấy mẫu, với thẻ giới hạn âm thanh ở khoảng 30 giây và video ở khoảng 60 giây với tốc độ xấp xỉ một khung hình mỗi giây. Nó hỗ trợ các chế độ suy nghĩ có thể cấu hình và vai trò hệ thống gốc, và đã được công khai cũng như tải xuống rộng rãi kể từ giữa năm 2026.

Một điểm cần làm rõ trước khi bất kỳ con số nào xuất hiện: Dory có bốn biến thể, và biến thể có repository id được nhắc đến nhiều nhất là bản dựng MXFP8, nhưng các benchmark mà NVIDIA công bố lại được đo trên BF16. Checkpoint MXFP8 là một bước lượng tử hoá của cùng bộ trọng số đó, không phải một mô hình khác.

Vấn đề đánh giá chuẩn: hai thứ này chưa từng được chạy đối đầu với nhau

Đây là phần mà một bài viết so sánh thường lấp liếm, nên đáng nói thẳng. Không có kết quả harness dùng chung cho Dory 1.0 4B và G​emma 4 12B. Bảng benchmark của N​VIDIA cho Dory so sánh nó với Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B và Qwen3.6-35B-A3B — nó nhắm tới 26B G​emma, chứ không phải 12B, và hoàn toàn không bao gồm 12B. Các số liệu công bố của G​oogle cho 12B đến từ một harness khác, đối chiếu với một tập so sánh khác, trong một tài liệu công bố vài tháng trước đó và bao quát một tổ hợp tác vụ khác.

Đặt các con số của hai thẻ cạnh nhau tạo ra một bảng trông có vẻ đáng tin cậy nhưng chẳng có ý nghĩa gì, bởi vì chênh lệch hai điểm giữa hai harness không phải là chênh lệch hai điểm giữa hai mô hình. Vậy phiên bản trung thực là thế này: thẻ của chính Dory tuyên bố hành vi agentic cỡ Qwen3.5-9B ở bốn vòng lặp, trong khi kém hơn mọi comparator của chính nó trên các benchmark nặng về kiến thức, và thẻ của G​emma 4 12B tuyên bố một hồ sơ đa phương thức với cửa sổ 256K cùng các biến thể tinh chỉnh theo chỉ dẫn trên toàn dòng G​emma 4. Việc liệu một trong hai tuyên bố có trụ được khi tiếp xúc với bộ nhiệm vụ của bên kia hay không vẫn chưa được kiểm chứng.

Nơi chúng thực sự chồng lấn, và nơi sự chồng lấn kết thúc

Bốn khía cạnh đều quan trọng đối với một quyết định thực sự, và chúng chỉ về những hướng khác nhau.

• Phương thức — G​emma 4 12B nhận văn bản, hình ảnh và âm thanh. Dory 1.0 4B nhận văn bản. Đây không phải là khoảng cách về điểm chuẩn mà một bộ khung đánh giá có thể lấp đầy; đó là một năng lực mà một mô hình có còn mô hình kia thì không, và nếu khối lượng công việc của bạn có ảnh chụp màn hình, một trang quét hoặc một đoạn clip giọng nói ở bất kỳ đâu trong đó, thì so sánh đã kết thúc.

• Ngôn ngữ — Dory chỉ hỗ trợ tiếng Anh. Dòng Gemma 4 là đa ngôn ngữ, và card 12B của nó mang các kết quả đánh giá và giọng nói đa ngôn ngữ, bao gồm các benchmark dịch thuật phi tiếng Anh. Bất kỳ ngôn ngữ thứ hai nào trong môi trường production đều loại Dory ra.

• Bối cảnh — cả hai đều quảng cáo 256K, và đây là điểm duy nhất mà thông số kỹ thuật thực sự trùng khớp. Thẻ của Dory nói rằng 262.144 vị trí được xác thực trong vLLM theo lệnh khởi chạy đi kèm; Gemma 4 12B ghi 256K với cửa sổ trượt 1024 token bên trong một ngăn xếp attention kết hợp. Đánh giá ngữ cảnh dài được công bố thì có cho Gemma; còn với Dory, hàng ngữ cảnh dài duy nhất là của chính NVIDIA, được đo bằng đáp án đã hiệu chỉnh và một mô hình giám khảo cũ hơn, điều mà thẻ này tiết lộ.

• Hành vi tính toán — đây là lợi thế bất đối xứng của Dory và nó chẳng liên quan gì đến chất lượng. Gemma 4 12B là một mô hình dense thông thường: độ sâu cố định, chi phí cố định trên mỗi token, muốn thay đổi hóa đơn thì phải mở rộng phần cứng hoặc rút ngắn ngữ cảnh. Độ sâu của Dory là một tham số ở thời điểm chạy. Hãy chạy nó ở một vòng lặp khi độ trễ là ràng buộc và ở bốn vòng lặp khi độ chính xác là ràng buộc, mà không cần tải xuống một checkpoint thứ hai. NVIDIA cũng cung cấp một chế độ KV-caching ở vòng lặp cuối nhằm giữ dung lượng cache ở mức xấp xỉ kích thước của chế độ một vòng lặp bất kể số vòng lặp là bao nhiêu, điều mà — nếu nó đứng vững — sẽ loại bỏ phản đối tiêu chuẩn đối với các kiến trúc hồi quy. Đây là tuyên bố trong thẻ đáng được kiểm chứng độc lập nhất.

• Giấy phép — OpenMDW 1.1 cho Dory, Apache 2.0 cho G​emma 4 12B. Cả hai đều cho phép sử dụng cho mục đích thương mại. Nếu bộ phận pháp lý của bạn coi Apache 2.0 là con đường ít trở ngại nhất, thì G​emma khởi đầu với một lợi thế chẳng liên quan gì đến các trọng số.

Chạy chúng: một cái là thường lệ, cái kia là bản dựng.

G​emma 4 12B là một bản tải xuống theo đúng khuôn mẫu của họ L​lama. Nó ở định dạng Transformers, chạy trên những engine bạn đã có sẵn, và các bản lượng tử hoá — các biến thể QAT GGUF và w4a16 — đã được công khai chỉ ít lâu sau khi chính mô hình ra mắt.

Dory 1.0 4B vẫn chưa sẵn sàng và card nói thẳng điều đó. Hỗ trợ vLLM đang ở trạng thái "đang xem xét" trong một pull request đang mở; cho đến khi nó được merge, bạn cài vLLM từ nhánh đó với cờ precompiled-kernel rồi truyền các ghi đè loop-count và KV-cache lúc serve. Hỗ trợ llama.cpp nằm trong một pull request mở thứ hai, và NVIDIA ghim một commit cụ thể thay vì head đang di chuyển, đó là lựa chọn đúng cho một thiết lập tham chiếu nhưng vẫn đồng nghĩa với việc build từ source. Không có endpoint được host nào cho Dory ở bất cứ đâu mà chúng tôi có thể xác minh — từ NVIDIA hay từ bất kỳ ai khác — và bộ đếm lượt tải trên cả bốn repository của nó vẫn bằng không khi bài này được viết. Ngược lại, Gemma 4 12B đã được pull về hơn một triệu lần trong tháng vừa qua và có một hệ sinh thái gồm các bản finetune và lượng tử hóa được xây dựng trên đó. Khoảng cách độ trưởng thành đó, đối với hầu hết các nhóm, lớn hơn bất kỳ chênh lệch benchmark nào trên một trong hai card.

Các chi tiết phần cứng đều khan hiếm ở cả hai phía. Những số liệu tốc độ Dory duy nhất mà N​VIDIA công bố là mức tăng tốc lượng tử hóa trên DGX Spark — 1,69× và 1,84× đối với MXFP8 so với BF16 tùy theo tổ hợp đầu vào/đầu ra, 2,17× và 2,44× đối với NVFP4 — chứ không phải số liệu thông lượng. Với G​emma 4 12B, câu hỏi tương ứng, VRAM ở một độ dài ngữ cảnh nhất định, có thể được trả lời từ một năm đo lường của cộng đồng thay vì từ chiếc card.

Thành thật mà nói, bộ định tuyến tham gia vào ở chỗ nào?

Cả hai mô hình này đều không phải là thứ chúng tôi phục vụ, và nói rõ như vậy hữu ích hơn là ngụ ý điều ngược lại. N​VIDIA N​emotron Labs Dory 1.0 4B không có trong danh mục của OrcaRouter và không có endpoint được lưu trữ ở bất kỳ đâu; G​emma 4 12B nói riêng cũng không có trong danh mục, mặc dù các mô hình anh em lớn hơn của nó google/gemma-4-26b-a4b-it và google/gemma-4-31b-it thì có.

Điều còn lại chính là hình hài thực tế của quyết định. Nếu bạn đang chọn giữa một mô hình 4B mà bạn phải tự vận hành và một mô hình 12B mà bạn có thể thuê, thì phía tự vận hành gánh một hóa đơn GPU cùng một gánh nặng vận hành mà phía thuê không có, và cách duy nhất để định giá điều đó một cách trung thực là chạy cả hai trên chính bộ tác vụ của bạn. OrcaRouter hữu ích cho nửa phần được lưu trữ của thử nghiệm đó: một khóa API là tiếp cận được các mô hình Google trọng số mở mà chúng tôi thực sự cung cấp, ở mức giá niêm yết của nhà cung cấp với 0% phụ thu, nên việc so sánh không cần thêm một hợp đồng thứ hai hay một SDK thứ hai. Chuyển đổi dự phòng tự động bao phủ khoảng thời gian mà cụm GPU của chính bạn bị bão hòa giữa lúc đánh giá, và DSL định tuyến cho phép một lệnh gọi tự vận hành và một lệnh gọi được lưu trữ cùng nằm sau một điểm cuối duy nhất, nên đổi bên chỉ là thay đổi cấu hình chứ không phải viết lại. Không điều nào trong số đó cho bạn biết mô hình nào thắng. Nó loại bỏ cái cớ để không tìm ra.

Vậy cái nào?

Nếu tác vụ của bạn chỉ có văn bản, chỉ tiếng Anh và ngữ cảnh dài, và đặc biệt nếu nó mang tính tác tử — gọi công cụ, quy trình nhiều bước, đầu ra có cấu trúc — thì Dory 1.0 4B là canh bạc thú vị hơn và là mô hình mà kiến trúc của nó mang lại cho bạn điều mà 12B không thể cung cấp: một nút điều chỉnh compute. Hãy đặt cược với sự hiểu biết rõ ràng về khoảng cách độ chín muồi, hai pull request chưa được hợp nhất, việc hoàn toàn không có đánh giá độc lập, và việc thẻ mô hình của chính nó xếp nó sau mọi đối thủ so sánh trên GPQA và HLE.

Nếu công việc của bạn liên quan đến hình ảnh, âm thanh, một ngôn ngữ thứ hai hoặc một thời hạn sản xuất trong tháng tới, thì G​emma 4 12B là câu trả lời, và so sánh chưa bao giờ là sít sao. Đây là một mô hình lớn hơn, đắt hơn, mạnh hơn, với một hệ sinh thái đằng sau và không có bước build nào ở phía trước.

Điều đáng để theo dõi không phải là một con số benchmark — mà là liệu các pull request cho vLLM và llama.cpp có được hợp nhất hay không. Ngày mà Dory tải từ một bản nhị phân đã phát hành thay vì từ một nhánh, khía cạnh tự lưu trữ của so sánh này sẽ không còn là một dự án nữa mà bắt đầu trở thành một thay đổi cấu hình. Cho đến lúc đó, kết luận trung thực là một trong hai mô hình này là một sản phẩm còn cái kia là một kho mã xuất hiện qua đêm, và bạn muốn cái nào hoàn toàn phụ thuộc vào việc bạn đang phát hành sản phẩm hay đang thử nghiệm.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.