NVIDIA Nemotron Labs Dory 1.0 4B so với MiniCPM5 2B: Một runtime tùy chỉnh đối đầu với LlamaForCausalLM thuần

Điều hữu ích nhất cần chú ý về NVIDIA Nemotron Labs Dory 1.0 4B và MiniCPM5-2B không phải là bảng điểm benchmark của mô hình nào — mà là điều xuất hiện ở dòng đầu tiên trong phần kiến trúc của MiniCPM5-2B. Thẻ của nó nói thẳng rằng kiến trúc là một mô hình tiêu chuẩn LlamaForCausalLM: 42 lớp, attention truy vấn theo nhóm với 16 đầu truy vấn và 2 đầu KV, không có kernel tùy chỉnh, không cần fork mã mô hình. Thẻ của Dory lại nói điều ngược lại trên mọi phương diện thực tiễn. Kiến trúc của nó là một mạng hồi tiếp tiềm ẩn dạng vòng lặp, trong đó khối lớp được áp dụng với số lần thay đổi, và để phục vụ nó ngày nay bạn phải cài vLLM từ một pull request đang mở hoặc build llama.cpp từ một commit được ghim. Một trong hai mô hình này thả thẳng vào stack bạn đã có. Mô hình còn lại buộc bạn phải thay đổi stack trước. Sự khác biệt đó sẽ quyết định nhiều lượt triển khai hơn bất kỳ điểm số nào mà một trong hai nhà cung cấp công bố.

Hai mô hình nhỏ, hai canh bạc hoàn toàn khác biệt

N​VIDIA N​emotron Labs Dory 1.0 4B là mô hình dense dạng vòng lặp 4B của N​VIDIA, được phát hành trên Hugging Face ở các định dạng BF16, MXFP8, NVFP4 và Q5_K_M GGUF theo giấy phép OpenMDW 1.1, với model card của nó ghi "GA (10/16/2026)". Đây là mô hình chỉ dành cho văn bản và chỉ tiếng Anh, hỗ trợ tối đa 256K token, và đã đưa khoảng 6 nghìn tỷ token tiền huấn luyện vào một stack được huấn luyện gốc bằng NVFP4 trong khoảng ~4.5T đầu tiên trước khi chuyển sang BF16, sau đó mở rộng sang ngữ cảnh dài với hơn 300B token và hoàn thiện bằng SFT cùng học tăng cường GRPO đa môi trường. Nó được công bố mà không có bất kỳ thông báo nào.

MiniCPM5-2B là mô hình dense 2,5B của OpenBMB — tổng cộng 2.516.756.480 tham số, trong đó 1.981.982.720 là phi embedding — theo Apache 2.0, với cửa sổ ngữ cảnh 131.072 token và hỗ trợ song ngữ tiếng Anh và tiếng Trung. Đây là mục thứ hai trong dòng MiniCPM5 sau bản 1B, được xây dựng để mở rộng quy mô thứ mà thẻ mô hình gọi là cùng một công thức huấn luyện, và nó hướng thẳng đến triển khai trên thiết bị, cục bộ và hạn chế tài nguyên. Quá trình hậu huấn luyện đã chạy tinh chỉnh có giám sát, học tăng cường và chưng cất theo chính sách. Thẻ mô hình tuyên bố đạt trạng thái tiên tiến mã nguồn mở hạng 2B với mức trung bình 53,9 trên bộ chuẩn đánh giá của nó.

Cả hai đều đủ nhỏ để chạy trên một bộ tăng tốc. Cả hai đều có thể tải xuống ngay hôm nay. Mọi thứ sau đó thì rẽ theo hướng khác.

Sự tương phản, xét theo từng chiều

• Kiến trúc — Dory 1.0 4B là một GPT chuẩn hóa, tái phát tiềm ẩn dạng vòng lặp với attention cửa sổ trượt xen kẽ và attention đầy đủ, một khối đầu vào 8 lớp, một khối tái phát 20 lớp và một khối đầu ra 8 lớp. MiniCPM5-2B là một transformer nhân quả dày đặc thông thường, 42 lớp, GQA 16 đầu với 2 đầu KV, LlamaForCausalLM.

• Chi phí gia nhập ở khâu phục vụ — đây là điểm nhấn chính. MiniCPM5-2B không cần kernel tùy chỉnh và không cần engine bị fork; nếu stack của bạn chạy được các mô hình dạng Llama thì nó cũng chạy được mô hình này. Dory cần vLLM được build từ một pull request chưa được merge hoặc llama.cpp được build từ một commit được ghim, kèm các ghi đè lúc chạy cho số vòng lặp và chế độ KV-cache.

• Tham số — 4B dense so với tổng 2,516B (1,98B không tính embedding). Dory lớn hơn khoảng 60%, và khối hồi tiếp của nó được áp dụng lặp lại, nên lượng tính toán hiệu dụng trên mỗi token ở bốn vòng lặp vượt quá mức mà số lượng tham số hàm ý.

• Ngữ cảnh — Dory đạt 256K token với 262.144 vị trí đã được xác thực trong vLLM. MiniCPM5-2B hỗ trợ 131.072. Cửa sổ của Dory gấp đôi; liệu bạn có muốn trả giá cho nó hay không là câu hỏi về KV-cache được đề cập bên dưới.

• Ngôn ngữ — Dory chỉ hỗ trợ tiếng Anh, với 43 ngôn ngữ lập trình trong hỗn hợp tiền huấn luyện của nó. MiniCPM5-2B là song ngữ tiếng Anh và tiếng Trung. Đối với khối lượng công việc bằng tiếng Trung, khía cạnh này tự nó đã định đoạt kết quả so sánh mà không cần tham chiếu đến bất kỳ hàng nào khác.

• Giấy phép — OpenMDW 1.1 cho Dory, Apache 2.0 cho MiniCPM5-2B. Cả hai đều cho phép sử dụng cho mục đích thương mại; Apache 2.0 là giấy phép mà hầu hết các đợt rà soát pháp lý đều đã phê duyệt.

• Tính linh hoạt trong tính toán — độ sâu của Dory là một tham số runtime: một vòng lặp cho độ trễ, hai vòng là mặc định được khuyến nghị, bốn vòng khi độ chính xác agentic quan trọng hơn, tất cả chỉ từ một checkpoint. MiniCPM5-2B có độ sâu cố định, và đòn bẩy hiệu năng của nó là lượng tử hóa — dòng sản phẩm này cung cấp các bản dựng GGUF, MLX, GPTQ và LiteRT cùng một mô hình nháp DSpark cho giải mã suy đoán.

• Hệ sinh thái — MiniCPM5-2B đã được công khai từ đầu tháng 9 năm 2026 và có hơn một triệu lượt tải xuống cùng nhiều bản dựng đã lượng tử hóa và phái sinh. Bốn kho lưu trữ của Dory đã được đưa lên đầy đủ qua đêm và bộ đếm lượt tải xuống của chúng vẫn ở mức 0 vào thời điểm bài viết này được thực hiện.

Những con số, và lý do bạn không nên trừ chúng

Cả hai card đều công bố bảng benchmark, và các bảng này trùng nhau ở đủ nhiều tác vụ để có thể nhìn cạnh nhau. Đáng để làm việc đó một cách cẩn thận, vì một phép trừ ngây thơ sẽ gây hiểu nhầm theo một cách cụ thể và có thể dự đoán được.

Đọc Dory ở ba cài đặt vòng lặp của nó so với con số được báo cáo duy nhất của MiniCPM5-2B:

• SciCode — 27.3 / 34.94 / 35.11 so với 26.3. Từ hai vòng lặp trở lên, Dory dẫn đầu.

• SWE-bench Verified — 50.3 / 59.5 / 61.8 so với 46.4.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 so với 8.6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 so với 70,2. Ngay cả ở một vòng lặp, Dory vẫn kém hơn về danh nghĩa; ở từ ba vòng lặp trở lên, nó vượt lên.

• HLE, chỉ văn bản — 8.25 / 10.89 / 10.43 so với 8.9.

• IFBench — 74.29 / 77.94 / 79 so với 66.3.

• AA-LCR — 63 / 71 / 73 so với 59.0.

Dory trông mạnh hơn ở hầu hết các hạng mục này, có khi hơn khá nhiều. Giờ là lý do để không tin vào phép tính đó: đây là hai bộ khung đánh giá khác nhau, đo hai tập prompt khác nhau, và không nhà cung cấp nào chạy mô hình của bên kia. N​VIDIA đo Dory trên NeMo Gym và Nemo Evaluator SDK, với số lần lặp cho từng benchmark được công bố trong card — SciCode tám lần, AA-LCR mười sáu lần, một số benchmark đúng một lần. OpenBMB đo MiniCPM5-2B trên thiết lập của riêng mình và báo cáo một con số trung bình duy nhất là 53,9 trên toàn bộ bộ đánh giá của họ. Chênh lệch hai hoặc ba điểm giữa hai thiết lập đó chỉ là nhiễu, không phải là một phán quyết. Không có gì trong cả hai card là một bản tái lập độc lập, và chưa có bên thứ ba nào công bố so sánh trực tiếp hai mô hình này.

Có một lý do mang tính cấu trúc để kỳ vọng lợi thế bề ngoài của Dory là thật trên các tác vụ agentic và sẽ tan biến ở những nơi khác. Thẻ của nó cho thấy vòng lặp đem lại nhiều nhất trên SWE-bench và Terminal-Bench, ít nhất ở khả năng ghi nhớ kiến thức — AA-Omniscience hầu như không thay đổi theo số vòng lặp. Điểm mạnh của chính MiniCPM5-2B lại được phân bổ khác đi: nó báo cáo 97.1 trên τ²-Bench Telecom và 88.7 trên GAIA Text-103, những kết quả agentic mà thẻ của N​VIDIA không đo lường ở dạng có thể so sánh được. Nếu tác vụ của bạn là sử dụng công cụ trong một miền hẹp, các con số trên thẻ MiniCPM là những con số cần kiểm tra trước tiên, và không có con số nào trong đó xuất hiện trên bảng của Dory.

Cũng hãy để ý xem hai card từ chối so sánh điều gì. MiniCPM5-2B tự đánh giá so với Qwen3.5-4B ở mức 51.1, granite-4.2-3B ở mức 42.7 và LFM2.5-2.6B ở mức 33.2 trên mức trung bình của chính nó. Dory tự đánh giá so với Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B và Qwen3.6-35B-A3B. Mô hình duy nhất mà cả hai card đều đưa ra con số là Qwen3.5-4B, và chúng cho điểm nó khác nhau — điều đó cho bạn biết nhiều hơn về các bộ khung đánh giá hơn là về Qwen.

Bạn tốn bao nhiêu để vận hành mỗi thứ

Câu chuyện vận hành của MiniCPM5-2B là câu chuyện tẻ nhạt, và ở đây tẻ nhạt là một lời khen. Kiến trúc chuẩn, không có kernel tùy chỉnh, một loạt các bản lượng tử hóa dựng sẵn, và một dòng mô hình đã bao gồm các bản dựng MLX cho Apple Silicon, GPTQ cho suy luận trên GPU, LiteRT cho thiết bị di động, và một mô hình draft cho giải mã speculative. Một mô hình dạng LLaMA 2,5B với ngữ cảnh 128K vừa vặn trong bộ nhớ khiêm tốn và chạy trên những engine bạn đã dùng. OpenBMB định vị toàn bộ dòng sản phẩm là chạy trên thiết bị và bị giới hạn tài nguyên theo thiết kế, và không có gì trong model card yêu cầu bạn phải áp dụng bất cứ điều gì mới.

Câu chuyện vận hành của Dory là phần thú vị và vẫn chưa kết thúc. Hỗ trợ vLLM đang được xem xét trong pull request 60149; cho đến khi nó được hợp nhất, thẻ hướng dẫn bạn cài đặt vLLM từ nhánh đó với cờ precompiled-kernel được bật, rồi khởi chạy với các ghi đè cấu hình số vòng lặp recurrent và chế độ KV-cache. Hỗ trợ llama.cpp nằm trong pull request 30306, với một revision được ghim thay vì head di động, và hướng dẫn build hướng tới macOS ARM64 native trên Apple Silicon. Những số liệu tốc độ Dory duy nhất được NVIDIA công bố là mức tăng tốc lượng tử hóa trên DGX Spark — 1,69× và 1,84× cho MXFP8 so với BF16 tùy theo tổ hợp đầu vào/đầu ra, 2,17× và 2,44× cho NVFP4 — không phải số liệu thông lượng. Không có endpoint được host cho Dory ở bất kỳ đâu mà chúng tôi có thể xác minh.

Phần kỹ thuật thực sự mới lạ duy nhất ở phía Dory là thiết kế bộ nhớ, và đây là tuyên bố đáng để kiểm chứng nhất trước khi bạn cam kết. Vòng lặp hồi tiếp tiêu chuẩn giữ một bộ nhớ đệm KV riêng cho mỗi vòng lặp, nên bộ nhớ tăng lên theo mỗi lượt chạy thêm. Dory hỗ trợ chế độ đệm KV ở vòng lặp cuối, chỉ giữ một bộ nhớ đệm duy nhất cho mỗi lớp attention hồi tiếp và ghi đè nó ở mỗi lượt chạy, giữ mức chiếm dụng bộ nhớ ở xấp xỉ kích thước một vòng lặp bất kể bạn chạy bao nhiêu vòng. NVIDIA nói rằng độ chính xác vẫn gần với chế độ theo từng vòng lặp, với độ dài đầu ra gần như không đổi. Nếu điều đó đúng, độ sâu đàn hồi là một năng lực thực sự; nếu độ chính xác bị lệch, tính năng này tốn kém hơn những gì tấm card gợi ý. Chưa có ai bên ngoài NVIDIA kiểm chứng.

Nơi một router chứng minh được giá trị của mình — và nơi nó không.

MiniCPM5-2B không có trong danh mục OrcaRouter, và NVIDIA Nemotron Labs Dory 1.0 4B cũng vậy. Dory không có endpoint được lưu trữ ở bất kỳ đâu mà chúng tôi có thể xác nhận; MiniCPM5-2B là một mô hình trên thiết bị mà thẻ của nó được viết cho triển khai cục bộ, không phải cho một nền tảng suy luận. Nói thẳng điều đó quan trọng hơn là tìm một góc nhìn, bởi vì hiệu quả thực tế là cả hai bên của phép so sánh này đều chạy trên phần cứng mà bạn sở hữu.

Đó là lúc baseline hosted trở thành phần khó xử của thử nghiệm. Hầu hết các nhóm đánh giá một mô hình 2B hay 4B không đánh giá nó trong chân không — họ đang hỏi liệu nó có thể thay thế một lệnh gọi hosted với chi phí chỉ bằng một phần nhỏ và năng lực cũng chỉ bằng một phần nhỏ hay không, và để trả lời câu hỏi đó thì phải chạy mô hình hosted trên cùng tập tác vụ. Một khóa OrcaRouter duy nhất tiếp cận được các mô hình hosted đó ở mức giá niêm yết của nhà cung cấp với 0% markup, không cần hợp đồng thứ hai và không cần SDK thứ hai, nên việc so sánh không cần đến quy trình mua sắm riêng. Tính năng chuyển đổi dự phòng tự động lại quan trọng ở đây vì một lý do khác: một đánh giá cục bộ dài trên một GPU duy nhất sẽ bị gián đoạn, và việc đường dự phòng đã được nối sẵn phía sau cùng một endpoint giúp tiến trình chạy tiếp tục sống. DSL định tuyến cho phép một endpoint cục bộ và một endpoint hosted dùng chung một điểm gọi duy nhất, nên hai nửa của một triển khai hybrid không tách thành hai codebase riêng. Tất cả những điều này không chọn ra người thắng giữa Dory và MiniCPM5-2B. Nó khiến việc loại bỏ kẻ thua trở nên rẻ.

Phán quyết

Chọn MiniCPM5-2B nếu rào cản triển khai quan trọng hơn điểm số agentic đỉnh cao. Nó theo giấy phép Apache 2.0, kích thước chỉ bằng một nửa, song ngữ, kiến trúc chuẩn và được bao quanh bởi các bản lượng tử hóa, bao gồm cả môi trường chạy trên thiết bị di động. Nếu nhóm của bạn phải phát hành trong tháng này và phương án thay thế là vật lộn với việc build kernel, thì 2.5B thắng chỉ nhờ yếu tố hậu cần — và các kết quả τ²-Bench cùng GAIA được báo cáo cho thấy nó không thua kém nhiều ở những tác vụ sử dụng công cụ mà các mô hình nhỏ thực sự được triển khai để đảm nhận.

Hãy chọn NVIDIA Nemotron Labs Dory 1.0 4B nếu thứ bạn muốn không phải là một mô hình mà là một thử nghiệm: một checkpoint duy nhất tự tăng độ chính xác của nó theo compute suy luận, một cửa sổ 256K với thiết kế cache nhằm giúp chi phí đó khả thi, và một giấy phép cho phép triển khai thương mại. Hãy bước vào với hiểu biết rằng bạn sẽ xây dựng serving engine của mình từ một nhánh, rằng mọi con số được công bố đều là của chính nhà cung cấp trên harness của chính nhà cung cấp với số lần lặp được tiết lộ trong chú thích cuối trang, và rằng bộ đếm lượt tải xuống vẫn bằng không. Điểm cộng là bạn sẽ nằm trong số những người đầu tiên bên ngoài NVIDIA thử nghiệm một cách thực sự khác biệt để dùng compute cho một mô hình nhỏ. Cái giá phải trả là bạn sẽ làm công việc xác minh của NVIDIA thay cho họ.

Điều có thể thay đổi so sánh này nhanh nhất không phải là một benchmark. Đó là việc vLLM và llama.cpp hợp nhất các pull request Dory của họ. Ngay khi Dory tải được từ một tệp nhị phân đã phát hành, lập luận về trở ngại hiện đang ủng hộ MiniCPM5-2B phần lớn sẽ biến mất, và hai mô hình cuối cùng cũng cạnh tranh theo các điều kiện mà những bảng benchmark hàm ý thay vì theo các điều kiện mà hệ thống build của bạn áp đặt.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.