ZoomGain-4B so với Qwen3.8-27B: Thắng lợi 11 điểm là nhờ bộ dữ liệu, chứ không phải nhờ mô hình

Con số khiến cuộc so tài này đáng có hẳn một trang là 55,81 so với 44,81. Trên ZoomGainBench, bộ đánh giá chi tiết tinh vi gồm 1.000 câu hỏi được công bố cùng với ZoomGain-4B của inclusionAI, một mô hình thị giác 4,54 tỷ tham số đạt điểm cao hơn mười một điểm so với Qwen3.8-27B, một mô hình dense 27,78 tỷ tham số mà A​libaba phát hành theo Apache 2.0 vào tháng Tám và đọc được cả hình ảnh, video lẫn văn bản. Gấp sáu lần tham số, vậy mà vẫn thua mười một điểm. Đọc bài báo tạo ra cả hai con số và khoảng cách không còn là lời khẳng định về thị lực: ZoomGainBench được xây dựng bằng chính quy trình tự động đã tạo ra dữ liệu huấn luyện của ZoomGain-4B, chính các tác giả nói điều đó trong nghiên cứu ablation của họ, và mô hình mà họ thực sự đua tranh không phải Qwen3.8-27B — mà là một bộ dữ liệu khác.

Đó không phải là một sự bác bỏ. Đó là thứ hữu ích nhất trong bản phát hành, và chính nó làm cho việc so sánh trở nên có thể quyết định được: nó cho bạn biết nên chọn mô hình nào trong hai mô hình, và nên dẫn ra con số nào khi ai đó yêu cầu bạn biện minh cho lựa chọn. Phần sau tách bạch ba tuyên bố thường bị gộp chung ở đây — rằng một mô hình chuyên biệt nhỏ đánh bại một mô hình tổng quát lớn, rằng một pipeline dữ liệu đánh bại một pipeline dữ liệu khác, và rằng một trong hai điều này là lý do để thay đổi stack của bạn trong tháng này.

Đã phát hành những gì, và âm thầm đến mức nào

Kho lưu trữ cho ZoomGain-4B được tạo trên Hugging Face vào ngày 10 tháng 11 năm 2026 lúc 11:38 UTC và được sửa đổi lần cuối vào ngày 11 tháng 11. Bài báo, arXiv 2611.14076, được gửi vào ngày 10 tháng 11. Kho lưu trữ GGUF được chỉnh sửa vào lúc 03:13 UTC ngày 11 tháng 11. Tại thời điểm viết bài, cả hai kho lưu trữ đều hiển thị không có lượt tải xuống và không có lượt thích nào, không có nhà cung cấp suy luận nào được ánh xạ tới mô hình và không có bài đăng ra mắt, mục blog hay thông cáo báo chí nào của nhà cung cấp cho mô hình này. Danh sách Cập nhật của chính thẻ mô hình, ghi ngày 11 tháng 11, là thông báo duy nhất: ba dòng nói rằng bài báo, bộ đánh giá, tập dữ liệu RL và các checkpoint đã ra mắt.

Vậy cách đặt vấn đề trung thực là: nó đã ra mắt âm thầm và chưa được công bố. Mọi thứ dưới đây đến từ kho lưu trữ đều có thể kiểm chứng ngay hôm nay; còn bất cứ điều gì về cách mô hình hành xử bên ngoài bộ khung thử nghiệm của nhóm tác giả thì vẫn chưa được xác nhận, vì chưa có ai ngoài Ant Group và Đại học Chiết Giang chạy thử nó rồi báo lại.

Có hai chi tiết từ kho lưu trữ đáng để nắm trước khi bắt đầu so sánh, vì cả hai đều thu hẹp những gì bạn có thể làm với nó.

• Kiến trúc. Một dẫn xuất từ Qwen3.5-4B — 32 lớp, kích thước ẩn 2.560, 16 đầu truy vấn so với 4 đầu KV ở chiều kích thước đầu 256, lịch trình 3:1 giữa DeltaNet tuyến tính và attention đầy đủ, tối đa 262.144 vị trí, bộ từ vựng 248.320 token, và một bộ mã hóa thị giác 24 lớp với kích thước ẩn 1.024. Tổng cộng, bao gồm cả bộ mã hóa và projector, là 4.539.265.536 tham số.

• Giấy phép. Phần Giấy phép của thẻ đề cập đến mã nguồn, vốn là Apache 2.0, rồi chuyển sang: "Xem các thẻ Hugging Face để biết điều khoản của từng bộ dữ liệu và checkpoint." Thẻ checkpoint hoàn toàn không có nhãn giấy phép nào. Qwen3.8-27B là Apache 2.0 theo những điều khoản rõ ràng. Nếu bạn cần một giấy phép có thể đưa cho luật sư, thì sự bất đối xứng đó là điều đầu tiên bạn gặp phải và nó không được giải quyết bởi bất kỳ điều gì trong bản phát hành.

Danh sách duy nhất nơi cả hai mô hình xuất hiện cạnh nhau

ZoomGainBench là một bộ đánh giá song ngữ gồm 1.000 câu hỏi trên 941 hình ảnh: 472 câu hỏi nhận diện thuộc tính với bốn đến sáu lựa chọn, 94 câu hỏi đếm và 434 câu hỏi OCR, mỗi câu đều có một phiên bản tiếng Anh và một phiên bản tiếng Trung, tổng cộng 2.000 mẫu đánh giá. Hai mươi tám mô hình đã được chạy trên đó theo cùng một khung đánh giá — cùng system prompt, temperature 0, tắt chế độ suy nghĩ cho mọi checkpoint Q​wen, 2.048 token đầu ra cho các mô hình không tác tử. Kết quả tốt nhất trong lĩnh vực là GPT-5.6-Sol với 61.08, và chỉ năm mô hình vượt 50.

Qwen3.8-27B đạt 44,81 tổng thể: 43,84 ở tiếng Anh từ 40,25 ở phần thuộc tính, 54,26 ở phần đếm và 45,49 ở OCR, cùng 45,78 ở tiếng Trung. ZoomGain-4B, nằm trong bảng huấn luyện chứ không phải bảng đánh giá chuẩn, đạt 55,81. Cả hai con số đều là tổng thể hai ngôn ngữ theo cùng quy tắc tính điểm, nên đây là cặp so sánh có kiểm soát gần nhất mà bản phát hành đưa ra, và theo đó mô hình 4B thắng 11,00 điểm.

• Tham số. 4.54B so với 27.78B — mức chênh lệch 6.1× theo hướng khiến kết quả trở nên đáng ngạc nhiên.

• Mỗi mô hình được xây dựng để làm gì. ZoomGain-4B là Qwen3.5-4B được đưa qua một epoch GRPO trên 9.000 câu hỏi được khai thác, 140 bước, batch 64, tám rollout cho mỗi câu hỏi, tốc độ học 1e-6, không có số hạng KL. Qwen3.8-27B là một mô hình dense tổng quát với chế độ suy luận, gọi công cụ và nhánh video.

• Dữ liệu huấn luyện. 9.000 câu hỏi cho một bên. Còn bên kia là toàn bộ kho ngữ liệu tiền huấn luyện và hậu huấn luyện của A​libaba, không tiết lộ quy mô.

• Tính khả dụng. ZoomGain-4B: ba mức độ chính xác GGUF và một tệp projector riêng, không có endpoint được lưu trữ. Qwen3.8-27B: trọng số Apache 2.0, một bản dựng FP8, 7,4 triệu lượt tải xuống và các endpoint bạn có thể gọi ngay hôm nay.

Sự so sánh mà bài báo thực sự xác lập

Đây là phần bị mất đi khi bản phát hành bị rút gọn thành “4B đánh bại 27B”. Bài báo cần một đường cơ sở cho dữ liệu của chính nó và đã dùng một đường cơ sở: ZwZ, một bộ dữ liệu nhận thức chi tiết của ICML 2026 được xây dựng bằng chưng cất từ vùng sang ảnh. Cả hai bên đều được đối xử giống hệt nhau. Mười hai nghìn ảnh được lấy mẫu và 23.610 câu hỏi được tạo ra; bộ đánh giá lấy 1.000; phần còn lại tạo ra 8.746 cặp câu hỏi khớp với ảnh, và 254 cặp được nhân bản ở cả hai bên để đưa mỗi tập lên 9.000. Cùng ảnh, cùng checkpoint cơ sở, cùng siêu tham số, cùng 140 bước. Biến số duy nhất là các câu hỏi.

Dữ liệu ZoomGain vượt dữ liệu ZwZ trên mọi trục mà bài báo báo cáo. Trên Qwen3.5-4B, điểm held-in tăng từ 40.99 lên 55.81 và mức trung bình held-out trên mười ba benchmark tăng từ 58.94 lên 63.96; trên Qwen3.5-9B, cặp số tương ứng là 44.07 lên 55.48 và 62.53 lên 66.10. Đó là một kết quả thực sự, được kiểm soát chặt chẽ về cách bạn tạo giám sát, và đó chính là đóng góp mà tiêu đề bài báo đang nêu.

Qwen3.8-27B không đóng góp gì cho lập luận đó. Nó xuất hiện một lần, như một hàng duy nhất trong số 27 mô hình được đánh giá khác. Nó là một thước đo — một mô hình tổng quát đủ năng lực được đo trên một phân phối mà không ai huấn luyện nó cho phân phối đó — chứ không phải một đối thủ. Văn bản của chính bài báo nói rõ rằng lỗ hổng mà nó khai thác là lỗ hổng chung: các phương án gây nhiễu kiểu lỗi góc nhìn toàn cục chiếm 71,7% tổng số câu trả lời sai trên cả 28 mô hình, cao hơn mức 54,5% mà việc chọn ngẫu nhiên một phương án sẽ tạo ra, và bốn mô hình mã nguồn đóng không tham gia xây dựng bộ đánh giá cũng cho thấy hành vi tương tự, với 75,7% so với 57,4% kỳ vọng.

Thí nghiệm ablation là lập luận mạnh nhất chống lại tiêu đề.

Các tác giả đã tự thực hiện phép kiểm tra tính hợp lý hiển nhiên, và kết quả là bảng giàu thông tin nhất trong bài báo. Họ huấn luyện lại trên cùng 9.000 câu hỏi hai lần, mỗi lần loại bỏ một trong hai lựa chọn thiết kế định hình pipeline của họ: quy tắc rằng câu hỏi chỉ được xây dựng từ những chi tiết không nhìn thấy trong toàn bộ hình ảnh, và giai đoạn tạo distractor chuyên dụng.

• Toàn bộ pipeline. ZoomGainBench 55,81; trung bình trên mười benchmark held-out mà báo cáo ablation đưa ra là 60,96.

• Đã loại bỏ các distractor chuyên dụng. ZoomGainBench 46,85 — mức giảm 8,96 điểm trên bài kiểm tra held-in — và mức trung bình của mười benchmark là 59,14, mức giảm 1,82.

• Bằng chứng gia tăng đã bị loại bỏ. ZoomGainBench 49,71, mức giảm 6,10 — và mức trung bình của mười bài đánh giá chuẩn là 58,57, mức giảm 2,39.

Cả hai lựa chọn thiết kế đều đáng giá từ sáu đến chín điểm trên ZoomGainBench và khoảng hai điểm trên mọi thứ khác. Các tác giả nêu lý do một cách thẳng thắn: việc loại bỏ các distractor chuyên dụng “gây ra mức giảm lớn nhất trên ZoomGainBench held-in” bởi vì “các lựa chọn của benchmark được xây dựng bằng cùng một pipeline.” Nói cách khác, khoảng ba phần tư mức tăng nổi bật trên benchmark đã sản sinh ra con số nổi bật đó là nhờ mô hình học cách trả lời kiểu câu hỏi mà pipeline tạo ra, chứ không phải học cách nhìn tốt hơn.

Những gì còn trụ lại được thì vẫn đáng kể. Trên mười ba benchmark mà quá trình huấn luyện chưa từng chạm tới, Qwen3.5-4B đi từ 57.86 lên 63.96 — 6.10 điểm từ 9.000 mẫu — với mức tăng lớn nhất rơi đúng vào nhóm mà pipeline nhắm tới: HR-Bench 4K 81.25 lên 87.25, V*Bench 81.68 lên 90.05, VisualProbe 43.30 lên 57.28, O3-Bench 54.20 lên 63.19. Một benchmark bị giảm: TreeBench, 49.38 xuống 49.14, một phần năm điểm. MMStar, một bộ đa phương thức tổng quát, chuyển từ 66.80 lên 72.53, và BabyVision vẫn kém ở 21.13.

Hồ sơ đó là dấu hiệu đặc trưng của một can thiệp hẹp, và đó là hồ sơ mà bạn nên lập kế hoạch dựa trên. Mô hình đã giỏi hơn trong việc xử lý những chi tiết nhỏ trong một cảnh. Nó không trở thành một mô hình tổng quát tốt hơn, và phép tính nói khác đi chỉ là phép tính trên bộ đánh giá của chính nó.

Điều mà bài benchmark thực sự yêu cầu, vì đó chính là thứ bạn sẽ mua.

Nếu mục đích sử dụng là kiểm tra chi tiết nhỏ, thành phần của bài kiểm tra quan trọng hơn điểm tổng thể, và phần phân tích lỗi của bài báo lại cụ thể một cách bất thường về điểm này.

• Các neo nhỏ chiếm ưu thế.Độ chính xác tăng theo tỷ lệ hình ảnh mà chi tiết được truy vấn chiếm giữ, đối với mọi nhóm mô hình: tính trung bình trên cả 28, độ chính xác tăng từ 28,9% ở nhóm tứ phân vị nhỏ nhất, nơi neo bao phủ dưới 0,4% hình ảnh, lên 55,2% ở nhóm lớn nhất.

• Đếm là đếm các số nhỏ. 67 trong số 94 câu hỏi đếm có đáp án chuẩn tối đa là ba, và 71.6% câu trả lời số sai lệch đúng một đơn vị. Khó khăn nằm ở việc giải quyết một vài trường hợp nhỏ, chứ không phải liệt kê nhiều.

• Nhận dạng thuộc tính là hạng mục khó. Nó tạo ra điểm số thấp nhất cho 23 trong số 28 mô hình, và nếu đoán ngẫu nhiên đồng đều giữa các lựa chọn thì đã đạt khoảng 21,5%.

• Kiểu lỗi ở đây là sự thay thế hợp với bối cảnh. Trong một trường hợp được ghi nhận, 46 trong số 56 lượt đánh giá gọi một vật màu trắng trên bảng táp-lô của xe tải là màu cam — hợp lý là màu của chiếc áo vest mà người công nhân đứng phía trước mặc. Trong một trường hợp khác, gần như mọi lượt đánh giá đều nêu tên một thương hiệu thiết bị khúc côn cầu thay vì logo thực sự được in trên trang phục. Các mô hình không nói "Tôi không thể thấy nó"; chúng trả lời dựa vào ngữ cảnh.

Kiểu thất bại đó chính là lý lẽ thực tiễn cho kiểu huấn luyện này, vì nó cũng chính là kiểu khiến một pipeline tài liệu âm thầm sai trên một hóa đơn quét. Đó cũng là lý lẽ để đo lường nó: một mô hình thay thế bằng một câu trả lời có vẻ hợp lý sẽ tạo ra đầu ra đầy tự tin, nên không có gì ở hạ nguồn phát hiện được.

Nơi Qwen3.8-27B ở trong một căn phòng khác

44.81 là con số thực, và đây cũng là con số duy nhất trong bài viết này mà Qwen3.8-27B được đánh giá tại đây. Thẻ mô hình của chính nó lại báo cáo một tập hợp những thứ hoàn toàn khác, và không có thứ nào trong số đó có thể so sánh với các con số của ZoomGain vì hai mô hình chưa từng được chạy trên cùng một harness cho những thứ đó.

• Lập trình tác tử. Terminal Bench 2.1 đạt 73,0, SWE-bench Pro 61,7, LiveCodeBench v6 90,3, QwenSWEBench 79,0 — tất cả đều do nhà cung cấp tự báo cáo trên card chính thức của Qwen, cùng với các ghi chú về harness được công bố kèm theo.

• Suy luận và sử dụng máy tính. GPQA Diamond 89.2, HLE 30.8, OSWorld-Verified 84.3, WebArena-Verified 64.8.

• Công việc đa phương thức. OmniDocBench 1.5 đạt 91.1, suy luận CharXiv đạt 83.7 khi không chèn chuỗi tư duy và 90.2 khi có chèn, RealWorldQA 85.9, MathVision 90.0.

• Bề mặt năng lực. Tư duy được bật theo mặc định với reasoning_effort ở mức xhigh, medium hoặc low, tư duy được duy trì qua các lượt, gọi công cụ gốc, đầu ra có cấu trúc, đầu vào video, 262.144 vị trí gốc và có thể mở rộng đến một triệu.

ZoomGain-4B chưa được đánh giá trên bất kỳ mục nào trong số này và sẽ không được kỳ vọng làm tốt trên bất kỳ mục nào trong số đó: quá trình huấn luyện của nó chưa từng động đến mã, tác vụ terminal, tài liệu hay biểu đồ. Nó cũng không có đánh giá nào được báo cáo ở chế độ suy nghĩ — harness của chính bản phát hành chạy với tính năng suy nghĩ bị tắt ở temperature 0, nên mọi thứ được công bố về nó đều mô tả hành vi trả lời trực tiếp của nó. Điểm 44.81 của Qwen3.8-27B được đo theo cùng cách, với enable_thinking=false, đây chính là điều duy nhất khiến so sánh trở nên công bằng và cũng là điều duy nhất khiến chế độ tốt nhất của Qwen không được kiểm chứng.

Nói thẳng: trên trục mà ZoomGain-4B được huấn luyện, nó thắng, còn trên những trục mà Qwen3.8-27B được xây dựng, 4B không có mặt trên sân chơi đó. Cả hai điều ấy đều không có gì đáng ngạc nhiên, và coi một trong hai là toàn bộ câu chuyện chính là cách một trang so sánh trở nên vô dụng.

Chi phí để thiết lập từng lựa chọn là bao nhiêu, và lựa chọn nào bạn có thể gọi ngay hôm nay

Đây là chỗ hai bên rẽ hướng theo cách quyết định đến việc triển khai chứ không phải đến bài kiểm chuẩn.

ZoomGain-4B không có endpoint được lưu trữ ở bất kỳ đâu. Thứ tồn tại là kho BF16, 4,54 tỷ tham số trải trên một mô hình ngôn ngữ và một bộ mã hóa thị giác riêng, cùng ba bản dựng GGUF: Q4_K_M ở 2,71 GB, Q8_0 ở 4,48 GB và F16 ở 8,42 GB, mỗi bản đi kèm với mmproj projector riêng — lần lượt 0,23 GB, 0,36 GB và 0,67 GB — mà thẻ GGUF nêu rõ là cần thiết cho đầu vào hình ảnh. Chạy nó nghĩa là dùng llama-mtmd-cli hoặc llama-server từ một bản dựng llama.cpp đủ mới để biết Qwen3.5 đa phương thức; chạy nó ở độ chính xác đầy đủ nghĩa là vLLM 0.19.1 với transformers 5.7.0. Không có bản dựng MLX, không có ONNX, không có mô hình nháp để giải mã suy đoán, và không có nhà cung cấp nào để dự phòng nếu bản dựng của bạn hỏng.

Qwen3.8-27B nằm trong danh mục của OrcaRouter, và chúng tôi chạy chính những trọng số đó trên hạ tầng của riêng mình thay vì bán lại endpoint của người khác — đó là lý do giá trên trang mô hình của chúng tôi đúng là giá đó, không cộng thêm lớp chênh lệch nào và không có giá niêm yết của nhà cung cấp nào bị đội lên ở giữa. Đó là $0.33 cho mỗi triệu token đầu vào và $2.40 cho mỗi triệu token đầu ra, nhận văn bản, hình ảnh và video, ngữ cảnh 262.144 token, và một khóa duy nhất. Cùng khóa đó cũng truy cập được Qwen3.8-Flash với giá $0.15 và $0.47 mỗi triệu token với cửa sổ một triệu token, và Qwen3.8-Max với giá $2.00 và $6.00, nên một khối lượng công việc vượt quá 27B hoặc cần cửa sổ dài hơn có thể chuyển sang mà không cần hợp đồng thứ hai hay thay đổi mã nguồn. Chuyển đổi dự phòng là phần quan trọng đối với bất cứ thứ gì vận hành theo kiểu production: một nhà cung cấp bị treo sẽ thử lại trước khi phản hồi bắt đầu chứ không phải sau khi yêu cầu của bạn hết thời gian chờ.

ZoomGain-4B không có trong danh mục đó và không thể được gọi thông qua chúng tôi. Đó là một thư mục trọng số do chính bạn tự phục vụ, và phiên bản trung thực của khuyến nghị phải bắt đầu từ đó.

Ai nên hành động, và điều gì vẫn chưa được xác nhận

Nếu bạn có công việc nhiều hình ảnh, nơi câu trả lời phụ thuộc vào một chi tiết nhỏ — số linh kiện trên nhãn, màu trên màn hình, có hai hay ba con ốc — thì một mô hình 4.54B được RL chuyên biệt về đúng việc đó, chạy cục bộ ở 2.71 GB trong Q4_K_M, là một ý kiến thứ hai rẻ và đáng tin cậy để chạy song song với một mô hình tổng quát được host. Không phải thay cho một mô hình như vậy. Kiểu thất bại của mô hình chuyên biệt là thay thế một cách tự tin, đúng là kiểu lỗi mà một bước kiểm tra tổng quát bắt được, và ngược lại.

Nếu khối lượng công việc của bạn là tài liệu, biểu đồ, ảnh chụp màn hình, video, mã hay tác tử, thì 27B là lựa chọn cần gọi, và điểm 44.81 trên một bài kiểm chuẩn chi tiết mịn mà không ai huấn luyện nó cho việc đó không phải là lý do để nghĩ khác.

Điều gì vẫn chưa được xác nhận, và đáng để theo dõi thay vì mặc định cho là đúng:

• Giấy phép của phần trọng số.Apache 2.0 áp dụng cho phần mã nguồn. Checkpoint không mang thẻ giấy phép nào, còn model card chỉ dẫn chiếu tới "các điều khoản của từng bộ dữ liệu và từng checkpoint" mà không nêu rõ chúng là gì. Cho đến khi điều đó được giải quyết, triển khai thương mại là một cuộc trao đổi với luật sư, chứ không phải một ô tick.

• Mọi tái lập.Mọi con số ở trên đều do tác giả tự báo cáo, được tạo ra trên harness của chính các tác giả. Bộ kiểm chuẩn và trình đánh giá đều công khai, nên có thể kiểm chứng, nhưng chưa ai ngoài Ant Group và Đại học Chiết Giang kiểm tra điều đó.

• Liệu mức cải thiện có tổng quát hóa vượt ra ngoài pipeline hay không. Những con số trên tập held-out mới là thứ đáng tin; chúng khá khiêm tốn — 6,10 điểm so với mức trung bình trên mười ba benchmark của mô hình cơ sở — và nghiêng mạnh về họ fine-grained mà quá trình huấn luyện nhắm tới. Việc điều đó có chuyển sang ảnh của bạn hay không là một câu hỏi mở mà bản phát hành không trả lời.

• Liệu nó có giữ được chất lượng ở Q4 hay không.Thẻ GGUF cảnh báo rằng lượng tử hóa có thể ảnh hưởng đến độ chính xác, và chưa có công bố nào so sánh các bản dựng đã lượng tử hóa với checkpoint BF16 trên ZoomGainBench. Với một mô hình mà toàn bộ giá trị nằm ở chi tiết tinh tế, đó là thử nghiệm cần chạy trước khi bạn tin tưởng một tệp 2.71 GB.