ZoomGain-9B so với MathForm 8B: Hai checkpoint 9B không thể làm công việc của nhau

Một câu hỏi đầy ẩn ý nằm sau ZoomGain-9B và MathForm-8B: cả hai đều là các bản tinh chỉnh khoảng chín tỷ tham số được công bố trong cùng một cửa sổ tám mươi ngày, cả hai đều là các bản phát hành nghiên cứu gần với Apache-2.0 từ các phòng thí nghiệm Trung Quốc có kèm một bài báo, cả hai đều được huấn luyện hậu kỳ bằng học tăng cường trên vài nghìn ví dụ, và cả hai đều mang một điểm chuẩn đánh giá trông như không thể đối với kích thước của chúng. Cám dỗ là xếp hạng chúng. Vấn đề là một trong hai chưa từng thấy một hình ảnh và cái còn lại chưa từng thấy một chứng minh Lean, nên việc xếp hạng không có trục.

ZoomGain-9B là checkpoint ngôn ngữ-thị giác của inclusionAI từ ngày 10 tháng 11 năm 2026, được huấn luyện bằng GRPO trên 9.000 câu hỏi được khai thác từ chi tiết hình ảnh bị cắt, và kết quả mạnh nhất được báo cáo là 90,25 trên HR-Bench 4K. MathForm-8B là công cụ tự động hình thức hóa của OpenBMB từ ngày 14 tháng 8 năm 2026, được huấn luyện bằng tinh chỉnh có giám sát sau đó là học tăng cường trên khoảng 367.000 ví dụ Lean 4, và kết quả mạnh nhất được báo cáo là mức trung bình 88,06% tỷ lệ vượt kiểm tra cú pháp pass@8 trên sáu bộ đánh giá tự động hình thức hóa. Không con số nào nói lên điều gì về mô hình kia. Điều kết nối chúng là thứ hữu ích hơn một bảng xếp hạng: hai bản phát hành đưa ra những tuyên bố giống nhau một cách bất thường về việc một bản tinh chỉnh nhỏ có thể đánh bại một mô hình tổng quát lớn hơn nhiều như thế nào, và cách chúng biện minh cho những tuyên bố đó khác nhau đủ để cho bạn biết nên tin cái nào cho việc gì.

Các cột trống, được đặt tên

ZoomGainBench không chứa mô hình chỉ-văn-bản nào. Đây là một bộ câu hỏi về ảnh chụp — nhận dạng thuộc tính, đếm và OCR — nên một mô hình không có bộ mã hóa thị giác không thể được đưa vào, và MathForm-8B đã không được đưa vào. Ngược lại, sáu benchmark đánh giá của MathForm là FormalMATH, ProverBench, CombiBench và ba phần tách FATE, tất cả đều là các tác vụ dịch toán ngôn ngữ tự nhiên sang Lean 4. ZoomGain-9B chưa từng được chạy trên bất kỳ benchmark nào trong số đó và không có lý do gì để tin rằng nó sẽ làm tốt, vì không có gì trong quá trình huấn luyện của nó liên quan đến ngôn ngữ hình thức.

Đây không phải là chuyện chi tiết kỹ thuật về các benchmark. Đó là toàn bộ cục diện của quyết định. Nếu tác vụ của bạn tạo ra một hình ảnh và tiêu thụ một câu trả lời thực tế ngắn, thì MathForm-8B là một mô hình văn bản không thể thử làm việc đó. Nếu tác vụ của bạn tiêu thụ một phát biểu toán học và tạo ra một chứng minh Lean 4 có thể được máy kiểm tra, thì ZoomGain-9B là một mô hình thị giác chưa từng được yêu cầu làm việc đó. Không có phần chồng lấn nào để đo lường, nghĩa là phép so sánh trung thực là so sánh về cách xây dựng, bằng chứng và chi phí vận hành — và những điều đó hóa ra lại khác biệt rất lớn.

Hai công thức RL, cả hai đều nhỏ, và điều gì khác biệt giữa chúng

Tập huấn luyện của ZoomGain gồm 9,000 bản ghi trên 7,713 ảnh nguồn. Một epoch, kích thước batch là 64, tám rollout cho mỗi câu hỏi, GRPO với phần thưởng kiểm tra xem tùy chọn được chọn có khớp với đáp án tham chiếu hay không. Dữ liệu được tạo ra, không phải được gán nhãn: một số mô hình xác định một vùng, các ảnh cắt được tạo chú thích và so sánh với chú thích toàn cảnh, và những chi tiết mà ảnh cắt tiết lộ trở thành câu hỏi về toàn bộ hình ảnh. Sự tham gia của con người chỉ là sàng lọc — bài báo nêu rõ rằng không có việc chỉnh sửa câu hỏi và câu trả lời thủ công nào diễn ra.

Tập huấn luyện của MathForm là FormalVerse, khoảng 367.000 ví dụ Lean 4 đã được xác minh. Đầu tiên là tinh chỉnh có giám sát, sau đó là học tăng cường với phản hồi từ quá trình biên dịch Lean và kiểm tra tính nhất quán ngữ nghĩa. Việc xây dựng dữ liệu sử dụng truy xuất từ Mathlib trước khi sinh và tinh chỉnh lặp lại sau đó, với chẩn đoán của trình biên dịch định hướng các lần sửa đổi.

• Mô hình cơ sở — ZoomGain-9B được huấn luyện hậu kỳ từ Qwen3.5-9B (32 lớp, kích thước ẩn 4,096, kích thước trung gian 12,288, 262,144 vị trí, lịch chú ý tuyến tính–đầy đủ theo tỷ lệ 3:1). MathForm-8B được huấn luyện hậu kỳ từ Qwen3-8B (36 lớp, toàn bộ là chú ý đầy đủ, kích thước ẩn 4,096, kích thước trung gian 12,288, 40,960 vị trí, 32 đầu truy vấn so với 8 đầu KV ở kích thước đầu 128, rope theta 1e6).

• Kích thước dùng chung — cả hai đều thừa hưởng độ rộng ẩn 4.096 và độ rộng trung gian 12.288 từ mô hình cha Q​wen của chúng, đây là sự trùng hợp nổi bật nhất giữa chúng và là một thuộc tính của dòng mô hình, chứ không phải của việc tinh chỉnh.

• Từ vựng — 248.320 token cho ZoomGain-9B so với 151.936 cho MathForm-8B. Từ vựng của MathForm thuộc thế hệ Qwen3 và điều đó có ý nghĩa: mã Lean 4, ký hiệu toán học Unicode và các token chứng minh được token hóa khác nhau ở mỗi mô hình.

• Bối cảnh — card của ZoomGain-9B không nêu gì và config của nó khai báo 262.144; config của MathForm-8B khai báo 40.960, và lệnh phục vụ được khuyến nghị của nó bị giới hạn ở 16.384 với max_new_tokens tối đa 16.384 token. Đối với autoformalization, độ dài đầu ra là ràng buộc quyết định, không phải đầu vào.

• Phương thức — một bên nhận hình ảnh và văn bản, xuất ra văn bản; bên còn lại nhận văn bản, xuất ra văn bản.

• Giấy phép — ZoomGain-9B: mã nguồn Apache 2.0, các điều khoản checkpoint được hoãn lại và không có thẻ giấy phép trong siêu dữ liệu Hub. MathForm-8B: Apache 2.0 với tệp LICENSE trong kho lưu trữ.

• Phân phối — ZoomGain-9B có BF16 cùng GGUF ở F16, Q8_0 và Q4_K_M. MathForm-8B có BF16 safetensors trong bốn shard với tổng dung lượng khoảng 16,4 GB, cùng các bản dựng GGUF và MLX do cộng đồng phát hành, nhưng không có bản lượng tử hóa riêng do nhà cung cấp phát hành.

Những con số của MathForm-8B, và vì sao chúng dễ kiểm tra hơn vẻ ngoài của chúng

OpenBMB báo cáo tỷ lệ pass@8 trung bình 88,06% ở kiểm tra cú pháp và 72,37% ở kiểm tra tính nhất quán trên sáu bộ chuẩn của mình. Trên cùng bảng đó, ReForm-8B đạt 81,76 và 66,21, Goedel-Formalizer-V2-32B đạt 78,28 và 63,74, và StepFun-Formalizer-32B đạt 63,65 và 44,47. Ba phần tách FATE là nơi các mô hình chuyên biệt sụp đổ còn MathForm thì không: FATE-X đạt 54,00 về cú pháp và 37,00 về tính nhất quán, so với 45,00 và 21,00 của ReForm-8B.

Hai điều khiến những số liệu đó đáng tin hơn một bảng điển hình của nhà cung cấp. Thứ nhất, các tác vụ mang tính cơ học theo cách mà các tác vụ tri giác không có được — một phát biểu Lean 4 hoặc biên dịch được, hoặc không, và bước kiểm tra tính nhất quán so sánh ý nghĩa với mệnh đề nguồn. Một benchmark có thể kiểm chứng bằng máy một phần thì khó được chấm điểm một cách lạc quan hơn. Thứ hai, bài báo nêu rằng mô hình chỉ SFT kém hơn: MathForm-8B-SFT đạt 84,38 về cú pháp và 66,53 về tính nhất quán, nên giai đoạn RL đang thực hiện công việc đo lường được chứ không chỉ trang trí cho một mô hình đã hoàn thiện.

Cũng có một so sánh đáng để trích dẫn vì nó đi ngược lại cách diễn đạt của chính mô hình. Trên cùng sáu bộ đánh giá, Qwen3.7-Plus — một endpoint thương mại đa dụng — đạt 86,33 về cú pháp và 83,38 về tính nhất quán. MathForm-8B vượt nó 1,7 điểm về cú pháp và kém 11 điểm về tính nhất quán. Bản tinh chỉnh chuyên biệt thắng ở tác vụ khớp chính xác và thua ở tác vụ đòi hỏi bản hình thức hóa phải mang cùng ý nghĩa với nguồn. Nếu pipeline của bạn cần một phát biểu biên dịch được, một mô hình chuyên biệt nhỏ là một món hời. Nếu cần một phát biểu trung thành, một mô hình tổng quát có truy xuất có thể vẫn nhỉnh hơn.

Các con số của ZoomGain-9B, với cùng cách tính toán

Các tác giả báo cáo 90.25 trên HR-Bench 4K so với 82.13 của mô hình cơ sở, 93.19 trên V*Bench so với 86.91, 56.31 trên VisualProbe so với 44.66, 70.00 trên MMVP so với 60.00 và 68.12 trên O3-Bench so với 56.52. Điểm trung bình held-out trên mười ba bộ đánh giá là 66.10 so với 59.75. Trên ZoomGainBench — bộ đánh giá được xây dựng bằng cùng pipeline với dữ liệu huấn luyện — mô hình đạt 55.48, và bài báo gắn nhãn cho cột đó là "Held-in" thay vì che khuất sự khác biệt.

Sự khác biệt về cấu trúc so với bằng chứng của MathForm là benchmark của ZoomGain không thể được kiểm chứng bằng máy theo cùng một cách. Đáp án trắc nghiệm được so khớp chính xác, bài toán đếm được so khớp chính xác trên một số nguyên, và OCR được chấm điểm bằng ANLS — nhưng bản thân các câu hỏi là do được sinh ra, và kiểm tra của chính các tác giả là các đáp án có thể được xác minh trên khung nhìn đã cắt. Một câu hỏi được sinh ra với một đáp án đã được xác minh vẫn là một câu hỏi được sinh ra.

Cả hai bản phát hành đều được tạo ra một phần bằng các mô hình đóng vai trò người chú thích. Phụ lục của ZoomGain nêu rõ các vai trò: Qwen3.5-397B-A17B cho việc tạo chú thích cảnh, grounding và xác minh MCQ cuối cùng; Qwen3-VL-235B-A22B-Instruct và Kimi-K2.6 cho xác minh dựa trên vùng cắt và trả lời mù; DeepSeek-V4-Pro cho phân cụm phương án nhiễu. FormalVerse của MathForm được xây dựng bằng một pipeline truy xuất từ Mathlib rồi để trình biên dịch từ chối các sinh tạo sai. Một pipeline dựa vào bộ xác minh không thể bị thuyết phục để đồng ý; pipeline kia dựa vào việc các mô hình kiểm tra công việc của các mô hình khác, chỉ với sàng lọc của con người.

Phục vụ họ, theo những thuật ngữ mà đội ngũ vận hành của bạn sẽ hỏi về.

ZoomGain-9B có dung lượng 18,82 GB ở BF16 và chạy trên vLLM 0.19.1 với transformers 5.7.0 — đúng các phiên bản của nhóm tác giả — hoặc trên một bản build llama.cpp có hỗ trợ đa phương thức Qwen3.5, sử dụng các tệp GGUF cùng một projector. Phần thân nặng về linear attention của nó giữ KV cache ở mức khiêm tốn tại các độ dài chuỗi lớn, đây là đặc tính quan trọng khi một yêu cầu duy nhất mang một hình ảnh độ phân giải cao thay vì một tài liệu dài.

MathForm-8B có kích thước khoảng 16.4 GB ở BF16, được phục vụ bởi vLLM với độ dài mô hình tối đa 16,384 hoặc bởi SGLang với cùng ngữ cảnh, ở nhiệt độ 0.6 và top-p 0.95 với ngân sách đầu ra 16,384 token. Việc đánh giá nó yêu cầu một Kimina Lean Server đang chạy và Lean 4.21.0, đây là phần mà mọi người thường đánh giá thấp: bạn không chỉ triển khai một mô hình, mà còn triển khai một bộ công cụ Lean bên cạnh nó. Phản hồi biên dịch là tín hiệu phần thưởng trong quá trình huấn luyện và là bài kiểm tra chấp nhận trong quá trình đánh giá, vì vậy một pipeline không có Lean không thể đo được liệu mô hình này có đang hoạt động hay không.

Hiện nay cả hai đều không có trong danh mục OrcaRouter, và bài viết này không khẳng định điều ngược lại. Điều chúng tôi có thể làm là định tuyến phần công việc xung quanh. Một pipeline tài liệu đọc một trang quét rồi kiểm tra phần toán học trên đó có hai nửa: lệnh gọi thị giác và lệnh gọi suy luận. Một khóa duy nhất trên hơn 200 mô hình với giá niêm yết của nhà cung cấp, không cộng thêm phụ phí, một quy tắc định tuyến gửi mỗi nửa đến một endpoint đáp ứng tiêu chuẩn của bạn, và chuyển đổi dự phòng tự động nếu một trong hai bị treo — đó là lớp bên dưới cả hai nửa, và đó là lý do một pipeline hai mô hình không nhất thiết phải có nghĩa là hai nhà cung cấp và hai hợp đồng.

Tải cái nào

Chọn MathForm-8B nếu bài toán của bạn mang tính hình thức và chuỗi công cụ của bạn đã dùng Lean. Bằng chứng mạnh hơn, giấy phép rõ ràng, đầu ra có thể kiểm chứng bằng máy, và mức thiếu hụt nhất quán 11 điểm so với một mô hình tổng quát là một hạn chế thực sự mà bạn nên biết trước khi cam kết. Đặc biệt hãy chọn nó cho các phân tách FATE, nơi các baseline chuyên biệt giảm xuống còn 21% nhất quán và nó giữ được 37%.

Chọn ZoomGain-9B nếu vấn đề của bạn là một chi tiết bên trong bức ảnh và câu trả lời của bạn ngắn. Mức cải thiện trên tập held-out của nó là đáng tin với 9.000 mẫu, bộ benchmark có thể tải xuống để bạn tự kiểm chứng tuyên bố, và giấy phép là thứ bạn nhất định phải đọc trước khi phát hành. Đừng chọn nó với kỳ vọng nó là một trợ lý thị giác tổng quát; không có gì trong bản phát hành kiểm chứng điều đó.

Và nếu bạn đang mong có một phán quyết xem mô hình chín tỷ tham số nào tốt hơn, thì ghi chú phát hành trả lời điều đó tốt hơn bất kỳ bảng xếp hạng nào có thể: chúng được xây dựng để đối chiếu với những loại ground truth khác nhau, và chỉ một trong những ground truth đó biên dịch được.