ZwZ2-9B vs MathForm-8B: Cùng một trunk, hai lượng sự thật rất khác nhau

Hai mô hình được công bố cách nhau tám tuần, đến từ hai phòng thí nghiệm khác nhau, được xây dựng trên hai thế hệ khác nhau của cùng một dòng họ mô hình — và phần thân của chúng có cùng chiều rộng. MathForm-8B, do OpenBMB phát hành ngày 14 tháng 8 năm 2026 dưới dạng bản fine-tune của Qwen3-8B, chạy 36 lớp với kích thước ẩn 4,096 và kích thước trung gian 12,288. ZwZ2-9B, do inclusionAI đăng tải ngày 16 tháng 10 năm 2026 trên nền tảng Qwen3.5-9B, chạy 32 lớp với kích thước ẩn 4,096 và kích thước trung gian 12,288. Các thế hệ gốc cách xa nhau, kích thước từ vựng 151,936 và 248,320, công việc hoàn toàn khác biệt — vậy mà cả hai đều có cùng dạng hình học thân 4,096 × 12,288. Điều phân biệt chúng không phải là kiến trúc. Mà là một trong hai đi kèm với một bài báo, một bộ dữ liệu, một harness đánh giá và một giấy phép, còn cái kia chỉ đi kèm tám tệp.

Bản ngắn gọn: nếu bạn có thể mô tả vấn đề của mình là "biến văn xuôi này thành Lean 4", thì MathForm-8B là một chuyên gia đã được tài liệu hóa với các con số đã công bố và bạn nên dùng nó. Nếu vấn đề của bạn liên quan đến pixel và bạn muốn một mô hình thị giác-ngôn ngữ tổng quát, thì ZwZ2-9B là một checkpoint 9,4B mà chưa ai mô tả đặc điểm, và việc áp dụng nó nghĩa là trở thành người đánh giá đầu tiên của nó. Phần thú vị của so sánh này là điều mà sự bất đối xứng đó dạy về việc một sự kế thừa chung đáng giá bao nhiêu.

Hai hậu duệ, cách nhau một thế hệ

MathForm-8B là một dẫn xuất của Qwen3-8B và nói thẳng như vậy: thẻ của nó ghi lại mô hình cơ sở, tập dữ liệu huấn luyện, phương pháp huấn luyện và bài báo. Cấu hình là bố cục Qwen3 chuẩn mực — 36 lớp, 32 đầu truy vấn so với 8 đầu khóa-giá trị ở kích thước đầu 128, từ vựng 151.936 token, giới hạn 40.960 vị trí, cơ sở quay 1.000.000, và chú ý đầy đủ trong mọi lớp. Không có gì lạ, không có gì ẩn giấu.

ZwZ2-9B là một dẫn xuất của Qwen3.5-9B mà chỉ nói lên điều đó thông qua một thẻ Hub duy nhất. Cấu hình của nó phân giải thành Qwen3_5ForConditionalGeneration, và mọi giá trị kiến trúc đều khớp với Qwen3.5-9B ngoại trừ một lớp dự đoán nhiều token đã bị xóa. Bộ từ vựng 248.320 token, giới hạn 262.144 vị trí, M-RoPE xen kẽ và tháp thị giác đều được kế thừa nguyên vẹn.

• Tham số — ZwZ2-9B: 9.409.813.744. MathForm-8B: 8 tỷ, theo thẻ của nó.

• Parent — Qwen3.5-9B so với Qwen3-8B, nên cả hai kế thừa những thiết kế attention khác nhau từ các thế hệ Qwen khác nhau.

• Lưu ý — 24 lớp attention tuyến tính cộng với 8 lớp attention đầy đủ, so với attention đầy đủ trong tất cả 36 lớp.

• Hình học phần thân — kích thước ẩn 4.096 và kích thước trung gian 12.288 ở cả hai.

• Từ vựng — 248.320, với các ID token hình ảnh và video bên trong nó, so với 151.936 và chỉ văn bản.

• Giới hạn ngữ cảnh — 262.144 vị trí so với 40.960.

• Các phương thức trong — văn bản, hình ảnh và video so với chỉ văn bản.

• Bằng chứng đã được công bố — một tệp cấu hình so với một bài báo, một tập dữ liệu, một quy trình đánh giá và các điều khoản Apache-2.0.

MathForm-8B mang lại những gì

Thẻ này đầy đủ một cách bất thường, và đáng để đi sâu vào vì sự tương phản sau này phụ thuộc vào nó. MathForm-8B dịch các phát biểu toán học bằng ngôn ngữ tự nhiên sang Lean 4. Nó được huấn luyện trên FormalVerse — một tập dữ liệu do OpenBMB công bố cùng với nó — thông qua tinh chỉnh có giám sát và sau đó là học tăng cường, với việc biên dịch Lean và phản hồi nhất quán ngữ nghĩa cung cấp tín hiệu thưởng. Bài báo là MathForm: Mở rộng Quy mô Tự động Hình thức hóa Toán học với Truy xuất Tri thức và Tinh chỉnh Dẫn dắt bởi Xác minh, arXiv 2608.14221, và kho lưu trữ bao gồm quy trình đánh giá, các tệp điểm chuẩn và các script Pass@k.

Các kết quả được báo cáo dưới dạng tỷ lệ đạt Pass@8 theo hai tiêu chí riêng biệt: Kiểm tra Cú pháp, nghĩa là Lean được tạo ra thực sự biên dịch được, và Kiểm tra Tính nhất quán, nghĩa là nó biên dịch được và nói cùng điều như bài toán gốc. Trên sáu benchmark, thẻ báo cáo mức trung bình macro là 88,06 ở cú pháp và 72,37 ở tính nhất quán, cao hơn các autoformalizer 8B khác mà nó liệt kê và cao hơn một số mục 32B ở cột cú pháp. So sánh cuối cùng đó là kiểu tuyên bố đáng đem ra kiểm chứng thay vì chỉ lặp lại, và có một chi tiết trong thiết lập khiến việc kiểm chứng nó không hề tầm thường: các kiểm tra biên dịch đòi hỏi một Kimina Lean Server đang chạy, và các thí nghiệm đã dùng Lean 4.21.0. Đây không phải là một checkpoint mà bạn có thể chấm điểm bằng một script Python.

Mọi con số ở trên đều do nhà cung cấp báo cáo. OpenBMB đã chạy đánh giá, OpenBMB đã công bố nó, và kho mã thực sự có bao gồm các script để tái tạo lại — điều mà vượt xa những gì hầu hết các phòng thí nghiệm cung cấp và là lý do khiến các con số vẫn có giá trị ngay cả khi chưa được xác minh. Thẻ còn công bố các cài đặt sinh được khuyến nghị, temperature 0.6 và top-p 0.95, một kiểu chi tiết vận hành nhỏ mà một mô hình không có thẻ sẽ khiến bạn phải tự đoán.

ZwZ2-9B mang đến những gì

Một config.json, một tokenizer_config.json, một mẫu chat và 18,8 GB trọng số. Không có README, không có trường giấy phép, không có thẻ pipeline và không có tập dữ liệu. The Hub báo cáo không có lượt tải xuống và hai lượt thích, và không có bộ sưu tập inclusionAI nào chứa nó.

Reading the files does yield real information, and it is worth doing before dismissing the checkpoint. The chat template injects a default system prompt when a request arrives without one, and it defaults to not reasoning — it emits an empty <think></think> block unless a caller explicitly asks for thinking, which is the opposite of what its Qwen3.5-9B parent does. The config carries a 27-layer vision tower and a video processor accepting up to 768 frames at 2 frames per second. The parameters are 9,409,813,744 across 760 tensors, all bfloat16.

Điều mà không có thông tin nào trong số đó cho bạn biết là mô hình giỏi ở điểm gì, nó được huấn luyện trên dữ liệu nào, liệu nó là mô hình instruction hay thứ gì đó khác, hay bạn được phép sử dụng nó theo những điều khoản nào. MathForm-8B trả lời cả bốn câu hỏi này ngay trong màn hình đầu tiên của nó. ZwZ2-9B không trả lời câu nào trong số đó ở bất cứ đâu.

Con số 4.096 được dùng chung không phải là sự trùng hợp ngẫu nhiên, và nó cũng không phải là một lối tắt.

Cả hai mô hình đều dùng một phần thân rộng 4.096 với kích thước trung gian 12.288, và lý do giống nhau trong cả hai trường hợp: một thế hệ Qwen cỡ đó. Qwen3-8B và Qwen3.5-9B là những thiết kế khác nhau — chú ý đầy đủ xuyên suốt so với tỉ lệ ba-một giữa chú ý tuyến tính và chú ý đầy đủ — nhưng cả hai đều được xây trên cùng một độ rộng, vì đó là những gì một Qwen nhỏ phải có. Việc chứng kiến một bản fine-tune thừa hưởng mọi chiều kích từ mô hình gốc là bằng chứng rõ ràng nhất hiện có rằng các bản fine-tune thừa hưởng toàn bộ thuộc tính của mô hình gốc: cả điểm mạnh lẫn các kiểu thất bại, chứ không chỉ hình dạng. MathForm-8B cho bạn biết nó đến từ mô hình gốc nào, nên bạn có thể đi đọc về nó. ZwZ2-9B thì không, và thẻ Hub là manh mối duy nhất dẫn ngược trở lại.

Cái nào bạn thực sự cần

Đây không phải là những thứ thay thế, và mức trùng lặp gần như bằng không. MathForm-8B chỉ làm một việc: nó biến một phát biểu toán học bằng ngôn ngữ tự nhiên thành Lean 4 biên dịch được. Toàn bộ bộ máy đánh giá của nó, kể cả yêu cầu về một máy chủ Lean đang chạy, đều được xây dựng xoay quanh việc đó. Nếu đó là vấn đề của bạn thì đây là một câu trả lời mạnh mẽ, có tài liệu đầy đủ, theo Apache-2.0, với công cụ có thể tái lập, và con số nhất quán 72.37 là mốc cần vượt qua — nhất quán, không phải cú pháp, bởi vì một bản hình thức hóa biên dịch được nhưng lại mang ý nghĩa khác là một lỗi khiến bạn tốn kém hơn cả một lần biên dịch thất bại.

ZwZ2-9B là một mô hình thị giác - ngôn ngữ tổng quát. Nó chưa từng được đánh giá về autoformalisation, không có gì đáng nói về các cân nhắc tokenizer cho Lean, và được công bố bởi một phòng thí nghiệm mà công trình trước đó của họ xoay quanh nhận thức thị giác ở mức độ chi tiết. Đừng đi tìm điểm số của ZwZ2-9B trên một bộ chuẩn đánh giá Lean; chẳng có lý do gì để tồn tại một điểm như vậy.

Câu hỏi thực sự là liệu bạn có muốn một mô hình chuyên biệt hay một mô hình tổng quát hay không. Mô hình chuyên biệt giỏi hơn ở công việc duy nhất của nó và vô dụng ngoài công việc đó. Mô hình tổng quát kém hơn ở mọi thứ cụ thể và là lựa chọn duy nhất khi hình dạng đầu vào thay đổi. Lý do khiến sự so sánh này lệch hẳn về một phía không phải là khoảng cách tám tuần giữa chúng hay hàng tỷ tham số — mà là một trong hai được công bố kèm tài liệu mà một mô hình chuyên biệt cần, còn cái kia được công bố như một điểm khởi đầu cho công việc của người khác.

Nếu bạn muốn có cả hai khả năng trong cùng một pipeline

Có một mô hình thực sự nơi hai chế độ này gặp nhau: một mô hình tổng quát đọc một tài liệu mơ hồ, trích xuất tuyên bố toán học, chuyển nó cho một bộ chính thức hóa, và một bộ kiểm tra quyết định liệu kết quả có đứng vững hay không. Đó là ba lời gọi mô hình với các vai trò khác nhau, và đó là hình dạng mà một lớp định tuyến tồn tại để làm cho rẻ — DSL định tuyến của OrcaRouter kết hợp nhiều mô hình thành một lời gọi duy nhất để một lần phân nhánh và một lần theo sau là một yêu cầu duy nhất thay vì một dịch vụ điều phối mà bạn phải duy trì. Hợp nhất mô hình, nơi một hội đồng các mô hình cùng trả lời và một giám khảo chọn phản hồi mạnh nhất, là cùng một ý tưởng được áp dụng cho một câu hỏi khó duy nhất thay vì cho một pipeline.

Cả ZwZ2-9B lẫn MathForm-8B đều không có trong danh mục của chúng tôi, và chúng tôi sẽ không tô vẽ điều đó: MathForm-8B có thể tải xuống theo Apache-2.0 và có thể phục vụ từ instance vLLM hoặc SGLang của riêng bạn, còn ZwZ2-9B là một repository không có endpoint nào cả. Thứ có thể định tuyến ngày hôm nay từ phía reasoning của pipeline đó là qwen/qwen3.8-27b — mẫu dense flagship thế hệ hiện tại của Qwen, Apache-2.0, với ngữ cảnh 262K token và mức trần hosted 1M token ở mức $0.33 trên mỗi triệu token đầu vào và $2.40 trên mỗi triệu token đầu ra, được chuyển qua ở giá niêm yết của nhà cung cấp mà không cộng thêm gì.

Sự bất đối xứng đáng giá bao nhiêu

MathForm-8B là mô hình đáng viết hơn, vì có thứ để kiểm chứng. ZwZ2-9B là hiện vật thú vị hơn, vì một checkpoint 9,4B với chat template đã được tinh chỉnh và prediction head bị lược bỏ là bằng chứng rằng ai đó đã làm việc thực sự — và vì inclusionAI có thành tích với cái tên ZwZ khiến bài đăng tiếp theo đáng để theo dõi.

Với bất kỳ ai đang phải quyết định ngay hôm nay, quy tắc này chẳng có gì hào nhoáng. Một bài báo đã công bố, một tập dữ liệu, một mô hình nền được nêu tên và một giấy phép được ghi rõ không phải là thủ tục giấy tờ. Chúng là sự khác biệt giữa một mô hình mà bạn có thể lập kế hoạch dựa trên và một mô hình mà bạn phải dịch ngược, và dù kiến trúc có thú vị đến đâu cũng không thu hẹp được khoảng cách đó.

Một kết quả như thế này cũng là lời nhắc rằng những sai sót của mô hình đã được ghi nhận: các sự cố AI và lỗi tác nhân đằng sau các mô hình thuộc lớp này được thu thập trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.