HiRO-ACEv2 so với MathForm 8B: Hai mô hình hẹp, hai kiểu chân lý nền tảng

Cả HiRO-ACEv2 lẫn MathForm-8B đều không cố trở thành một mô hình tổng quát, và cả hai đều được xây dựng bởi những nhóm đã quyết định rằng bài toán thú vị hẹp hơn một chatbot. HiRO-ACEv2 là mô hình giả lập khí hậu thế hệ thứ hai của Ai2, được đăng lên Hugging Face vào ngày 12 tháng 10 năm 2026 dưới dạng kho lưu trữ 10,9 GB mà không có thông báo, cùng với một bản tiền in có ngày hôm sau. MathForm-8B là mô hình tự động hình thức hóa của OpenBMB, được tạo vào ngày 14 tháng 8 năm 2026 trên nền tảng Qwen3-8B, chuyển toán học ngôn ngữ tự nhiên thành các phát biểu Lean 4. Một mô hình tạo ra khí quyển dạng lưới 3 km; mô hình kia tạo ra một nghĩa vụ chứng minh hình thức. Lý do để so sánh chúng không phải là năng lực — chúng không có mục đích sử dụng nào trùng nhau — mà là điều mà cả hai đều tuyên bố, thứ hóa ra lại có ý nghĩa rất khác trong mỗi trường hợp: rằng một cỗ máy có thể biết liệu đầu ra có đúng hay không.

Mỗi mô hình thực sự phát ra gì

HiRO-ACEv2 vận hành một quy trình hai giai đoạn. Một bộ mô phỏng tự hồi quy tạo ra X-SHIELD, mô hình giải quyết bão toàn cầu, được làm thô về 100 km; sau đó một mô hình khuếch tán được huấn luyện riêng sẽ hạ tỷ lệ trạng thái thô đó xuống 3 km, tạo ra tốc độ mưa bề mặt trung bình sáu giờ một lần, gió đông và gió bắc 10 mét tức thời, và áp suất mực nước biển. Kho lưu trữ chứa mô hình hạ tỷ lệ dưới dạng HiROv2.ckpt khoảng 1,28 GiB và bộ mô phỏng thô dưới dạng ACE2S-X-SHIELD.ckpt khoảng 2,98 GiB, cùng với mười năm dữ liệu cưỡng bức NetCDF, hai tệp điều kiện ban đầu và các cấu hình YAML gắn kết chúng với nhau.

MathForm-8B phát ra văn bản, nhưng là một loại rất đặc thù: một phát biểu định lý Lean 4. Thẻ mô tả nó như một mô hình autoformalization được huấn luyện trên bộ dữ liệu FormalVerse của OpenBMB, trước hết bằng tinh chỉnh có giám sát và sau đó bằng học tăng cường với phần thưởng đến từ việc biên dịch Lean và phản hồi về tính nhất quán ngữ nghĩa. Đây là mô hình dense 8B, giấy phép Apache 2.0, và nó thừa hưởng quy mô từ mô hình nền — Qwen3-8B — chứ không phải từ bất kỳ con số tham số được công bố nào của riêng nó. Các thiết lập sinh được khuyến nghị là temperature 0,6, top-p 0,95 và 16.384 token mới, trên máy chủ Transformers, vLLM hoặc SGLang; đánh giá cần một Kimina Lean Server đang chạy và Lean 4.21.0.

Cả hai đều hẹp theo thiết kế. Đó là điểm tương đồng thực sự đầu tiên, và cũng là chỗ mà những điểm tương đồng phần lớn dừng lại.

Hai kiểu kiểm tra, và vì sao chỉ một trong số chúng mới giải quyết được một cuộc tranh luận

Phía Lean có một bộ kiểm chứng mang tính quyết định. Một phát biểu định lý hoặc biên dịch được dưới Lean 4, hoặc không, và trình kiểm tra kiểu là một phép tính cố định — nó không có ngày tốt ngày xấu, và không cần được hiệu chỉnh. Đó là lý do vòng huấn luyện của MathForm-8B có thể dùng việc biên dịch làm tín hiệu phần thưởng. Các số liệu đã công bố là tỷ lệ Pass@8 dưới hai chế độ, kiểm tra cú pháp và kiểm tra tính nhất quán, được đánh giá trên sáu benchmark; con số kiểm tra cú pháp ở mức 88,06% và con số kiểm tra tính nhất quán ở mức 72,37%. Đó là các con số của chính tác giả, không được tái lập ở đây, và khoảng cách mười sáu điểm giữa chúng là điều giàu thông tin nhất trên card: một phát biểu biên dịch được không đồng nghĩa với một phát biểu nói đúng điều mà đề bài gốc muốn nói.

Phía khí hậu không có trình xác minh như vậy. Thẻ mô hình của HiRO-ACEv2 không chứa bảng đánh giá chuẩn nào. Tuyên bố định lượng duy nhất của nó là bộ giảm quy mô tái tạo các phân bố lượng mưa, gió 10 mét và áp suất mực nước biển tham chiếu đến tận phân vị thứ 99.9999, và rằng nó nhìn chung tuân theo phân bố cường độ xoáy thuận nhiệt đới tham chiếu. Bài báo nói thêm rằng chi phí suy luận thấp hơn hơn 300 lần so với một mô hình số toàn cầu phân giải bão thông thường.

Mỗi một trong số đó là một khẳng định về phân phối so với một tham chiếu, chứ không phải một phép kiểm tra đạt/không đạt dựa trên một hệ tính toán. Sự phân biệt đó quyết định mỗi khẳng định tồn tại được bao lâu mà không bị phản bác. Bạn có thể bác bỏ con số MathForm-8B bằng cách chạy mô hình đối chiếu với các benchmark bằng một máy chủ Lean và một GPU. Việc bác bỏ con số HiRO-ACEv2 đòi hỏi một bộ dữ liệu forcing mười năm, một mô phỏng tham chiếu để so sánh, và một nhà phân tích sẵn sàng làm việc ở phần đuôi cực trị. Việc thứ nhất là công việc một tuần của một nghiên cứu sinh. Việc thứ hai là một bài báo.

Những gì các nhà cung cấp sẽ nói và sẽ không nói với bạn

Hai thẻ mô hình có tính khí trái ngược nhau, và đọc chúng cạnh nhau sẽ rất hữu ích để hiểu một thẻ dùng để làm gì.

Thẻ của OpenBMB là một bảng tuyên bố kèm phần hạn chế. Nó đưa ra ngữ liệu huấn luyện, cấu trúc phần thưởng, các tham số lấy mẫu được khuyến nghị, phiên bản Lean chính xác và một hình báo cáo Pass@8 trên sáu bộ đánh giá — mặc dù đáng chú ý là các con số nằm trong một hình ảnh chứ không phải trong văn bản, nên bất kỳ ai thu thập trang này bằng chương trình sẽ thấy phương pháp được mô tả cẩn thận còn kết quả thì hoàn toàn không. Điều mà nó không cung cấp là ngày phát hành; tín hiệu ngày duy nhất ở bất cứ đâu trong siêu dữ liệu là mã định danh arXiv 2608.14221 và dấu thời gian tạo của kho lưu trữ là ngày 14 tháng 8 năm 2026.

Model card của Ai2 về cơ bản là một danh sách các ràng buộc. Chín năm dữ liệu huấn luyện, từ 2014 đến 2022, cho cả hai checkpoint. Đầu ra tái tạo X-SHIELD thay vì các quan trắc, nên chúng mang thiên lệch của mô phỏng tham chiếu. Không kỳ vọng về khả năng tổng quát hóa ngoài các điều kiện cưỡng bức huấn luyện — một điểm mà bài báo v2 nhấn mạnh khi lưu ý rằng khuôn khổ này chưa được kiểm nghiệm ngoài phạm vi từ 66°S đến 70°N và không thể chạy vượt quá 88°S hoặc 88°N. Sự gián đoạn do chồng lấn bản vá ở các vùng lớn hơn ô huấn luyện 16x16 ở độ phân giải một độ. Một ghi chú rằng checkpoint ACE2S-X-SHIELD đi kèm được kiểm nghiệm ít nghiêm ngặt hơn so với dòng ACE2-ERA5 trước đó, và rằng nó không dành cho dự báo thời tiết. Và một giấy phép — Apache 2.0 — kèm theo Hướng dẫn Sử dụng Có trách nhiệm của Ai2 và định hướng nghiên cứu và giáo dục.

Một thẻ cho bạn biết mô hình đạt điểm bao nhiêu. Thẻ còn lại cho bạn biết nó không thể làm gì. Cả hai đều không giấu giếm điều gì, và một người đọc nhầm thẻ thứ hai là một bản phát hành yếu hơn thì đã hiểu sai mục đích của những tạo tác này.

Phần thực sự có thể so sánh được: một fork đáng giá bao nhiêu

Đây là trục duy nhất mà hai bản phát hành có thể được đo theo cùng một cách, và nó đi theo hai hướng ngược nhau.

• Nguồn gốc của backbone — MathForm-8B là bản fine-tune toàn phần của Qwen3-8B, nên phả hệ của nó được ghi lại trong metadata của Hugging Face và tổ tiên của nó là một mô hình mở được triển khai rộng rãi; các thành phần của HiRO-ACEv2 được huấn luyện trong pipeline riêng của Ai2, với dữ liệu huấn luyện được ghi công cho X-SHIELD, do GFDL cung cấp, và không có checkpoint mở thượng nguồn nào bên dưới.

• Có bao nhiêu runtime có thể tải nó — MathForm-8B chạy trên Transformers, vLLM hoặc SGLang, và cộng đồng đã tạo ra các bản lượng tử hóa GGUF và MLX cho llama.cpp và Apple silicon; HiRO-ACEv2 chạy thông qua fme của Ai2, một gói Python với các cấu hình trỏ đến kho lưu trữ ai2cm/ace, và không có đường thay thế nào.

• Hệ sinh thái đã chuyển động nhanh đến mức nào — chỉ trong vòng bốn ngày kể từ khi kho lưu trữ của MathForm-8B xuất hiện, các bản dựng GGUF do cộng đồng thực hiện đã có mặt trực tuyến, và các bản chuyển đổi MLX 4-bit, 6-bit cùng 8-bit cũng ra đời trong vòng hai tuần sau đó; kho lưu trữ của HiRO-ACEv2 chỉ có một lượt thích và không có lượt tải xuống nào, hai ngày sau commit cuối cùng của nó.

• Chi phí để bạn có được các trọng số — MathForm-8B tải xuống dưới dạng một checkpoint mô hình thông thường và lượng tử hóa xuống để chạy trên phần cứng tiêu dùng; HiRO-ACEv2 là kho lưu trữ 10,9 GB, phần lớn trong đó là dữ liệu forcing và điều kiện ban đầu chứ không phải trọng số, và nó không hề thu nhỏ lại.

Quy luật là một mô hình ngôn ngữ chuyên biệt cho ứng dụng thừa hưởng một hệ sinh thái từ backbone của nó, còn một trình mô phỏng vật lý chuyên biệt cho ứng dụng thì không thừa hưởng gì cả. Với MathForm-8B, công việc làm cho nó chạy được phần lớn đã được thực hiện trước khi nó ra đời. Với HiRO-ACEv2, nó bắt đầu từ README.

Nơi một lớp định tuyến phù hợp, và nơi nó không phù hợp

Câu trả lời trung thực ở đây là không cân xứng, và đáng để nói thẳng ra thay vì úp mở ngang nhau về cả hai mô hình. Bản thân MathForm-8B không nằm trong danh mục của chúng tôi — checkpoint đã tinh chỉnh đến từ chính bản phân phối của OpenBMB và cần chạy trên máy chủ của bạn, bên cạnh bản cài đặt Lean mà nó gọi tới. "Tổ tiên" của nó cũng không có trong danh mục của chúng tôi, điều này đáng nói vì giả định thường đi theo hướng ngược lại: checkpoint Qwen3-8B cụ thể mà nó được tinh chỉnh từ đó là bản phát hành năm 2025 và không nằm trong số các mã Qwen mà chúng tôi phục vụ. Điều chúng tôi định tuyến là thế hệ Qwen hiện tại xung quanh nó — các bậc Qwen3.8 và Qwen3.5, cùng với checkpoint Qwen3-VL-8B-Instruct có chung quy mô 8B và cùng dòng họ, với mức 0,18 USD cho mỗi triệu token đầu vào và 0,70 USD cho mỗi triệu token đầu ra trong ngữ cảnh 131.072 token.

Đó chính là lớp mà một pipeline hình thức hóa thực sự cần. Chia một cuốn sách giáo khoa thành các phát biểu ứng viên, trích xuất định lý phi hình thức ra khỏi một bài báo trước khi nó được đưa vào bộ tự động hình thức hóa, hay biến một thông báo lỗi Lean thành một chẩn đoán đều là những lệnh gọi mô hình ngôn ngữ thông thường, và chúng có thể chạy qua cùng một khóa như mọi thứ khác. HiRO-ACEv2 không thể định tuyến được và sẽ không bao giờ như vậy ở dạng hiện tại, vì không có yêu cầu nào được đo đếm bằng token để định tuyến — 10,9 gigabyte checkpoint cùng một script shell không phải là một endpoint.

Một khóa duy nhất dùng cho hơn hai trăm mô hình được định tuyến mang lại cho bạn điều gì, trong một pipeline được xây dựng xoay quanh một trong hai lựa chọn này, là công việc xung quanh trở thành một lệnh gọi thay vì cả một dự án: giá niêm yết của nhà cung cấp được chuyển nguyên vẹn mà không cộng thêm phụ phí, việc chuyển đổi dự phòng giữa các nhà cung cấp diễn ra tự động, và một script điều khiển một ensemble hay một lượt chạy hình thức hóa không cần đến hợp đồng nhà cung cấp thứ hai để tóm tắt đầu ra của chính nó.

Những điều cần chú ý ở cả hai phía

Trên phía Lean, một con số đáng kể sẽ là sự tái lập độc lập các con số 88.06 và 72.37 bởi một nhóm không có lợi ích gắn với công thức huấn luyện, lý tưởng nhất là được tách riêng theo từng benchmark thay vì lấy trung bình thành một Pass@8 duy nhất — bởi các thất bại autoformalization tập trung theo lĩnh vực toán học, và giá trị trung bình che mất đúng mô thức mà người thực hành cần. Ở phía khí hậu, một con số đáng kể sẽ là so sánh với một mô hình số phân giải bão chạy trên cùng phần cứng, do người khác không phải các tác giả của emulator thực hiện, vì tuyên bố suy luận nhanh gấp 300 lần chính là điều quyết định liệu kỹ thuật này có được ứng dụng trong vận hành hay không.

Cho đến lúc đó, cả hai mô hình tốt nhất nên được đọc theo cách mà chính các model card của chúng mời gọi. MathForm-8B là một autoformalizer mạnh mẽ với một trình biên dịch đứng sau đầu ra của nó, và câu hỏi thú vị về nó là việc câu lệnh sau biên dịch nói đúng điều cần nói thay vì chỉ đơn thuần là đúng sẽ xảy ra thường xuyên đến mức nào. HiRO-ACEv2 là một trình giả lập nghiên cứu vừa mới bổ sung gió và khí áp vào thứ trước đây vốn chỉ là đầu ra chỉ có giáng thủy, và câu hỏi thú vị là liệu các trường được thêm vào có nhất quán về mặt vật lý với giáng thủy mà chúng xuất kèm hay không — một điều mà không bảng benchmark nào có thể nói cho bạn biết, kể cả nếu có một bảng như vậy tồn tại.

Những so sánh như thế này cũng là nơi các kiểu lỗi lộ diện: những sự cố AI được ghi nhận và các lỗi của agent đằng sau những mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.