Một thẻ tiêu đề được tạo tự động ghi 'AREX-2 vs MathForm-8B - Hai cách để được kiểm tra', với hai bảng. Bảng bên trái, có tiêu đề MathForm-8B, liệt kê: 8B dense, phát hành tháng 8 năm 2026; viết các phát biểu định lý Lean 4; được kiểm tra bởi trình biên dịch Lean; Pass@8 88,06% đã kiểm tra cú pháp. Bảng bên phải, có tiêu đề AREX-2, liệt kê: repo được tạo ngày 29 tháng 9 năm 2026; không có tệp, không có thẻ; không có gì để tải xuống hay chạy; không có số liệu nào để kiểm tra. Phần chân trang ghi 'Một cái được chấm điểm bởi trình biên dịch. Cái còn lại chưa có gì để chấm.' Logo OrcaRouter được ghép vào góc dưới cùng bên phải.
Guides & Insights

AREX-2 so với MathForm-8B: Trình kiểm tra chứng minh và vòng lặp tìm kiếm là những kiểu xác minh khác nhau.

Tác giả

Gideon Frost

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

MathForm-8B và AREX-2 là hai mô hình có thể kiểm chứng một cách chặt chẽ nhất trong loạt bài này, và chúng kiểm chứng theo hai cách trái ngược nhau. MathForm-8B là công cụ tự động hình thức hóa 8 tỷ tham số của OpenBMB, ra mắt vào tháng 8 năm 2026: đưa cho nó một bài toán được viết bằng tiếng Anh thông thường và nó sẽ tạo ra một phát biểu Lean 4 đúng về mặt hình thức cho bài toán đó, rồi sau đó trình biên dịch của một trợ lý chứng minh sẽ kiểm tra phát biểu ấy. AREX-2 là một kho lưu trữ Hugging Face do BAAI tạo vào ngày 29 tháng 9 năm 2026 lúc 17:56 UTC, chỉ chứa một tệp .gitattributes và không có trọng số, không có thẻ mô hình, không có nhãn giấy phép và không có bất kỳ thông báo nào — một cái tên được giữ chỗ cho thế hệ thứ hai có khả năng ra đời của các tác nhân nghiên cứu sâu AREX thuộc BAAI, mà thế hệ đầu tiên tự kiểm chứng bằng cách đối chiếu lại câu trả lời của chính nó với những ràng buộc đã được đưa ra.

Vậy nên câu hỏi thú vị ở đây không phải là mô hình nào tốt hơn. Mà là việc một mô hình có thể kiểm chứng được thì có nghĩa là gì, bởi vì một trong hai cái này được kiểm tra bởi một trình biên dịch không quan tâm bất cứ ai tin điều gì, còn cái kia được kiểm tra, nếu tiền lệ của dòng mô hình đó vẫn giữ, bởi một vòng lặp do chính mô hình đó đang vận hành. Sự phân biệt ấy vẫn đứng vững ngay cả khi một bên của cuộc đối đầu chưa được phát hành, và đó là lý do hai thứ này lại thuộc về cùng một cuộc trò chuyện ngay từ đầu.

Mặt tồn tại, và lý do nó có thể kiểm chứng được

MathForm-8B có một mô tả công việc hẹp, và đáng nói chính xác điều đó vì chính sự hẹp này là mấu chốt. Nó không giải các bài toán và cũng không tuyên bố làm được điều đó. Nó được tinh chỉnh trên FormalVerse, một kho ngữ liệu gồm khoảng 367.000 ví dụ Lean 4 đã được xác minh, và phần thưởng huấn luyện của nó đến từ trình biên dịch Lean chứ không phải từ một mô hình sở thích của con người. Khi được đưa một phát biểu phi hình thức, nó xuất ra các import, kiểu và tiêu đề định lý — để ngỏ chính nghĩa vụ chứng minh — để trình biên dịch có thể xác nhận rằng bản hình thức hóa nói đúng điều mà bài toán phi hình thức đã nói.

Các con số được công bố của nó, đều do OpenBMB tự báo cáo và không có con số nào được tái lập độc lập, là mức Pass@8 trung bình 88,06% dưới một kiểm tra cú pháp và 72,37% dưới một kiểm tra tính nhất quán chặt chẽ hơn trên sáu bộ đánh giá, giảm xuống 63% và 37% trên các tập con khó nhất FATE-H và FATE-X. Hãy đọc chúng đúng như bản chất của chúng: một mô hình được đo lường đối chiếu với một hệ thống hình thức, nơi một câu trả lời sai là một lỗi không biên dịch được chứ không phải là một bất đồng về chất lượng. Đó là một thuộc tính hiếm có. Hầu hết các tuyên bố về bộ đánh giá trên blog này đều dựa vào một trình chấm điểm phải được tin tưởng; còn cái này dựa vào số học mà một cỗ máy thực hiện.

Phía chưa tồn tại, và vì sao việc xác minh nó lại khác biệt

Những sự thật duy nhất có thể xác nhận về AREX-2 là tổ chức, tên và dấu thời gian. Chưa có gì được tải lên và BAAI vẫn chưa nói gì. Tuy nhiên, dòng họ đằng sau cái tên này thực sự tồn tại, và nó đã ra mắt vào ngày 23 tháng 7 năm 2026 với tên AREX-Base — một mô hình hỗn hợp chuyên gia 122 tỷ tham số với 10 tỷ tham số hoạt động trên nền tảng Qwen3.5-122B-A10B — cùng với AREX-Turbo, một mô hình dense 4B. Cả hai đều theo Apache 2.0, cả hai đều là tác nhân chứ không phải mô hình trò chuyện.

Thiết kế AREX là một khung nghiên cứu hai vòng lặp, và vòng lặp ngoài là một bước xác minh. Một vòng lặp trong thu thập bằng chứng từ tìm kiếm và duyệt web, tích hợp chúng, và tạo ra một câu trả lời ứng viên kèm theo một chỉ số độ tin cậy. Vòng lặp ngoài sau đó kiểm tra ứng viên đó dựa trên các ràng buộc ban đầu và quyết định: chấp nhận, tinh chỉnh, hoặc loại bỏ quỹ đạo và bắt đầu lại. Giữa các lần lặp, mô hình duy trì một khối ngữ cảnh gồm các phát hiện đã xác minh, ứng viên đang mở, ràng buộc chưa giải quyết và kế hoạch tiếp theo, điều này cho phép nó theo đuổi một chuỗi điều tra dài mà không bị mất mạch. BAAI báo cáo 82.5 trên BrowseComp, 85.4 trên GAIA và 89.9 trên DeepSearch QA cho Base, và 70.7 / 81.6 / 78.5 cho Turbo — các số liệu của chính nhà cung cấp, chưa được tái lập.

Đó là một hình thức tự kiểm tra thực sự và hữu ích. Nó cũng yếu hơn một trình biên dịch về mặt bản chất. Khi vòng lặp ngoài của AREX quyết định rằng một câu trả lời thỏa mãn các ràng buộc của nó, phán quyết đến từ một mô hình ngôn ngữ đọc các ràng buộc. Khi Lean chấp nhận một bản hình thức hóa MathForm-8B, phán quyết đến từ một trình kiểm tra kiểu triển khai một phép tính cố định. Không cái nào trong hai cái đó miễn nhiễm sai sót — một bản hình thức hóa có thể là Lean hợp lệ nhưng lại nắm bắt sai định lý — nhưng chỉ một trong hai có thể sai mà không ai nhận ra, và sự khác biệt không phải là vấn đề mức độ.

• Tính khả dụng — MathForm-8B có thể tải xuống từ OpenBMB với một card đã được công bố. AREX-2 là một kho lưu trữ không có tệp nào trong đó.

• Tham số — 8B dense cho MathForm-8B. Không rõ đối với AREX-2; dòng sản phẩm này bao gồm một hỗn hợp chuyên gia 122B và một mô hình dense 4B.

• Nó tạo ra gì — Các phát biểu định lý Lean 4 cho MathForm-8B, với phần chứng minh được để ngỏ một cách có chủ đích. Không rõ đối với AREX-2; lần tạo sinh đầu tiên đã tạo ra một câu trả lời có tra cứu kèm một con số độ tin cậy.

• Cách nó được kiểm tra — trình biên dịch Lean, dành cho MathForm-8B. Một vòng lặp xác minh bên trong cùng một mô hình, dựa trên bằng chứng của AREX-Base.

• Giấy phép — Các điều khoản riêng của OpenBMB dành cho MathForm-8B; chưa công bố gì cho AREX-2. Thế hệ AREX đầu tiên là Apache 2.0.

• Số liệu nổi bật — 88,06% Pass@8 đã qua kiểm tra cú pháp và 72,37% đã qua kiểm tra tính nhất quán cho MathForm-8B, do nhà cung cấp báo cáo. Không có số liệu nào cho AREX-2.

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

Hai công việc mà một ngăn xếp có thể chứa cùng một lúc

Các mô hình này không chồng lấn về chức năng, và cần nói rõ điều đó trước khi bất cứ ai đọc một từ "versus" như thể đó là một lựa chọn. MathForm-8B là phần giao diện đầu vào cho một trợ lý chứng minh. Đầu ra của nó là một phát biểu định lý mà sau đó một nhà toán học hoặc một trình chứng minh tự động sẽ xử lý. Vị trí tự nhiên của nó là bên trong một quy trình xác minh dành cho toán học, các phương pháp hình thức hoặc công việc đặc tả, nơi giá trị nằm ở việc một công cụ ở hạ nguồn có thể dùng đầu ra mà không cần tin tưởng vào mô hình.

AREX-2, nếu nó tiếp nối dòng họ của mình, là một back-end cho những câu hỏi không có trình biên dịch. "Ba hồ sơ này, cái nào không nhất quán với hai cái còn lại" không có hệ thống hình thức nào để đối chiếu, và biện pháp bảo vệ duy nhất hiện có là thu thập thêm bằng chứng và xem xét lại lý luận của chính bạn — đó chính là vòng lặp ngoài của AREX. Một nhóm cần cả hai sẽ chạy chúng ở những nơi khác nhau: hình thức hóa cho phần của vấn đề có thể được hình thức hóa, và một tác nhân tìm kiếm-và-xác minh cho phần không thể.

Sự phân chia đó cũng chính là câu trả lời trung thực cho việc bạn có thể hành động dựa trên cái nào trong số này trong tuần này. MathForm-8B đã được phát hành, có tài liệu đầy đủ và có thể sử dụng ngay bây giờ. AREX-2 chỉ là một cái tên.

Câu chuyện định tuyến sẽ trông như thế nào khi xác minh là chủ đề

Vì hai thứ này được sử dụng rất khác nhau, câu hỏi về cơ sở hạ tầng cũng tách ra theo.

Đối với MathForm-8B, khối lượng công việc là một đợt bùng nổ gồm các lượt sinh ngắn, mang tính tất định mà đầu ra đi thẳng vào một trình biên dịch. Điều quan trọng là mô hình phải truy cập được và một cuộc gọi thất bại phải được thử lại, vì một pipeline hình thức hóa đánh rơi một yêu cầu trông giống hệt một pipeline hình thức hóa đã thất bại — và chỉ một trong hai điều đó là sự thật về mô hình. Chuyển đổi dự phòng tự động giữa các nhà cung cấp là tính năng cụ thể giúp phân biệt hai trường hợp đó. OrcaRouter hiện không cung cấp cả MathForm-8B lẫn AREX-2, nên trọng số OpenBMB đến từ bản phân phối của chính OpenBMB và bất kỳ endpoint được lưu trữ nào đều là của người khác; thứ chúng tôi cung cấp là phần định tuyến ở phía trước, với giá niêm yết của nhà cung cấp được chuyển nguyên và không cộng thêm gì trên mỗi token.

Đối với một agent như AREX-Base, hình dạng bài toán khó hơn và lý do để định tuyến mạnh hơn. Một quỹ đạo nghiên cứu sâu tạo ra hàng chục lệnh gọi model cho mỗi truy vấn, mỗi lệnh lại đọc lại một ngữ cảnh lớn dần khi bằng chứng tích lũy, và các kiểu thất bại thì cộng dồn: một nhà cung cấp bị timeout ở bước mười chín trong hai mươi lăm bước không làm câu trả lời kém đi, mà tạo ra một câu trả lời sai một cách đầy tự tin. Đó là lập luận cho việc đặt vòng lặp phía sau một API cho hơn 200 model với quy tắc chuyển đổi dự phòng quyết định tại thời điểm chạy, để một nhà cung cấp tồi duy nhất chỉ là một lần thử lại thay vì một trích dẫn tồi.

Điều duy nhất cần lưu ý, và điều duy nhất không nên giả định.

Ba dữ kiện sẽ trả lời phần lớn các câu hỏi còn bỏ ngỏ về AREX-2, và cả ba đều có thể quan sát được từ bên ngoài: liệu các tệp có xuất hiện trong kho lưu trữ đó hay không, thẻ khai báo số lượng tham số là bao nhiêu, và liệu nó có mang thẻ Apache 2.0 mà hai phiên bản tiền nhiệm của nó đã có hay không. Cho đến khi có những dữ kiện đó, tuyên bố duy nhất có thể biện minh được về AREX-2 là BAAI đã đăng ký tên này vào ngày 29 tháng 9 năm 2026 và chưa công bố bất cứ điều gì.

Điều không nên giả định là thế hệ thứ hai thừa hưởng hình dạng của thế hệ thứ nhất. Một "2" là tên sản phẩm, không phải là kiến trúc. Nó có thể lớn hơn 122B Base, hoặc có thể là một bản chưng cất nhỏ của cùng một framework — và vì dòng sản phẩm này đã ra mắt cả một phân khúc chất lượng lẫn một phân khúc chi phí phục vụ cùng một lúc, cả hai cách hiểu đều hợp lý. Điều không hợp lý, vào thời điểm này, là công bố một đặc tả cho nó.