AlphaProof Code vs MathForm-8B: Hai giai đoạn của cùng một quy trình Lean, không phải hai đối thủ

Đọc kỹ bài báo AlphaProof Code và một con số nổi bật mà thông báo không nhấn mạnh: trong bốn tuần mà năm nhà nghiên cứu của DeepMind dành để xác minh Signal, phần không thể tự động hóa lại là khâu đầu tiên. Các chuyên gia con người đã làm việc với một hỗn hợp mô hình để dịch các mục tiêu bảo mật của Signal thành các đặc tả Lean hình thức, và một chuyên gia đã xem xét từng đặc tả trước khi bất kỳ công việc chứng minh nào bắt đầu. Đó chính là nút thắt. MathForm-8B, mô hình tự động hình thức hóa 8 tỷ tham số của OpenBMB được phát hành trên Hugging Face ngày 14 tháng 8 năm 2026, là một nỗ lực trực tiếp nhằm tự động hóa đúng bước đó — nhận một phát biểu toán học bằng ngôn ngữ tự nhiên và xuất ra một phát biểu định lý Lean 4 sẵn sàng để người khác chứng minh. Đặt chúng cạnh nhau, bạn không phải đang so sánh hai sản phẩm. Bạn đang nhìn vào hai giai đoạn liên tiếp của cùng một pipeline, được phân tách bởi sự khác biệt giữa toán học và bảo mật giao thức.

Quy trình, theo thứ tự công việc diễn ra

Xác minh hình thức phần mềm thực tế có ba nhiệm vụ. Thứ nhất, quyết định điều gì phải đúng và viết nó ra bằng một ngôn ngữ hình thức. Thứ hai, chứng minh rằng bản triển khai thỏa mãn điều đó. Thứ ba, kiểm tra các chứng minh một cách máy móc, vì một chứng minh sai còn tệ hơn không có chứng minh nào.

MathForm-8B thực hiện nhiệm vụ thứ nhất, cho một lớp đầu vào hẹp: các phát biểu toán học kiểu sách giáo khoa. Đưa cho nó "với mọi số thực x, x² là không âm" và nó trả về các import, các kiểu và phần đầu định lý trong Lean 4. Thứ nó không trả về là một chứng minh, và các tác giả của nó nói rõ rằng việc tìm kiếm chứng minh là vấn đề của người khác. Các con số được báo cáo của nó, đều do nhà cung cấp báo cáo và chưa được tái lập, là 88,06% Pass@8 trung bình dưới kiểm tra cú pháp và 72,37% dưới kiểm tra nhất quán chặt chẽ hơn trên sáu benchmark — khoảng cách giữa hai con số đó là thước đo trung thực về tần suất một phát biểu hợp lệ về mặt cú pháp lại mang ý nghĩa khác với điều đã được hỏi.

AlphaProof Code thực hiện các công việc hai và ba, cùng với một giai đoạn đặc tả mà MathForm-8B không thể chạm tới. Các mục tiêu bảo mật của Signal không phải là những khẳng định toán học theo nghĩa mà MathForm được huấn luyện; chúng là những phát biểu về một giao thức — rằng tin nhắn vẫn được bảo vệ trước và sau khi một thiết bị tạm thời bị xâm phạm, rằng bên khởi tạo và bên phản hồi đúng là danh tính mà họ tuyên bố. Việc chuyển những điều đó sang Lean đòi hỏi chuyên môn về giao thức mà không một bộ tự động hình thức hóa 8B nào có được. Khi đặc tả đã có, công việc chứng minh được giao hoàn toàn cho các tác tử, và việc kiểm tra được giao cho kernel của Lean cùng một tác tử gác cổng sử dụng bộ so sánh để đối chiếu với một bản sao đặc tả được giữ riêng.

Chi phí thực tế để bạn sử dụng từng cái là bao nhiêu

• Trọng số — MathForm-8B: có thể tải xuống, Apache 2.0, bốn shard safetensors ở BF16, được tinh chỉnh từ Qwen3-8B. AlphaProof Code: không có. Bản phát hành là một phát triển bằng Lean, một ngữ nghĩa AArch64 và một binding libsignal tại github.com/google-deepmind/code-verification.

• Cách chạy nó — MathForm-8B: Transformers, vLLM hoặc SGLang, tất cả đều cung cấp endpoint tương thích OpenAI, trên phần cứng bạn sở hữu. AlphaProof Code: không endpoint, không API, không danh sách chờ, không giá; đây là một framework nghiên cứu mà DeepMind nói cần “nghiên cứu tiếp tục” trước khi nó mở rộng quy mô.

• Đầu vào — MathForm-8B: một phát biểu toán học bằng ngôn ngữ tự nhiên. AlphaProof Code: một đặc tả hình thức cùng với tệp nhị phân mà bạn muốn chứng minh dựa trên đặc tả đó.

• Đầu ra — MathForm-8B: một phát biểu định lý Lean 4, chưa được chứng minh. AlphaProof Code: một chứng minh được kiểm tra bằng máy, hoặc một phản chứng khi mã bị lỗi.

• Đánh giá của con người — MathForm-8B: bạn đánh giá câu lệnh được phát ra, và với độ nhất quán 72,37%, bạn sẽ phải đánh giá rất nhiều câu trong số đó. AlphaProof Code: các chuyên gia đánh giá mọi đặc tả trước khi công việc chứng minh bắt đầu, sau đó các tác nhân đánh dấu khoảng 1% cơ sở mã để xem xét lần hai.

• Các giới hạn đã biết — MathForm-8B: chỉ dành cho các phát biểu toán học, không tạo chứng minh, và kho mã nguồn được liên kết trong README của nó vẫn chỉ là phần giữ chỗ vào thời điểm phát hành. AlphaProof Code: không có bảo đảm hậu lượng tử cho việc khôi phục SPQR, không có quyền riêng tư cho payload, một phiên cho mỗi lần thăng cấp, và một cận giả mạo MAC trở nên vô nghĩa gần 25.000 thông điệp trong một phiên.

Khoảng cách mà MathForm-8B sẽ phải thu hẹp

Thật dễ nghĩ rằng một bộ tự động hình thức hóa lẽ ra đã có thể viết ra các đặc tả của Signal và giúp các nhà nghiên cứu tiết kiệm những tuần phải dồn sức làm trước. Nhưng chính bài báo lại kể một câu chuyện khác, và lý do thì rất cụ thể. Đặc tả một giao thức không phải là việc phát biểu lại một khẳng định; đó là lựa chọn về mô hình đối thủ. Công trình Signal gồm một tuyến tượng trưng trong Dolev–Yao với kẻ tấn công lượng tử phá được Diffie–Hellman sau bắt tay, và một tuyến tính toán với các đối thủ cổ điển cùng một cận cụ thể. Hai tuyến này phát biểu những định lý khác nhau về cùng một đoạn mã, và việc chọn giữa chúng là một quyết định kỹ thuật có hệ quả về bảo mật. Không một mô hình nào được huấn luyện để biến “chứng minh rằng x² ≥ 0” thành Lean lại sẽ đưa ra lựa chọn đó.

Một bộ tự động hình thức hóa có thể làm một cách hợp lý là phần cơ học của công việc đó: cho trước một mục tiêu bảo mật dạng văn xuôi và một thư viện các định nghĩa Lean hiện có, tạo ra bản nháp đầu tiên của phát biểu theo đúng ngôn ngữ đặc thù của dự án, để chuyên gia chỉnh sửa. Đó là một khoản tiết kiệm thực sự, nhưng nhỏ hơn nhiều so với những gì tiêu đề gợi ý. Bài báo báo cáo một danh mục sai lệch đặc tả gồm hơn 200 mục tính toán và khoảng 35 mục ký hiệu — mười lăm trong số đó là lỗ hổng hoặc lỗi trong phân tích Double Ratchet — đúng những gì bước rà soát của con người đã tìm ra. Một mô hình soạn thảo các phát biểu sẽ phải được đánh giá dựa trên danh mục đó, chứ không phải dựa trên điểm Pass@8 trên các bộ chuẩn toán học.

Khi hai con số hoàn toàn không thể so sánh được với nhau

88,06% của MathForm-8B và 6,5 triệu dòng của AlphaProof Code đo lường những thứ khác nhau và không bao giờ nên được đặt trong cùng một cột. Một bên là tỷ lệ đạt trên một bộ benchmark do chính các tác giả xây dựng; bên kia là số lượng chứng minh được tạo ra cho một mục tiêu. Nhà cung cấp thẳng thắn thừa nhận rằng con số 88,06% sử dụng kiểm tra cú pháp, vốn là một tiêu chí yếu — một phát biểu có thể biên dịch được mà vẫn hình thức hóa sai mệnh đề, đó là lý do tại sao chỉ số nhất quán thấp hơn 16 điểm.

Con số của AlphaProof Code với hương vị tương đương là công việc kiểm chứng: hai lỗi Signal đã được sửa trước đó, một lỗi trạng thái yếu và một lỗi nhóm con nhỏ, đã được đưa trở lại vào một bản sao biệt lập, và trong cả hai trường hợp, hệ thống đã tạo ra một chứng minh được máy kiểm tra rằng phiên bản có lỗi không thỏa mãn định lý bảo mật. Đó là một kiểm thử âm, và kiểm thử âm là thứ mà một benchmark autoformalizer đang thiếu hoàn toàn. MathForm-8B không báo cáo kết quả nào có dạng "với một phát biểu cố ý sai, mô hình đã nói như vậy."

Bạn sẽ thực sự sử dụng chúng cùng nhau như thế nào

Cụ thể là, và đây là phần duy nhất của so sánh có lộ trình ngắn hạn: dùng autoformalizer để phác thảo, một mô hình tổng quát mạnh để phê bình bản nháp, và một proof agent để thử chứng minh. Mỗi giai đoạn có một chế độ lỗi khác nhau, và định tuyến cả ba qua một khóa là tiện lợi thực tế. Trên OrcaRouter, hơn 200 mô hình nằm sau một API duy nhất với giá niêm yết của nhà cung cấp và markup 0%, vì vậy một vòng lặp phác thảo đặc tả gửi cùng một câu lệnh đến hai mô hình và so sánh khác biệt Lean của chúng là một lệnh gọi routing-DSL thay vì ba hợp đồng và ba SDK. Cơ chế chuyển đổi dự phòng tự động bao trùm trường hợp mô hình bạn chọn đang có một buổi chiều không may.

Điều mà không thứ nào trong số đó cung cấp là sự bảo đảm. MathForm-8B cho bạn một phát biểu, các mô hình cho bạn một lời phê bình, và vẫn phải có thứ gì đó chứng minh nó. Hiện tại, hệ thống được công bố duy nhất khép kín vòng lặp đó trên mã đã triển khai thực tế là AlphaProof Code, và nó không được bán.

Lý do nên đọc cả hai bài báo thay vì chọn ra một bài thắng cuộc

MathForm-8B là một sản phẩm hữu ích với công việc hẹp và trần độ chính xác thực tế đã được đo lường. AlphaProof Code là một minh chứng quy trình mà phát hiện dễ chuyển giao nhất không phải là khối lượng chứng minh mà là sự phân tách: công việc đặc tả cần con người và một mô hình tổng quát mạnh, công việc chứng minh cần các nhóm tác tử và một kernel, và ranh giới giữa chúng là nơi chứa đựng mọi khó khăn. Bất kỳ ai xây dựng quy trình xác minh đều nên xem trọng sự phân tách này và coi tự động hóa hình thức hóa là phần làm giảm chi phí của giai đoạn đầu — không phải phần thay thế nó.

Bản tóm tắt trung thực dành cho một nhóm đang quyết định xem tháng này nên tải gì: MathForm-8B, có, nếu bạn làm việc với Lean và muốn có một công cụ hỗ trợ soạn thảo. AlphaProof Code, hãy đọc kho lưu trữ artifact và danh mục sai lệch đặc tả, vì danh mục đó cho bạn biết nhiều hơn về những gì mà xác minh hình thức mã production vẫn chưa thể vươn tới, hơn là bất kỳ thông báo nào.