Beam 1.0 vs MathForm 8B: Lỗi của một mô hình được trình biên dịch phát hiện

Yêu cầu MathForm 8B hình thức hóa một định lý và câu trả lời hoặc là một câu lệnh Lean 4 biên dịch được hoặc là một câu lệnh không biên dịch được. Yêu cầu Beam 1.0 sửa một lỗi và câu trả lời là một diff chạy được hoặc một diff không chạy được, và khoảng cách giữa hai điều đó chính là toàn bộ khác biệt giữa các mô hình này. MathForm 8B là mô hình tự động hình thức hóa 8,19 tỷ tham số của OpenBMB, được xây dựng trên Qwen3-8B của Alibaba và huấn luyện trên FormalVerse, một kho ngữ liệu gồm khoảng 367.000 ví dụ Lean 4 đã được kiểm chứng, thông qua tinh chỉnh có giám sát, sau đó là học tăng cường dựa trên phản hồi về biên dịch Lean và tính nhất quán ngữ nghĩa; mô hình được công bố vào ngày 14 tháng 8 năm 2026 theo giấy phép Apache 2.0. Beam 1.0 là mô hình mixture-of-experts thưa 501,3 tỷ tham số của Reflection với 23,4 tỷ tham số hoạt động trên mỗi token, được công bố vào ngày 5 tháng 10 năm 2026 và phát hành dưới dạng trọng số có thể tải xuống vào ngày 16 tháng 10 năm 2026, cũng theo giấy phép Apache 2.0. Tỷ lệ kích thước là 61 trên một và đó là con số ít thú vị nhất trên trang.

Điều thú vị là MathForm 8B tạo ra đầu ra mà một cỗ máy có thể phân xử mà không cần tin tưởng bất kỳ ai, còn Beam 1.0 thì không. Mọi thứ dưới đây đều suy ra từ đó.

Những gì mỗi mô hình được yêu cầu tạo ra

MathForm 8B chỉ có một hợp đồng đầu ra. Nó nhận một phát biểu toán học viết bằng văn xuôi thông thường và trả về một phát biểu Lean 4 — một phần tiêu đề, một định lý có tên, các giả thiết và mục tiêu. Quy trình huấn luyện được xây dựng xoay quanh dạng đó: truy xuất tri thức Mathlib để neo phát biểu vào các định nghĩa hiện có, biên dịch và xác minh ngữ nghĩa để loại bỏ các ứng viên tồi, tinh chỉnh lặp lại để sửa chữa chúng, rồi tái dựng quỹ đạo để biến các ví dụ sống sót thành dữ liệu huấn luyện. Bài báo báo cáo mô hình đạt trung bình 88,06% Pass@8 khi kiểm tra cú pháp và 72,37% khi kiểm tra tính nhất quán trên sáu bộ đánh giá. Đó là những con số của OpenBMB, chưa được ai khác tái lập, và nghiêng về các bộ dễ hơn trong đánh giá — nhưng chúng là những con số về một nhiệm vụ có đáp án đúng.

Beam 1.0 không có hợp đồng như vậy. Đây là một mô hình tổng quát: thẻ của nó mô tả mẫu trò chuyện, định dạng truyền tải kiểu Harmony với các kênh phân tích và kênh cuối, sáu mức nỗ lực suy luận ánh xạ tới ngân sách token là 8, 32, 64, 128, 256 và 512, cùng một quy ước gọi công cụ trong đó các hàm được khai báo dưới dạng TypeScript phẳng và được gọi trong phần thân XML. Đánh giá của nó bao gồm lập trình tác tử (SWE-bench Verified 81,6% trên BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), suy luận (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), sử dụng công cụ (MCP Atlas 80,8) và năng lực tổng quát (LongBench v2 67,5, IFBench 79,6). Mọi con số đều là của chính Reflection. Liệu mã nó viết có *đúng* hay không được xác lập bằng cách chạy nó, xem xét nó, hoặc phát hành nó rồi phát hiện ra.

Vậy thì: những thất bại của một mô hình tự lộ diện. Còn của mô hình kia là những lỗi phần mềm thông thường, đến muộn hơn, trong đánh giá hoặc trong vận hành, và trông giống như mọi lỗi khác mà bạn từng gặp.

Các chỉ số đo lường không trùng lặp, và đó chính là phát hiện.

Xếp hai tập đánh giá cạnh nhau và hầu như không có gì để trừ.

• Beam 1.0 được đánh giá dựa trên những gì — giải quyết vấn đề ở quy mô kho lưu trữ, tác vụ terminal, lập trình thi đấu, câu hỏi khoa học trình độ sau đại học, điều phối công cụ, khả năng ghi nhớ ngữ cảnh dài và tuân theo hướng dẫn.

• MathForm 8B được chấm điểm dựa trên những gì — độ chính xác hình thức hóa Pass@8 dưới một trình kiểm tra cú pháp và dưới một trình kiểm tra tính nhất quán ngữ nghĩa, trên sáu bộ đánh giá toán học, so với các đường cơ sở chuyên biệt 7B đến 32B của bài báo.

• Sự trùng lặp — gần như bằng không. Không có hàng nào mà cả hai mô hình cùng được một bên đo lường trên cùng một tác vụ, và sẽ không có, bởi vì một mô hình được đo lường về năng lực tổng quát còn mô hình kia về một phép biến đổi có thể kiểm chứng duy nhất.

• Chiều kích chung duy nhất thực sự tồn tại về mặt khái niệm — suy luận — lại được đo trên những nhóm đối tượng khác nhau. Điểm 90.6 của Beam 1.0 trên GPQA Diamond là điểm khoa học trắc nghiệm. Tỷ lệ nhất quán 72.37% của MathForm 8B là một phép kiểm tra hình thức hoá. Không cái nào dự đoán được cái còn lại.

Đây là lý do vì sao một so sánh kích thước ở đây sẽ gây hiểu nhầm, chứ không chỉ đơn thuần là một so sánh bất lợi. Beam 1.0 có kích thước gấp sáu mươi mốt lần mô hình, và nó hoàn toàn không thể làm được công việc của MathForm 8B nếu không được huấn luyện để làm việc đó — ràng buộc đầu ra hẹp đến mức năng lực tổng quát không thể thay thế cho nó. Một mô hình tổng quát 501B khi được yêu cầu tạo ra một định lý Lean có tên với phần tiêu đề chính xác sẽ tạo ra thứ trông có vẻ hợp lý nhưng thường sai, mà đối với một trợ lý chứng minh thì đó là kiểu thất bại tồi tệ nhất có thể.

Bạn cần có gì để chạy một trong hai cái đó

MathForm 8B thừa hưởng giấy phép của Qwen3-8B, được Hub ghi nhận là Apache 2.0, và đây là lý do thực tế cho nó: 8,19 tỷ tham số dense, một mô hình chỉ tiếng Anh, việc thu hẹp ngân sách sinh về đầu ra Lean thay vì suy luận tổng quát, và một bản tải xuống thay vì một cụm. Nền tảng của nó, Qwen3-8B, là thứ mà nếu không có nó, người đọc sẽ tự triển khai — một mô hình 8B tổng quát với ngữ cảnh gốc 32K có thể mở rộng lên 131K và bao phủ 119 ngôn ngữ. MathForm 8B đánh đổi gần như toàn bộ những điều đó để lấy một kỹ năng.

Beam 1.0 cần một nơi để trú ngụ. Thẻ mô hình cho biết 52 lớp, 256 chuyên gia với tám chuyên gia được định tuyến mỗi token, bộ từ vựng 152.000 token, mốc kiến thức ngày 30 tháng 6 năm 2026 và cửa sổ ngữ cảnh 1.000.000 token. Nó được phát hành với ba bộ trọng số — BF16 ở 501,3B, FP8 ở 501,3B, NVFP4 ở 255B — cùng một drafter DFlash2 2B cho giải mã suy đoán. Không có khuyến nghị phục vụ nào trên thẻ mô hình và không có mức giá API nào được công bố ở bất kỳ đâu trên các property của Reflection; trang Artificial Analysis dành cho mô hình này liệt kê các trường giá là không có sẵn và ghi chú rằng không tồn tại API nào có sẵn công khai. Bản dựng bốn bit chính là thứ khiến đây trở thành một khoản mua khả thi thay vì một giả thuyết, và nó vẫn là câu chuyện về GPU.

OrcaRouter không định tuyến mô hình nào trong hai mô hình đó, và trang này không ngụ ý điều ngược lại. Thứ chúng tôi định tuyến là tầng phục vụ mà hai mô hình đó nằm ngoài: hơn 200 mô hình đằng sau một khóa tương thích OpenAI duy nhất, theo giá niêm yết của nhà cung cấp với mức chênh lệch 0%, vì vậy khi nhà cung cấp giảm giá, hóa đơn của bạn sẽ được cập nhật ngay ngày giá được công bố. Đối với một nhóm mà nhu cầu thực sự là một mô hình trả lời được ngay hôm nay thay vì một checkpoint phải chờ biên dịch vào ngày mai, thì đó chính là dòng mà bảng so sánh này không thể cung cấp.

Sự khác biệt về khả năng kiểm chứng, nói một cách dễ hiểu

Đây là sự bất đối xứng được nêu ra như một thực tế vận hành chứ không phải là một chuẩn đối sánh.

Một đầu ra của MathForm 8B đi vào một pipeline có cổng kiểm soát. Trình biên dịch Lean hoặc chấp nhận phát biểu, hoặc từ chối nó. Việc kiểm tra tính nhất quán ngữ nghĩa hoặc đạt, hoặc không đạt. Một đầu ra tồi có thể bị loại bỏ tự động, và mô hình có thể được đặt trong một vòng lặp agent thử lại cho đến khi có thứ gì đó được xác minh — đúng như những gì giai đoạn RL đã huấn luyện nó làm. Cái giá của một câu trả lời sai là một mẫu bị từ chối, chứ không phải một lỗi được đưa ra thị trường. Đó là một thuộc tính thực sự hiếm gặp trong lĩnh vực open-weights hiện nay, và đó là lý do vì sao một mô hình 8B chuyên biệt có thể hữu ích hơn một mô hình tổng quát lớn gấp trăm lần nó bên trong một pipeline có dạng như toán học hình thức.

Đầu ra của Beam 1.0 không có cơ chế kiểm soát như vậy. Bảng đánh giá có thể cho bạn biết nó đã giải quyết một issue trên GitHub trên SWE-bench thường xuyên đến mức nào, nhưng nó không thể cho bạn biết liệu bản vá mà nó viết cho kho của bạn có đúng hay không, bởi vì đó là câu hỏi về các bài kiểm thử của bạn. Thẻ mô hình đặc biệt cụ thể về định dạng truyền tải và đặc biệt im lặng về câu hỏi độ chính xác, và đó là mô tả công bằng về vị trí hiện tại của lĩnh vực này: các công cụ xoay quanh mô hình lập trình tác tử giỏi thực thi mã và kém trong việc chứng nhận nó.

Nếu lĩnh vực của bạn có một trình kiểm tra — hệ thống kiểu, trợ lý chứng minh, lược đồ, trình mô phỏng — thì một mô hình chuyên biệt nhắm vào trình kiểm tra đó thường là lựa chọn tải về mang lại hiệu quả cao hơn. Nếu không có, bạn đang mua năng lực và tự trả chi phí đánh giá, và mô hình tổng quát lớn hơn chính là thứ cho bạn nhiều năng lực đó hơn.

Lựa chọn giữa chúng

Hãy chọn MathForm 8B nếu công việc là hình thức hóa và không gì khác — biến một kho ngữ liệu văn xuôi toán học thành Lean 4 mà một trợ lý chứng minh sẽ chấp nhận, ở quy mô mà con người không thể kiểm tra từng cái một. Kích thước 8,19 tỷ tham số, các điều khoản Apache 2.0 và dạng đầu ra hẹp đều là lợi thế ở đó. Đừng chọn nó cho bất cứ việc gì khác: nó không trò chuyện, nó không viết văn xuôi đáng để phát hành, nó không xử lý 119 ngôn ngữ theo cách mô hình cơ sở của nó làm, và nó không có năng lực nào được ghi nhận ngoài phép biến đổi duy nhất mà nó được huấn luyện.

Chọn Beam 1.0 nếu công việc thuộc dạng agentic tổng quát — giải quyết vấn đề trong các kho lưu trữ lớn, điều khiển công cụ, thực thi các kế hoạch dài nhiều bước — và nếu bạn có phần cứng hoặc đối tác phục vụ cho một MoE 501B. Ngữ cảnh 1M token, bảng đánh giá đã công bố và checkpoint bốn bit đều nhắm đến khối lượng công việc đó. Hãy dự trù cho các token suy luận: mẫu không có nút tắt, mặc định khi phục vụ là mức nỗ lực tối đa, và việc loại bỏ suy luận của lượt trước được ghi nhận là làm giảm chất lượng đầu ra.

Chọn cả hai nếu bạn đang xây dựng pipeline mà bài viết này thực sự nói tới. Mô hình hợp lý là một mô hình tổng quát để làm phần công việc mơ hồ và một chuyên gia có thể kiểm chứng để làm phần có cổng kiểm soát — và hai vai trò này thất bại theo những cách khác nhau, đó là lý do duy nhất khiến việc sở hữu cả hai trở nên đáng giá.

Nơi mà sự so sánh này sẽ trông khác đi trong ba tháng nữa

Hai hàng đang bị thiếu và cả hai đều có thể định ngày được. Hàng thứ nhất là một đánh giá độc lập về trọng số của Beam 1.0, việc này trở nên khả thi vào ngày 16 tháng 10 năm 2026 và vẫn chưa diễn ra; mọi con số mà trang này gán cho Reflection vẫn chỉ có một nguồn duy nhất. Hàng thứ hai là giá của Beam. Một mô hình có bảng đánh giá 501 tỷ tham số mà không có mức giá tính theo mức sử dụng là mô hình mà hầu hết các nhóm không thể lập ngân sách cho được, và cho đến khi Reflection hoặc một đối tác cung cấp dịch vụ công bố một mức giá như vậy, thì so sánh chi phí trung thực giữa hai mô hình này là một bản tải xuống so với một bản cho thuê chưa được báo giá.

Khoảng cách của MathForm 8B thì khác và sẽ không thu hẹp nếu chỉ chờ đợi. Những con số 88,06% kiểm tra cú pháp và 72,37% tính nhất quán được báo cáo của nó là số liệu của nhà cung cấp trên một tác vụ có trình xác minh, và việc xác minh chính là sản phẩm — bất kỳ ai có mô hình và một bản cài Lean đều có thể tự đo lường, điều mà không thể nói được đối với phần lớn những con số trên trang này. Đó là thứ mà một hợp đồng hẹp mang lại cho bạn.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.