MathForm-8B คืออะไร? การเปิดตัว Autoformalization แบบเงียบของ OpenBMB เปลี่ยนคณิตศาสตร์ให้เป็น Lean 4

openbmb/MathForm-8B เป็นโมเดล autoformalization ใหม่จาก OpenBMB ที่แปลข้อความทางคณิตศาสตร์ในภาษาธรรมชาติเป็น Lean 4 และเปิดตัวโดยแทบไม่มีการประกาศใดๆ: น้ำหนักของโมเดล ชุดข้อมูล และบทความทั้งหมดปรากฏบน Hugging Face และ arXiv ในวันเดียวกันคือ 2026-08-14 ภายใต้ชื่อรวม "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." การเปิดตัวเงียบๆ นี้ซ่อนผลลัพธ์ที่ไม่ธรรมดา—โมเดลพารามิเตอร์ 8B รายงานคะแนน Pass@8 เฉลี่ย 88.06% ภายใต้การตรวจสอบไวยากรณ์ และ 72.37% ภายใต้การตรวจสอบความสอดคล้องที่เข้มงวดกว่า จากหก benchmarks ซึ่งบทความอ้างว่าชนะ autoformalizers เฉพาะทางขนาด 32B หลายตัว นี่คือบทความสรุปสิ่งที่เรารู้ในตอนนี้: ทุกสิ่งที่ระบุด้านล่างว่า "from the repo" มาจาก model card, dataset card และบทความโดยตรง และสิ่งใดที่ยังไม่ได้รับการยืนยันอย่างอิสระจะถูกระบุไว้เช่นนั้น

ประเด็นสำคัญ

• MathForm-8B เป็นโมเดล autoformalization ขนาด 8B ภายใต้สัญญาอนุญาต Apache-2.0: มันอ่านโจทย์คณิตศาสตร์แบบไม่เป็นทางการ และเขียนข้อความทฤษฎีบทในภาษา Lean 4 พร้อมหัวข้อที่มีชื่อ เพื่อเตรียมพร้อมสำหรับการพิสูจน์ในภายหลัง

• มันถูกปรับแต่งอย่างละเอียดจาก Qwen3-8B บน FormalVerse ซึ่งเป็นชุดข้อมูล Lean 4 ที่ผ่านการตรวจสอบแล้วจำนวนประมาณ 367,000 ตัวอย่าง ซึ่ง OpenBMB สร้างขึ้นด้วยการเรียกค้นความรู้และการปรับปรุงที่ตรวจสอบโดยคอมไพเลอร์ จากนั้นจึงฝึกด้วยการเรียนรู้แบบเสริมกำลังโดยใช้การคอมไพล์ Lean และผลตอบรับความสอดคล้องทางความหมาย

• ตัวเลขที่รายงาน (รายงานโดยผู้จำหน่าย ยังไม่ผ่านการตรวจสอบซ้ำ): ค่าเฉลี่ย Pass@8 เท่ากับ 88.06% ภายใต้การตรวจสอบไวยากรณ์ (Syntax Check), 72.37% ภายใต้การตรวจสอบความสอดคล้อง (Consistency Check) ซึ่งดีกว่า autoformalizer เฉพาะทางขนาด 7B ถึง 32B ในตารางของบทความเอง

• ไม่มีการประกาศ ไม่ได้อยู่ใน API แบบเสียเงินรายใหญ่เมื่อเปิดตัว และยังไม่มีการวัดประสิทธิภาพโดยอิสระ — ช่องว่างสามประการที่สำคัญต่อการนำไปใช้ในระบบผลิตจริง

• การให้บริการเป็นแบบ self-hosted: Transformers, vLLM หรือ SGLang ซึ่งทั้งหมดเปิดเผย endpoint ที่เข้ากันได้กับ OpenAI

สิ่งที่รุ่นที่วางจำหน่ายนี้มีอยู่จริง

อาร์ติแฟกต์สามรายการถูกเผยแพร่ขึ้นภายในเวลาไม่กี่นาทีจากกันในวันที่ 2026-08-14 ซึ่งเป็นลักษณะของการเผยแพร่ที่ประสานงานกันแต่ไม่ได้ประกาศล่วงหน้า:

รีโพสิทอรีโมเดล openbmb/MathForm-8B — โมเดลภาษาเชิงเหตุผล (causal LM) ขนาด 8B ในรูปแบบ BF16 พร้อมเทมเพลตแชท ชาร์ด safetensors สี่ชิ้น ใบอนุญาต Apache 2.0

• ที่เก็บข้อมูล (repo) openbmb/FormalVerse — ชุดข้อมูล autoformalization บน Lean 4 ที่มีตัวอย่างที่ผ่านการตรวจสอบแล้วประมาณ 367,000 ตัวอย่าง และอยู่ภายใต้สัญญาอนุญาต Apache 2.0 เช่นกัน

• เอกสาร arXiv 2608.14221 — 25 หน้าที่อธิบายไปป์ไลน์การสร้างข้อมูล สูตรการฝึก และการประเมินผลด้วยชุดเกณฑ์ชี้วัดหกชุด

ลิงก์โค้ด GitHub ใน README ยังเป็นตัวยึดตำแหน่ง (placeholder) ในขณะที่เขียนนี้ ดังนั้นไปป์ไลน์การประเมินผลและสคริปต์ Pass@k จึงถูกสัญญาว่าจะมี แต่ยังไม่เปิดเผยต่อสาธารณะ README ระบุว่าการตรวจสอบการคอมไพล์ต้องใช้ Kimina Lean Server ที่กำลังรันอยู่ และการทดลองใช้ Lean 4.21.0

หน้าของ repository ด้านบนคือพื้นที่สาธารณะทั้งหมดของรุ่นนี้ในตอนนี้: การ์ดโมเดล, ชิ้นส่วน safetensors สี่ชิ้น, เทมเพลตแชท และ README ที่ทำหน้าที่เป็นเอกสารเพียงอย่างเดียว ไม่มีบล็อกโพสต์ประกาศ ณ เวลาที่เขียน

MathForm-8B ทำอะไร — และเหตุใดจึงเป็นงานที่มีขอบเขตจำกัด

Autoformalization คือขั้นตอนก่อนการพิสูจน์ทฤษฎีบท: เมื่อกำหนดโจทย์คณิตศาสตร์เป็นภาษาอังกฤษธรรมดา (เช่น "จงแสดงว่าสำหรับจำนวนจริง x ทุกตัว x² มีค่าไม่เป็นลบ") โมเดลต้องสร้างข้อความที่ถูกต้องตามรูปแบบใน Lean 4 — รวมถึง imports, types และหัวข้อของทฤษฎีบท — ซึ่งมนุษย์หรือโปรแกรมพิสูจน์สามารถนำไปจัดการต่อได้ มันเป็นทักษะที่แตกต่างจากการทำคณิตศาสตร์จริงๆ เพราะโมเดลต้องจับคู่แนวคิดจากภาษาธรรมชาติเข้ากับลำดับชั้นของนิยามและประเภทที่แม่นยำของ Mathlib ข้อความที่ผ่านการตรวจสอบชนิด (type-check) แต่ทำให้ข้อความเดิมอ่อนลงอย่างเงียบๆ (เช่น "(2^5) ∣ (13^4 − 11^4)" แทนที่จะเป็นข้อความการหารลงตัวทั้งหมด) คือรูปแบบความล้มเหลวคลาสสิก และนี่คือเหตุผลที่บทความแยกแยะระหว่าง Syntax Check (ว่าคอมไพล์ได้หรือไม่) กับ Consistency Check (ว่าเป็นข้อความเดียวกันในเชิงความหมายหรือไม่)

โมเดลการ์ดแสดงรูปแบบการใช้งานที่ตั้งใจไว้: คุณป้อนพรอมป์ต์ที่มีโจทย์แบบไม่เป็นทางการและชื่อทฤษฎีบทที่ต้องการให้มัน แล้วมันจะคืนค่าข้อความ Lean 4 ที่มี code>theorem my_favorite_theorem : ... := by sorry/code> — โดยที่ code>sorry/code> ปล่อยให้ภาระการพิสูจน์ยังเปิดอยู่ การแบ่งงานกันแบบนี้มีความสำคัญ: MathForm-8B เป็นตัวทำให้เป็นทางการ ไม่ใช่ตัวพิสูจน์ ทีมที่พัฒนาเครื่องมือสำหรับ Lean ใช้มันเพื่อแปลงคลังโจทย์ให้อยู่ในรูปแบบที่เครื่องจักรตรวจสอบได้

มันถูกฝึกอย่างไร

สูตรของบทความนี้เป็นกระบวนการสองขั้นตอน ขั้นแรก OpenBMB สร้าง FormalVerse ด้วยไปป์ไลน์ที่ (1) ดึงคำนิยามและรูปแบบเชิงรูปนัยที่เกี่ยวข้องจาก Mathlib ก่อนการสร้างเนื้อหา (2) สร้างข้อความคาดการณ์ที่เป็นตัวเลือก (3) ปรับปรุงโดยใช้การวินิจฉัยจากตัวคอมไพเลอร์ Lean และข้อมูลป้อนกลับด้านความสอดคล้องเชิงความหมาย และ (4) คงไว้เพียงตัวอย่างที่ผ่านการตรวจสอบทั้งสองอย่าง จากนั้นคลังข้อมูลที่ผ่านการตรวจสอบแล้วจะถูกนำไปใช้สำหรับการปรับแต่งแบบมีผู้สอน ตามด้วยการเรียนรู้แบบเสริมกำลังด้วยสัญญาณรางวัลจากการคอมไพล์ของ Lean และความสอดคล้องเชิงความหมาย

การ์ดชุดข้อมูลให้เห็นภาพลักษณะของข้อมูลอย่างเป็นรูปธรรม: แต่ละรายการจับคู่ข้อความที่ไม่เป็นทางการกับข้อความที่เป็นทางการซึ่งผ่านการตรวจสอบแล้ว โดยติดป้ายแหล่งที่มา (เช่น AceReason-Math) และป้ายหัวข้อ (เช่น ทฤษฎีจำนวน และอื่นๆ) เนื่องจากทุกตัวอย่างผ่านการตรวจสอบด้วยคอมไพเลอร์จริงก่อนเข้าสู่การฝึก โมเดลจึงเรียนรู้จากข้อความที่ตรวจสอบแล้วว่าดี แทนที่จะเรียนรู้จากผลลัพธ์ดิบของโมเดลเอง

ตารางการวัดประสิทธิภาพที่ติดฉลากอย่างตรงไปตรงมา

ตัวเลขทั้งหมดในส่วนนี้รายงานโดยผู้จำหน่ายจากเอกสาร (arXiv 2608.14221) และยังไม่มีการตรวจสอบซ้ำอย่างอิสระ Pass@8 หมายความว่าโมเดลมีโอกาสลอง 8 ครั้งต่อปัญหา และการทดสอบจะนับว่าผ่านหากมีครั้งใดครั้งหนึ่งผ่าน ซึ่งเป็นเมตริกที่ผ่อนปรนกว่า pass@1 และควรอ่านว่า "ความถี่ที่โมเดลสามารถสร้างคำตอบที่ถูกต้องได้เมื่อได้รับงบประมาณ"

• MathForm-8B โดยเฉลี่ย — การตรวจสอบไวยากรณ์ 88.06%, การตรวจสอบความสอดคล้อง 72.37%

• ตาม benchmark โดย SC แล้วตามด้วย CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

• ชุดที่ยากคือตัวบอกความจริง: FATE-H CC 63% และ FATE-X CC 37% แสดงเพดานความสามารถของโมเดลบนชุดย่อยที่ยากที่สุด เทียบกับ CC มากกว่า 95% ใน FormalIMATH และ ProverBench ที่ง่ายกว่า

เกณฑ์พื้นฐานขนาด 8B ที่ดีที่สุดที่บทความระบุไว้ — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — และเกณฑ์พื้นฐานขนาด 32B ที่ดีที่สุด — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — ล้วนตามหลังคะแนน 88.06 / 72.37 ของ MathForm-8B

• จุดตรวจสอบเฉพาะ SFT (ก่อนขั้นตอน RL) ให้ผลลัพธ์ 84.38 / 66.53 ดังนั้นรอบการเรียนรู้แบบเสริมกำลังจึงให้ค่าเพิ่มขึ้นประมาณ +3.7 SC และ +5.8 CC โดยเฉลี่ย โดยได้คะแนนเพิ่มขึ้นมากที่สุดในชุดยาก

ข้อกล่าวอ้างที่แข็งแกร่งที่สุดที่ควรตั้งข้อสงสัย: คะแนน SC 100.00 บน FormalIMATH และ ProverBench (การคอมไพล์ 100% บนชุดง่าย ๆ เป็นสัญญาณเตือนว่าชุดเหล่านั้นลู่เข้าแล้ว) และการเปรียบเทียบกับโมเดล 32B ที่ไม่ได้ถูกรันซ้ำภายใต้เงื่อนไขที่เหมือนกัน ตัวเลขการตรวจสอบความสอดคล้องบน FATE-H และ FATE-X คือค่าที่มีแนวโน้มจะผ่านการทดสอบโดยอิสระมากที่สุด

สิ่งที่ไม่ได้รับการยืนยัน

• ไม่มีการประเมินผลอย่างอิสระ ไม่มีบุคคลที่สามได้ทดสอบ MathForm-8B ผ่านชุดทดสอบสาธารณะ ณ เวลาที่เขียน และโค้ดการประเมินผลยังไม่ถูกเผยแพร่

• ไม่มีการประกาศเปิดให้บริการ OpenBMB ยังไม่ได้โพสต์บล็อกเปิดตัว หน้าราคา หรือ API endpoint การวางกรอบว่า "เปิดตัวเงียบๆ" เป็นความหมายตรงตัว

ค่าน้ำหนักรางวัล RL งบประมาณการฝึก และฮาร์ดแวร์ ไม่ได้อยู่ในโมเดลการ์ด แต่มีอยู่ในเอกสารเท่านั้น

• ยังไม่มีการทดสอบว่าโมเดล 8B จะสามารถใช้งานได้กับ Lean 4.21.1+ หรืออิมพอร์ตที่ไม่ใช่ Mathlib หรือไม่

วิธีเรียกใช้งาน

การโฮสต์ด้วยตนเองเป็นหนทางเดียวในปัจจุบัน README อธิบายสามแนวทาง ซึ่งทั้งหมดมีปลายทางแชทที่เข้ากันได้กับ OpenAI ที่code>localhost:8000/v1/chat/completions/code>:

• ทรานส์ฟอร์เมอร์ — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, จากนั้นสร้างด้วยเทมเพลตแชท

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

README แนะนำให้ใช้ temperature 0.6, top_p 0.95 และโทเคนใหม่สูงสุด 16384 โทเคน — ข้อความเชิงรูปนัยมักจะยาวมาก ดังนั้นหน้าต่างการสร้างที่กว้างขวางจึงเป็นข้อกำหนดของระบบที่แท้จริงที่ต้องเตรียมทรัพยากรไว้

ทำไมส่วน "8B beats 32B" ถึงสำคัญ

หากตัวเลขยังคงเป็นเช่นนี้ MathForm-8B ถือเป็นข้อโต้แย้งที่แข็งแกร่งที่สุดจนถึงตอนนี้ว่าอุปสรรคของการแปลงเป็นรูปแบบอัตโนมัติคือคุณภาพของข้อมูลและการตรวจสอบ ไม่ใช่จำนวนพารามิเตอร์ดิบ ตารางในเอกสารเองแสดงให้เห็นว่าโมเดลเฉพาะทางขนาด 32B (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) อยู่ต่ำกว่าโมเดลขนาด 8B ที่ฝึกบนคลังข้อมูลที่ตรวจสอบด้วยคอมไพเลอร์ สำหรับทีมที่ใช้งานฟอร์แมไลเซอร์ขนาด 32B ในปัจจุบัน นี่คือการเปลี่ยนแปลงด้านต้นทุนที่สำคัญ — โมเดลขนาด 8B ที่ใช้ BF16 สามารถอยู่ใน GPU ตัวเดียวซึ่งโมเดลขนาด 32B ส่วนใหญ่ไม่สามารถทำได้ และให้บริการได้เร็วกว่าต่อโทเค็น

มันยังสร้างทางเลือกที่ตรงไปตรงมาที่วงการโมเดลที่เหลือยังคงผลิตออกมาอย่างต่อเนื่อง นั่นคือ ผู้เชี่ยวชาญเฉพาะทางที่ทำงานที่ผ่านการตรวจสอบแล้วอย่างหนึ่งได้ดีมาก เทียบกับโมเดลทั่วไปที่สามารถลองทำได้หลายอย่างโดยไม่มีการรับประกันการตรวจสอบ สำหรับงาน formalization โดยเฉพาะ ผู้เชี่ยวชาญเฉพาะทางคือตัวที่มีคอมไพเลอร์คอยตรวจสอบผลลัพธ์ของมัน — ซึ่งเป็นคุณสมบัติที่ทำให้เราเตอร์ที่มีการสลับสำรองอัตโนมัติวางอยู่ข้างหน้าได้อย่างสบายใจ ชั้นการจัดเส้นทางแบบที่ OrcaRouter ใช้ ซึ่งครอบคลุมโมเดล 200+ รายการ โดยส่งผ่านราคาตามรายการราคาของผู้ให้บริการ ช่วยให้คุณชี้เส้นทางทดสอบไปที่โมเดลโอเพนเวตอายุไม่กี่วันแบบนี้ แล้วสลับกลับไปใช้โมเดลที่ผ่านการพิสูจน์แล้วทันทีที่มันชะงัก — คุณสามารถนำเวอร์ชันที่ปล่อยออกมาแบบเงียบๆ มาใช้ได้โดยไม่ต้องเดิมพันเส้นทางการผลิตของคุณกับมัน และไม่มีมาร์กอัปบนราคาโทเคนหากผู้ให้บริการลงรายการโมเดลนี้ในภายหลัง

สิ่งที่ควรดูต่อไป

สามสิ่งที่ทำให้โปรเจกต์นี้เปลี่ยนจาก "repo ที่น่าสนใจ" ไปเป็น "เครื่องมือที่เชื่อถือได้" ได้แก่: โค้ดสำหรับการประเมินผลบน GitHub ปรากฏขึ้นจริง; การทดสอบอิสระรอบแรกบน FATE-H และ FATE-X ด้วยค่า pass@1 แทนที่จะเป็น pass@8; และประกาศจาก OpenBMB ที่เพิ่มเส้นทางให้บริการแบบโฮสต์หรือ paper เวอร์ชัน 2 ที่มีตัวเลข ablation จนกว่าอย่างน้อยหนึ่งในนั้นจะเกิดขึ้น ให้ถือว่าคะแนนที่เป็นพาดหัวเป็นเพียงทิศทางคร่าว ๆ — สิ่งที่คงทนและเป็นข่าวจริงคือสถาปัตยกรรมและแนวคิดเกี่ยวกับข้อมูลที่ใช้ฝึก ไม่ใช่เปอร์เซ็นต์ที่เจาะจง