HiRO-ACEv2 vs MathForm 8B: สองโมเดลเฉพาะทาง สองแบบของกราวด์ทรูธ

ทั้ง HiRO-ACEv2 และ MathForm-8B ต่างก็ไม่ได้พยายามเป็นโมเดลทั่วไป และทั้งสองถูกสร้างโดยทีมที่ตัดสินใจว่าปัญหาที่น่าสนใจนั้นแคบกว่าปัญหาของแชตบอต HiRO-ACEv2 เป็นตัวจำลองสภาพอากาศรุ่นที่สองของ Ai2 ถูกโพสต์ขึ้น Hugging Face เมื่อวันที่ 12 ตุลาคม 2026 ในฐานะคลังเก็บข้อมูลขนาด 10.9 GB โดยไม่มีการประกาศใด ๆ พร้อมกับพรีพรินต์ที่ลงวันที่วันถัดไป MathForm-8B เป็นโมเดลออโตฟอร์มาลไลเซชันของ OpenBMB สร้างขึ้นเมื่อวันที่ 14 สิงหาคม 2026 บนแกนหลัก Qwen3-8B ซึ่งเปลี่ยนคณิตศาสตร์ในภาษาธรรมชาติให้เป็นข้อความ Lean 4 ตัวหนึ่งสร้างบรรยากาศแบบกริด 3 กม. ส่วนอีกตัวสร้างข้อผูกพันการพิสูจน์เชิงรูปแบบ เหตุผลที่ต้องเปรียบเทียบทั้งสองไม่ใช่เรื่องขีดความสามารถ — ทั้งสองไม่มีการใช้งานที่ทับซ้อนกัน — แต่เป็นสิ่งที่ทั้งสองอ้างร่วมกัน ซึ่งกลับกลายเป็นว่ามีความหมายต่างกันมากในแต่ละกรณี: ว่าเครื่องจักรสามารถบอกได้ว่าผลลัพธ์นั้นถูกต้องหรือไม่

สิ่งที่แต่ละโมเดลส่งออกมาจริง ๆ

HiRO-ACEv2 ทำงานเป็นไปป์ไลน์สองขั้นตอน ตัวจำลองแบบออโตเรเกรสซีฟจะสร้าง X-SHIELD ซึ่งเป็นโมเดลจำลองพายุระดับโลก โดยถูกทำให้หยาบลงเป็น 100 กม. จากนั้นโมเดลดิฟฟิวชันที่ฝึกแยกต่างหากจะลดสเกลสถานะหยาบนั้นลงไปที่ 3 กม. ให้อัตราการเกิดฝนที่ผิวพื้นเฉลี่ยทุก 6 ชั่วโมง ความเร็วลมทิศตะวันออกและทิศเหนือที่ระดับ 10 เมตรแบบทันที และความกดอากาศที่ระดับน้ำทะเล รีโพซิทอรีนี้เก็บตัวลดสเกลไว้เป็น HiROv2.ckpt ที่ประมาณ 1.28 GiB และตัวจำลองแบบหยาบเป็น ACE2S-X-SHIELD.ckpt ที่ประมาณ 2.98 GiB รวมถึงข้อมูล forcing NetCDF สิบปี ไฟล์เงื่อนไขเริ่มต้นสองไฟล์ และการตั้งค่า YAML ที่เชื่อมโยงสิ่งเหล่านี้เข้าด้วยกัน

MathForm-8B ปล่อยข้อความ แต่เป็นข้อความชนิดที่เฉพาะเจาะจงมาก นั่นคือข้อความทฤษฎีบท Lean 4 การ์ดนี้อธิบายว่าเป็นโมเดล autoformalization ที่ฝึกบนชุดข้อมูล FormalVerse ของ OpenBMB โดยเริ่มจากการ fine-tuning แบบมีผู้สอน จากนั้นจึงใช้การเรียนรู้แบบเสริมกำลังซึ่งรางวัลมาจากการคอมไพล์ Lean และผลตอบกลับด้านความสอดคล้องเชิงความหมาย โมเดลนี้เป็นแบบ dense 8B ภายใต้ Apache 2.0 และสืบทอดขนาดมาจากฐานของตน — Qwen3-8B — ไม่ใช่จากจำนวนพารามิเตอร์ที่เผยแพร่ใด ๆ ของตัวเอง การตั้งค่าการสร้างที่แนะนำคือ temperature 0.6, top-p 0.95 และ 16,384 โทเคนใหม่ บนเซิร์ฟเวอร์ Transformers, vLLM หรือ SGLang ส่วนการประเมินต้องมี Kimina Lean Server ที่ทำงานอยู่และ Lean 4.21.0

ทั้งคู่มีลักษณะแคบโดยการออกแบบ นั่นคือความคล้ายคลึงกันอย่างแท้จริงประการแรก และเป็นจุดที่ความคล้ายคลึงกันส่วนใหญ่สิ้นสุดลง

การตรวจสอบสองประเภท และเหตุใดมีเพียงประเภทเดียวเท่านั้นที่ยุติข้อโต้แย้งได้

ฝั่ง Lean มีตัวตรวจสอบชี้ขาด ข้อความทฤษฎีบทหนึ่งจะคอมไพล์ภายใต้ Lean 4 ได้หรือไม่ได้ และตัวตรวจสอบชนิด (type checker) นั้นเป็นแคลคูลัสตายตัว—มันไม่มีวันดีวันร้าย และไม่จำเป็นต้องปรับเทียบ นั่นคือเหตุผลที่ลูปการฝึกของ MathForm-8B ใช้การคอมไพล์เป็นสัญญาณรางวัลได้เลย ตัวเลขที่เผยแพร่คืออัตรา Pass@8 ภายใต้สองระบอบ ได้แก่ การตรวจไวยากรณ์และการตรวจความสอดคล้อง ประเมินข้ามชุดทดสอบมาตรฐานหกชุด ตัวเลขที่ตรวจไวยากรณ์อยู่ที่ 88.06% และตัวเลขที่ตรวจความสอดคล้องอยู่ที่ 72.37% นั่นคือตัวเลขของผู้เขียนเอง ไม่ได้ทำซ้ำที่นี่ และช่องว่างสิบหกจุดระหว่างสองค่านี้คือสิ่งที่มีข้อมูลมากที่สุดบนการ์ดใบนี้ ข้อความที่คอมไพล์ได้ไม่เหมือนกับข้อความที่สื่อความหมายตามที่โจทย์เดิมตั้งใจไว้

ฝั่งภูมิอากาศไม่มีตัวตรวจสอบเช่นนั้น การ์ดโมเดลของ HiRO-ACEv2 ไม่มีตาราง benchmark ข้อกล่าวอ้างเชิงปริมาณเพียงข้อเดียวของมันคือ ตัวลดสเกลสามารถจำลองการกระจายของปริมาณน้ำฝน ลมที่ระดับ 10 เมตร และความกดอากาศระดับน้ำทะเลของข้อมูลอ้างอิงได้ครอบคลุมถึงเปอร์เซ็นไทล์ที่ 99.9999 และว่ามันเป็นไปตามการกระจายความรุนแรงของพายุหมุนเขตร้อนของข้อมูลอ้างอิงในวงกว้าง บทความระบุเพิ่มเติมว่าต้นทุนการอนุมานต่ำกว่าแบบจำลองเชิงตัวเลขระดับโลกที่จำลองพายุแบบดั้งเดิมมากกว่า 300 เท่า

ทุกข้อเหล่านั้นเป็นการกล่าวอ้างเชิงการกระจายเมื่อเทียบกับค่าอ้างอิง ไม่ใช่การทดสอบผ่าน-ไม่ผ่านกับแคลคูลัส ความแตกต่างนี้เป็นตัวกำหนดว่าข้อกล่าวอ้างแต่ละข้อจะคงอยู่โดยไม่ถูกท้าทายได้นานแค่ไหน คุณสามารถหักล้างตัวเลขของ MathForm-8B ได้โดยรันโมเดลกับชุดทดสอบ benchmark ด้วย Lean server และ GPU การหักล้างตัวเลขของ HiRO-ACEv2 ต้องใช้ชุดข้อมูล forcing ระยะสิบปี การจำลองอ้างอิงเพื่อเปรียบเทียบ และนักวิเคราะห์ที่ยินดีทำงานในส่วนปลายสุดขั้ว อย่างแรกคืองานหนึ่งสัปดาห์ของนักศึกษาระดับบัณฑิตศึกษา อย่างที่สองคือเปเปอร์หนึ่งชิ้น

สิ่งที่ผู้ขายจะบอกและจะไม่บอกคุณ

การ์ดโมเดลทั้งสองใบมีลักษณะนิสัยตรงกันข้ามกัน และการอ่านทั้งสองใบเคียงข้างกันก็ให้แง่คิดว่าการ์ดหนึ่งใบมีไว้เพื่ออะไร

การ์ดของ OpenBMB เป็นเอกสารแสดงข้ออ้างที่มีส่วนข้อจำกัด โดยให้ชุดข้อมูลฝึก โครงสร้างรางวัล พารามิเตอร์การสุ่มที่แนะนำ เวอร์ชัน Lean ที่แน่นอน และรูปที่รายงาน Pass@8 ในหกเกณฑ์มาตรฐาน — แม้ที่น่าสังเกตคือ ตัวเลขเหล่านั้นอยู่ในภาพแทนที่จะอยู่ในข้อความ ดังนั้นใครก็ตามที่ดึงข้อมูลจากหน้าเว็บด้วยโปรแกรมจะพบว่าวิธีการถูกอธิบายไว้อย่างละเอียด แต่ผลลัพธ์กลับไม่ปรากฏเลย สิ่งที่การ์ดนี้ไม่ได้ให้คือวันที่เปิดตัว สัญญาณวันที่เดียวที่ปรากฏในเมทาดาทาทั้งหมดคือตัวระบุ arXiv 2608.14221 และเวลาประทับการสร้างของรีโพซิทอรี ณ วันที่ 14 สิงหาคม 2026

การ์ดของ Ai2 โดยพื้นฐานแล้วเป็นรายการข้อจำกัด ข้อมูลการฝึกเก้าปี ตั้งแต่ปี 2014 ถึง 2022 สำหรับเช็คพอยต์ทั้งสอง เอาต์พุตที่สร้าง X-SHIELD ซ้ำมากกว่าการสังเกต ดังนั้นจึงมีอคติของแบบจำลองอ้างอิง ไม่มีความคาดหวังในการวางนัยทั่วไปนอกเงื่อนไขการบังคับที่ใช้ฝึก — จุดที่บทความ v2 เน้นย้ำโดยระบุว่ากรอบการทำงานยังไม่ได้รับการทดสอบเกินกว่า 66°S ถึง 70°N และไม่สามารถทำงานเกิน 88°S หรือ 88°N ความไม่ต่อเนื่องของการทับซ้อนของแพตช์ในพื้นที่ที่ใหญ่กว่าไทล์การฝึกขนาด 16x16 หนึ่งองศา หมายเหตุว่าเช็คพอยต์ ACE2S-X-SHIELD ที่มาพร้อมได้รับการทดสอบอย่างเข้มงวดน้อยกว่าสาย ACE2-ERA5 ก่อนหน้า และไม่ใช่สำหรับการพยากรณ์อากาศ และสัญญาอนุญาต — Apache 2.0 — ซึ่งมี Responsible Use Guidelines ของ Ai2 และกรอบเพื่อการวิจัยและการศึกษา

การ์ดใบหนึ่งบอกคุณว่าโมเดลทำคะแนนได้เท่าไร อีกใบบอกคุณว่ามันทำอะไรไม่ได้ ทั้งสองไม่ได้ปิดบังสิ่งใดเลย และผู้อ่านที่เข้าใจผิดว่าอีกใบเป็นการเปิดตัวที่อ่อนกว่า ก็อ่านผิดว่าชิ้นงานเหล่านี้มีไว้เพื่ออะไร

ส่วนที่เปรียบเทียบได้จริง ๆ ก็คือ: ว่าส้อมหนึ่งคันมีค่าแค่ไหน

นี่คือแกนเดียวที่สามารถวัดสองรีลีสนี้ด้วยวิธีเดียวกันได้ และมันไปในทิศทางตรงกันข้าม

• แกนหลักมาจากไหน — MathForm-8B เป็นการไฟน์จูนแบบเต็มรูปแบบของ Qwen3-8B ดังนั้นประวัติที่มาของมันจึงถูกบันทึกไว้ในเมทาดาทาบน Hugging Face และบรรพบุรุษของมันคือโมเดลเปิดที่ถูกนำไปใช้งานอย่างแพร่หลาย ส่วนคอมโพเนนต์ของ HiRO-ACEv2 ถูกฝึกภายในไปป์ไลน์ของ Ai2 เอง โดยข้อมูลการฝึกระบุที่มาว่าเป็น X-SHIELD ซึ่งจัดหาโดย GFDL และไม่มีเช็กพอยต์เปิดจากต้นทางอยู่ข้างใต้

• มีรันไทม์กี่ตัวที่โหลดมันได้ — MathForm-8B รันบน Transformers, vLLM หรือ SGLang และชุมชนได้ผลิตการควอนไทซ์แบบ GGUF และ MLX สำหรับ llama.cpp และ Apple silicon ไว้แล้ว; HiRO-ACEv2 รันผ่านแพ็กเกจของ Ai2 ที่ชื่อfme ซึ่งเป็นแพ็กเกจ Python ที่มีคอนฟิกชี้ไปที่รีโพซิทอรี ai2cm/ace และไม่มีเส้นทางเลือกอื่น

• ระบบนิเวศเคลื่อนไปเร็วแค่ไหน — ภายในสี่วันหลังจากรีโพซิทอรีของ MathForm-8B ปรากฏขึ้น บิลด์ GGUF จากชุมชนก็ออนไลน์แล้ว และการแปลงเป็น MLX แบบ 4-bit, 6-bit และ 8-bit ก็ตามมาภายในสองสัปดาห์; รีโพซิทอรีของ HiRO-ACEv2 มีไลก์เพียงหนึ่งครั้งและไม่มีดาวน์โหลด สองวันหลังจากคอมมิตล่าสุดของมัน

• การได้มาซึ่งเวตนั้นมีต้นทุนเท่าไรสำหรับคุณ — MathForm-8B ดาวน์โหลดเป็นเช็กพอยต์โมเดลทั่วไปและควอนไทซ์ให้เล็กลงจนรันบนฮาร์ดแวร์ระดับผู้บริโภคได้ ส่วน HiRO-ACEv2 นั้นเป็นรีโพซิทอรีขนาด 10.9 GB ซึ่งส่วนใหญ่เป็นข้อมูล forcing และข้อมูลเงื่อนไขเริ่มต้นมากกว่าเป็นเวต และมันไม่ย่อขนาดลง

รูปแบบคือ โมเดลภาษาเฉพาะแอปพลิเคชันจะสืบทอดระบบนิเวศมาจากแบ็กโบนของมัน ส่วนอีมิวเลเตอร์เชิงกายภาพเฉพาะแอปพลิเคชันไม่สืบทอดอะไรเลย สำหรับ MathForm-8B งานในการทำให้มันรันได้นั้นส่วนใหญ่เสร็จสิ้นไปก่อนที่มันจะเกิดขึ้น ส่วนสำหรับ HiRO-ACEv2 งานกลับเริ่มต้นที่ README

จุดที่เลเยอร์การกำหนดเส้นทางเหมาะสม และจุดที่ไม่เหมาะสม

คำตอบที่ตรงไปตรงมาที่นี่ไม่สมมาตร และควรพูดให้ชัดเจนแทนที่จะพูดถึงทั้งสองโมเดลอย่างเท่าเทียมกัน MathForm-8B เองไม่มีอยู่ในแคตตาล็อกของเรา — เช็กพอยต์ที่ปรับแต่งมาแล้วมาจากการแจกจ่ายของ OpenBMB เอง และต้องรันบนเซิร์ฟเวอร์ของคุณเองเคียงข้างการติดตั้ง Lean ที่มันเรียกใช้ รุ่นต้นกำเนิดของมันก็ไม่อยู่ในแคตตาล็อกของเราเช่นกัน ซึ่งคุ้มค่าที่จะพูด เพราะสมมติฐานกลับเป็นไปในทางตรงกันข้าม: เช็กพอยต์ Qwen3-8B ตัวเฉพาะที่มันถูกปรับแต่งมาจากนั้นเป็นการเปิดตัวในปี 2025 และไม่ใช่หนึ่งในไอดี Qwen ที่เราให้บริการ สิ่งที่เราให้บริการจริง ๆ คือเจเนอเรชัน Qwen ปัจจุบันที่อยู่รอบ ๆ มัน — เทียร์ Qwen3.8 และ Qwen3.5 และ เช็กพอยต์ Qwen3-VL-8B-Instruct ที่มีขนาด 8B เท่ากันและอยู่ในสายตระกูลเดียวกัน ในราคา $0.18 ต่อล้านโทเคนอินพุต และ $0.70 ต่อล้านโทเคนเอาต์พุต ภายใต้บริบท 131,072 โทเคน.

นั่นคือเลเยอร์ที่ไปป์ไลน์การทำให้เป็นทางการต้องการจริง ๆ การแยกตำราเรียนออกเป็นข้อความที่อาจเป็นทฤษฎีบท การสกัดทฤษฎีบทแบบไม่เป็นทางการออกจากบทความก่อนที่จะส่งไปยังตัวแปลงให้เป็นทางการอัตโนมัติ หรือการเปลี่ยนข้อความข้อผิดพลาดของ Lean ให้เป็นข้อวินิจฉัย ล้วนเป็นการเรียกใช้โมเดลภาษาแบบธรรมดา ๆ และสามารถทำงานผ่านคีย์เดียวกันกับอย่างอื่นทั้งหมดได้ HiRO-ACEv2 ไม่สามารถจัดเส้นทางได้ และจะไม่มีทางเป็นเช่นนั้นในรูปแบบปัจจุบัน เพราะไม่มีคำขอที่คิดตามจำนวนโทเคนให้จัดเส้นทาง — เช็กพอยต์ขนาด 10.9 กิกะไบต์กับสคริปต์เชลล์ไม่ใช่ปลายทาง

สิ่งที่คีย์เดียวที่ครอบคลุมโมเดลที่จัดเส้นทางมากกว่าสองร้อยโมเดลมอบให้คุณ ในไปป์ไลน์ที่สร้างขึ้นโดยยึดสิ่งใดสิ่งหนึ่งในสองสิ่งนี้เป็นหลัก ก็คือ งานโดยรอบกลายเป็นการเรียกครั้งเดียวแทนที่จะเป็นโปรเจกต์: ราคาตามรายการของผู้ให้บริการส่งผ่านโดยไม่บวกกำไรเพิ่ม การสลับไปใช้ผู้ให้บริการรายอื่นเมื่อเกิดความล้มเหลวเป็นไปโดยอัตโนมัติ และสคริปต์ที่ขับเคลื่อนเอนเซมเบิลหรือการรันเพื่อทำให้เป็นทางการไม่จำเป็นต้องมีสัญญากับผู้ขายรายที่สองเพื่อสรุปผลลัพธ์ของตัวเอง

สิ่งที่ต้องจับตาดูในแต่ละฝ่าย

ตัวเลขที่สำคัญในฝั่ง Lean จะเป็นการทำซ้ำอย่างอิสระของตัวเลข 88.06 และ 72.37 โดยกลุ่มที่ไม่มีส่วนได้ส่วนเสียในสูตรการฝึกโมเดล และ ideally ควรแยกย่อยตาม benchmark แต่ละรายการ มากกว่าที่จะเฉลี่ยรวมเป็น Pass@8 ค่าเดียว — เพราะความล้มเหลวของ autoformalization กระจุกตัวตามโดเมนทางคณิตศาสตร์ และค่าเฉลี่ยย่อมซ่อนรูปแบบที่ผู้ปฏิบัติต้องการไว้พอดี ตัวเลขที่สำคัญในฝั่งภูมิอากาศจะเป็นการเปรียบเทียบกับแบบจำลองเชิงตัวเลขที่จำลองพายุได้ (storm-resolving) ซึ่งรันบนฮาร์ดแวร์เดียวกัน โดยคนอื่นที่ไม่ใช่ผู้เขียนอีมูเลเตอร์ เนื่องจากข้ออ้างเรื่องการอนุมานที่เร็วกว่า 300 เท่า คือสิ่งที่ตัดสินว่าวิธีนี้จะถูกนำไปใช้ในระดับปฏิบัติการหรือไม่

จนถึงตอนนั้น วิธีอ่านทั้งสองโมเดลที่ดีที่สุดคืออ่านตามที่การ์ดของแต่ละโมเดลชี้ชวน MathForm-8B เป็น autoformalizer ที่แข็งแกร่งโดยมีคอมไพเลอร์หนุนหลังผลลัพธ์ของมัน และคำถามที่น่าสนใจเกี่ยวกับมันคือ ข้อความที่คอมไพล์แล้วนั้นบอกสิ่งที่ถูกต้องบ่อยเพียงใด แทนที่จะเป็นเพียงข้อความที่เป็นจริง HiRO-ACEv2 เป็นตัวจำลองเพื่อการวิจัยที่เพิ่งเพิ่มลมและความกดอากาศเข้าไปในผลลัพธ์ที่ก่อนหน้านี้มีเฉพาะหยาดน้ำฟ้า และคำถามที่น่าสนใจคือ ฟิลด์ที่เพิ่มเข้ามานั้นสอดคล้องเชิงฟิสิกส์กับหยาดน้ำฟ้าที่ส่งออกมาคู่กันหรือไม่ — สิ่งที่ตาราง benchmark คงไม่บอกคุณ แม้ว่าจะมีตารางเช่นนั้นอยู่ก็ตาม

การเปรียบเทียบแบบนี้ก็เป็นจุดที่โหมดความล้มเหลวปรากฏให้เห็นเช่นกัน: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังโมเดลในระดับนี้ได้รับการรวบรวมไว้ในthe OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้งเป็นของตนเอง