Beam 1.0 vs MathForm 8B: ข้อผิดพลาดของโมเดลหนึ่งถูกจับได้โดยคอมไพเลอร์

ถาม MathForm 8B ให้ทำให้ทฤษฎีบทเป็นทางการ และคำตอบจะเป็นได้ทั้งข้อความ Lean 4 ที่คอมไพล์ผ่าน หรือข้อความที่ไม่ผ่าน ถาม Beam 1.0 ให้แก้บั๊ก และคำตอบคือ diff ที่รันได้หรือรันไม่ได้ และช่องว่างระหว่างสองสิ่งนั้นคือความแตกต่างทั้งหมดระหว่างโมเดลเหล่านี้ MathForm 8B เป็นโมเดลทำให้เป็นทางการอัตโนมัติขนาด 8.19 พันล้านพารามิเตอร์ของ OpenBMB สร้างบน Qwen3-8B ของ A​libaba และฝึกบน FormalVerse ซึ่งเป็นคลังข้อมูลตัวอย่าง Lean 4 ที่ผ่านการตรวจสอบแล้วประมาณ 367,000 ตัวอย่าง ผ่านการปรับละเอียดแบบมีผู้กำกับ ตามด้วยการเรียนรู้แบบเสริมกำลังจากผลตอบกลับด้านการคอมไพล์ Lean และความสอดคล้องเชิงความหมาย; เผยแพร่เมื่อวันที่ 14 สิงหาคม 2026 ภายใต้ Apache 2.0 Beam 1.0 เป็นโมเดล sparse mixture-of-experts ขนาด 501.3 พันล้านพารามิเตอร์ของ Reflection ที่มีพารามิเตอร์ทำงานอยู่ 23.4 พันล้านต่อโทเคน ประกาศเมื่อวันที่ 5 ตุลาคม 2026 และปล่อยเป็นไฟล์น้ำหนักที่ดาวน์โหลดได้เมื่อวันที่ 16 ตุลาคม 2026 ภายใต้ Apache 2.0 เช่นกัน อัตราส่วนขนาดอยู่ที่ 61 ต่อ 1 และนี่คือตัวเลขที่น่าสนใจน้อยที่สุดในหน้านี้

สิ่งที่น่าสนใจก็คือ MathForm 8B สร้างผลลัพธ์ที่เครื่องจักรสามารถตรวจตัดสินได้โดยไม่ต้องเชื่อใจใคร ในขณะที่ Beam 1.0 ทำไม่ได้ ทุกสิ่งด้านล่างนี้ล้วนเป็นผลสืบเนื่องมาจากข้อเท็จจริงข้อนั้น

สิ่งที่แต่ละโมเดลถูกขอให้สร้าง

MathForm 8B มีข้อกำหนดผลลัพธ์เดียว ระบบรับข้อความทางคณิตศาสตร์ที่เขียนเป็นภาษาธรรมชาติ แล้วคืนข้อความ Lean 4 — ส่วนหัว ทฤษฎีบทที่ตั้งชื่อ สมมติฐาน และเป้าหมาย ไปป์ไลน์การฝึกถูกสร้างขึ้นรอบโครงสร้างนั้น: การดึงความรู้จาก Mathlib เพื่อยึดโยงข้อความกับนิยามที่มีอยู่ การคอมไพล์และการตรวจสอบเชิงความหมายเพื่อปฏิเสธตัวเลือกที่ไม่ดี การปรับปรุงแบบวนซ้ำเพื่อซ่อมแซมตัวเลือกเหล่านั้น และจากนั้นการสร้างวิถีขึ้นใหม่เพื่อเปลี่ยนตัวอย่างที่รอดชีวิตให้เป็นข้อมูลฝึก งานวิจัยรายงานว่าโมเดลได้ Pass@8 เฉลี่ย 88.06% ภายใต้การตรวจสอบไวยากรณ์ และ 72.37% ภายใต้การตรวจสอบความสอดคล้อง จากหกเบนช์มาร์ก นั่นเป็นตัวเลขของ OpenBMB ที่ยังไม่มีใครทำซ้ำได้ และให้น้ำหนักไปทางชุดที่ง่ายกว่าในการประเมิน — แต่ก็เป็นตัวเลขของงานที่มีคำตอบที่ถูกต้อง

Beam 1.0 ไม่มีสัญญาเช่นนั้น มันเป็นโมเดลทั่วไป: การ์ดของมันอธิบายเทมเพลตแชท รูปแบบการเชื่อมต่อแบบ Harmony ที่มีแชนเนลการวิเคราะห์และแชนเนลสุดท้าย ระดับความพยายามในการให้เหตุผลหกระดับที่แมปกับงบโทเค็นที่ 8, 32, 64, 128, 256 และ 512 และอนุสัญญาการเรียกเครื่องมือที่ฟังก์ชันถูกประกาศเป็น TypeScript แบบแบนราบและถูกเรียกใช้ในเนื้อความ XML การประเมินของมันครอบคลุมการเขียนโค้ดแบบเอเจนต์ (SWE-bench Verified 81.6% บน BF16, Terminal Bench v2.1 80.1, SWE Bench Pro v1 66.1, DeepSWE v1.1 43.3) การให้เหตุผล (GPQA Diamond 90.6, AIME 2026 97.7, LiveCodeBench 88.3) การใช้เครื่องมือ (MCP Atlas 80.8) และความสามารถทั่วไป (LongBench v2 67.5, IFBench 79.6) ทุกตัวเลขเป็นของ Reflection เอง ไม่ว่าโค้ดที่มันเขียนจะ *ถูกต้อง* หรือไม่นั้นพิสูจน์ได้จากการรันมัน ตรวจทานมัน หรือส่งมันออกไปแล้วค้นพบ

ดังนั้น ความล้มเหลวของโมเดลหนึ่งจึงประกาศตัวเองให้เห็น ส่วนอีกโมเดลหนึ่งนั้นเป็นความล้มเหลวของซอฟต์แวร์ทั่วไปที่ค่อยมาถึงในภายหลัง ไม่ว่าจะตอนรีวิวหรือตอนโปรดักชัน และดูไม่ต่างจากบั๊กอื่น ๆ ทุกตัวที่คุณเคยเจอ

เกณฑ์มาตรฐานไม่ทับซ้อนกัน และนั่นคือข้อค้นพบ

วางชุดการประเมินสองชุดให้ตรงกัน แล้วแทบไม่มีอะไรให้ลบออกเลย

• สิ่งที่ Beam 1.0 ได้รับการให้คะแนน — การแก้ปัญหาระดับรีพอซิทอรี งานบนเทอร์มินัล การเขียนโปรแกรมเชิงแข่งขัน คำถามวิทยาศาสตร์ระดับบัณฑิตศึกษา การประสานงานเครื่องมือ การเรียกคืนบริบทยาว และการปฏิบัติตามคำสั่ง

• MathForm 8B ถูกให้คะแนนจากอะไร — ความแม่นยำในการทำให้เป็นทางการแบบ Pass@8 ภายใต้ตัวตรวจสอบไวยากรณ์และภายใต้ตัวตรวจสอบความสอดคล้องเชิงความหมาย บน benchmark ทางคณิตศาสตร์หกชุด เทียบกับ baseline เฉพาะทางขนาด 7B ถึง 32B ของเปเปอร์

• ความทับซ้อน — แทบจะเป็นศูนย์ ไม่มีแถวใดที่ทั้งสองโมเดลถูกวัดโดยฝ่ายเดียวกันในงานเดียวกัน และจะไม่มีทางเป็นเช่นนั้น เพราะโมเดลหนึ่งถูกวัดในด้านความสามารถทั่วไป ส่วนอีกโมเดลหนึ่งถูกวัดจากการแปลงที่ตรวจสอบยืนยันได้เพียงอย่างเดียว

• มิติร่วมหนึ่งเดียวที่มีอยู่จริงในเชิงแนวคิด — การใช้เหตุผล — ถูกวัดบนกลุ่มประชากรที่แตกต่างกัน คะแนน 90.6 ของ Beam 1.0 บน GPQA Diamond เป็นคะแนนวิทยาศาสตร์แบบปรนัย อัตราความสอดคล้อง 72.37% ของ MathForm 8B เป็นการตรวจสอบการทำให้เป็นทางการ ไม่มีฝ่ายใดทำนายอีกฝ่ายได้

นี่คือเหตุผลว่าทำไมการเปรียบเทียบขนาดในที่นี้จึงทำให้เข้าใจผิด มากกว่าแค่ทำให้ดูไม่ดี Beam 1.0 มีขนาดเป็น 61 เท่าของโมเดลนี้ และมันไม่สามารถทำงานของ MathForm 8B ได้เลยหากไม่ได้รับการฝึกให้ทำ ข้อกำหนดเอาต์พุตนั้นแคบพอที่ความสามารถทั่วไปจะใช้แทนกันไม่ได้ โมเดลอเนกประสงค์ขนาด 501B เมื่อถูกขอให้สร้างทฤษฎีบท Lean ที่ระบุชื่อพร้อมส่วนหัวที่ถูกต้อง จะสร้างสิ่งที่ดูน่าเชื่อถือและมักผิดบ่อยครั้ง ซึ่งสำหรับผู้ช่วยพิสูจน์แล้ว นี่คือโหมดความล้มเหลวที่แย่ที่สุดเท่าที่จะเป็นไปได้

สิ่งที่คุณต้องมีเพื่อรันอย่างใดอย่างหนึ่ง

MathForm 8B สืบทอดสัญญาอนุญาตของ Qwen3-8B ซึ่ง Hub บันทึกไว้ว่าเป็น Apache 2.0 และนี่คือเหตุผลเชิงปฏิบัติที่สนับสนุนมัน: พารามิเตอร์แบบ dense 8.19 พันล้านตัว, โมเดลที่รองรับเฉพาะภาษาอังกฤษ, การจำกัดงบประมาณการสร้างให้เหลือเอาต์พุต Lean แทนการให้เหตุผลทั่วไป, และการดาวน์โหลดแทนที่จะเป็นคลัสเตอร์ โมเดลฐานของมันอย่าง Qwen3-8B คือสิ่งที่ผู้อ่านจะโฮสต์เองโดยปกติ — โมเดล 8B ทั่วไปที่มีบริบทพื้นเมือง 32K ขยายได้ถึง 131K และรองรับ 119 ภาษา MathForm 8B แลกเกือบทั้งหมดนั้นไปเพื่อทักษะเดียว

Beam 1.0 ต้องมีที่อยู่ การ์ดโมเดลระบุ 52 เลเยอร์, 256 ผู้เชี่ยวชาญ โดยเลือกใช้ 8 รายต่อโทเคน, คำศัพท์ 152,000 โทเคน, วันตัดข้อมูลความรู้ 30 มิถุนายน 2026 และหน้าต่างบริบท 1,000,000 โทเคน โดยเปิดตัวในสามเวต — BF16 ที่ 501.3B, FP8 ที่ 501.3B, NVFP4 ที่ 255B — พร้อมดราฟเตอร์ DFlash2 ขนาด 2B สำหรับการถอดรหัสแบบคาดการณ์ บนการ์ดไม่มีคำแนะนำด้านการให้บริการ และไม่มีราคา API ที่เผยแพร่ที่ใดบนแพลตฟอร์มของ Reflection หน้าเพจของ Artificial Analysis สำหรับโมเดลนี้ระบุช่องราคาว่าไม่พร้อมใช้งาน และระบุว่าไม่มี API ที่เปิดให้สาธารณะใช้งานอยู่ บิลด์ 4 บิตคือสิ่งที่ทำให้สิ่งนี้เป็นการซื้อที่เป็นไปได้จริง而非แค่สมมติ และมันก็ยังคงเป็นเรื่องของ GPU อยู่ดี

OrcaRouter ไม่ได้จัดเส้นทางให้กับทั้งสองโมเดล และหน้านี้ก็ไม่ได้สื่อเป็นอย่างอื่น สิ่งที่เราจัดเส้นทางคือระดับบริการที่ทั้งสองนั้นอยู่นอกเหนือจากนี้: โมเดลมากกว่า 200 รายการภายใต้คีย์เดียวที่เข้ากันได้กับ OpenAI ในราคาตามรายการของผู้ให้บริการ โดยบวกเพิ่ม 0% ดังนั้นเมื่อผู้จำหน่ายประกาศลดราคา ใบเรียกเก็บเงินของคุณก็จะสะท้อนราคานั้นในวันที่ประกาศ สำหรับทีมที่มีความต้องการที่แท้จริงคือโมเดลที่ตอบได้วันนี้ มากกว่าจะเป็นเช็กพอยต์ที่คอมไพล์ได้พรุ่งนี้ นั่นคือแถวที่การเปรียบเทียบนี้ให้ไม่ได้

ความแตกต่างในเรื่องความสามารถในการตรวจสอบยืนยัน พูดง่าย ๆ

นี่คือความไม่สมมาตรที่ถูกกล่าวไว้ในฐานะข้อเท็จจริงเชิงปฏิบัติการ ไม่ใช่ในฐานะเกณฑ์มาตรฐาน

ผลลัพธ์ของ MathForm 8B จะเข้าสู่ไปป์ไลน์ที่มีเกตอยู่ คอมไพเลอร์ Lean จะยอมรับหรือปฏิเสธข้อความนั้น การตรวจสอบความสอดคล้องเชิงความหมายจะผ่านหรือไม่ผ่าน ผลลัพธ์ที่ไม่ดีสามารถถูกทิ้งโดยอัตโนมัติ และโมเดลสามารถถูกปล่อยให้อยู่ในลูปเอเจนต์ที่ลองซ้ำจนกว่าจะมีบางอย่างผ่านการตรวจสอบ ซึ่งเป็นสิ่งที่ขั้นตอน RL ฝึกมันมาให้ทำโดยตรง ต้นทุนของคำตอบที่ผิดคือตัวอย่างที่ถูกปฏิเสธ ไม่ใช่ข้อบกพร่องที่หลุดไปถึงผู้ใช้ นั่นเป็นคุณสมบัติที่หาได้ยากอย่างแท้จริงในวงการโมเดล open-weights ปัจจุบัน และเป็นเหตุผลว่าทำไมโมเดลขนาด 8B ที่เชี่ยวชาญเฉพาะทางจึงมีประโยชน์กว่าโมเดลทั่วไปที่มีขนาดใหญ่กว่ามันหนึ่งร้อยเท่า ภายในไปป์ไลน์ที่มีโครงสร้างแบบคณิตศาสตร์เชิงรูปแบบ

เอาต์พุตของ Beam 1.0 ไม่มีด่านกั้นเช่นนั้น ตารางการประเมินบอกคุณได้ว่ามันแก้ issue ของ GitHub บน SWE-bench ได้บ่อยแค่ไหน แต่บอกไม่ได้ว่าแพตช์ที่มันเขียนสำหรับรีโพซิทอรีของคุณนั้นถูกต้องหรือไม่ เพราะนั่นเป็นคำถามเกี่ยวกับเทสต์ของคุณ การ์ดโมเดลระบุรายละเอียดเกี่ยวกับ wire format อย่างเฉพาะเจาะจงผิดปกติ และเงียบผิดปกติเกี่ยวกับคำถามด้านความแม่นยำ และนั่นเป็นคำอธิบายที่ยุติธรรมว่าวงการนี้อยู่ตรงไหน: เครื่องมือที่รายล้อมโมเดลเขียนโค้ดแบบเอเจนต์เก่งในการรันโค้ด แต่แย่ในการรับรองความถูกต้องของโค้ดนั้น

ถ้าโดเมนของคุณมีตัวตรวจสอบ — ระบบชนิดข้อมูล ผู้ช่วยพิสูจน์ สคีมา ตัวจำลอง — ผู้เชี่ยวชาญที่มุ่งเป้าไปที่ตัวตรวจสอบนั้นมักเป็นดาวน์โหลดที่คุ้มค่ากว่า หากไม่มี คุณกำลังซื้อความสามารถและจ่ายค่าประเมินด้วยตัวเอง และโมเดลทั่วไปที่มีขนาดใหญ่กว่าคือตัวที่ให้ความสามารถนั้นมากกว่า

การเลือกระหว่างพวกมัน

เลือก MathForm 8B หากงานคือการทำให้เป็นรูปแบบเชิงสัญลักษณ์ (formalisation) และไม่มีอย่างอื่น — การเปลี่ยนคลังข้อความร้อยเรียงทางคณิตศาสตร์ให้เป็น Lean 4 ที่ proof assistant จะยอมรับ ในระดับที่มนุษย์ไม่สามารถตรวจสอบทีละรายการได้ ขนาด 8.19 พันล้านพารามิเตอร์ เงื่อนไข Apache 2.0 และรูปแบบผลลัพธ์ที่แคบเฉพาะ ล้วนเป็นข้อได้เปรียบในกรณีนั้น อย่าเลือกมันเพื่ออย่างอื่น: มันไม่แชท มันไม่เขียนร้อยเรียงที่คุ้มค่าจะนำไปใช้งาน มันไม่รองรับ 119 ภาษาอย่างที่โมเดลฐานของมันทำ และมันไม่มีความสามารถที่มีเอกสารยืนยันใด ๆ นอกเหนือจากการแปลงหนึ่งเดียวที่มันถูกฝึกมา

เลือก Beam 1.0 หากงานเป็นงานประเภทเอเจนต์ทั่วไป — การแก้ไขปัญหาในรีโพซิทอรีขนาดใหญ่ การขับเคลื่อนเครื่องมือ การดำเนินแผนหลายขั้นตอนที่ยาวนาน — และหากคุณมีฮาร์ดแวร์หรือพาร์ตเนอร์ด้านการให้บริการสำหรับ MoE 501B คอนเท็กซ์ 1M โทเคน ตารางการประเมินที่เผยแพร่ และเช็กพอยต์ 4 บิต ล้วนมุ่งเป้าไปที่ภาระงานนั้น จัดสรรงบสำหรับโทเคนการให้เหตุผลไว้ด้วย: เทมเพลตไม่มีสวิตช์ปิด ค่าเริ่มต้นที่ให้บริการคือระดับความพยายามสูงสุด และการตัดการให้เหตุผลของเทิร์นก่อนหน้าออกมีเอกสารระบุว่าทำให้คุณภาพเอาต์พุตแย่ลง

เลือกทั้งสองแบบถ้าคุณกำลังสร้างไปป์ไลน์ที่บทความนี้พูดถึงจริง ๆ แพตเทิร์นที่สมเหตุสมผลคือใช้โมเดลทั่วไปทำงานที่กำกวม และใช้ผู้เชี่ยวชาญที่ตรวจสอบได้ทำงานในส่วนที่มีเกต — และบทบาททั้งสองล้มเหลวคนละแบบ ซึ่งเป็นเหตุผลเดียวที่ทำให้การมีทั้งสองอย่างคุ้มค่า

จุดที่การเปรียบเทียบนี้จะดูแตกต่างออกไปในอีกสามเดือน

มีสองแถวที่หายไป และทั้งคู่สามารถระบุวันที่ได้ แถวแรกคือการประเมินโดยอิสระของค่าน้ำหนักของ Beam 1.0 ซึ่งเกิดขึ้นได้เมื่อวันที่ 16 ตุลาคม 2026 และยังไม่เกิดขึ้น; ทุกตัวเลขที่หน้านี้ระบุว่าเป็นของ Reflection ยังคงมีแหล่งที่มาเพียงแหล่งเดียว แถวที่สองคือราคาของ Beam โมเดลที่มีตารางการประเมินขนาด 501 พันล้านพารามิเตอร์และไม่มีอัตราคิดค่าบริการตามการใช้งาน เป็นโมเดลที่ทีมส่วนใหญ่ไม่สามารถจัดงบประมาณรองรับได้ และจนกว่า Reflection หรือพาร์ตเนอร์ผู้ให้บริการจะเผยแพร่ราคาดังกล่าว การเปรียบเทียบต้นทุนอย่างตรงไปตรงมาระหว่างสองตัวนี้ก็คือการดาวน์โหลดเทียบกับการเช่าที่ไม่มีการเสนอราคาไว้

ช่องว่างของ MathForm 8B นั้นแตกต่างออกไปและจะไม่ปิดลงด้วยการรอคอย ตัวเลข 88.06% ในการตรวจสอบไวยากรณ์และ 72.37% ในความสอดคล้องที่รายงานมานั้นเป็นตัวเลขของผู้ขายบนงานที่มีตัวตรวจสอบ และการตรวจสอบคือตัวผลิตภัณฑ์ — ใครก็ตามที่มีโมเดลและติดตั้ง Lean ก็สามารถวัดได้ด้วยตนเอง ซึ่งเป็นสิ่งที่พูดได้มากกว่าสำหรับตัวเลขส่วนใหญ่ในหน้านี้ นั่นคือสิ่งที่สัญญาแคบ ๆ ให้คุณ

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง