ZoomGain-9B กับ MathForm 8B: สองเช็กพอยต์ 9B ที่ไม่สามารถทำงานของกันและกันได้

มีคำถามที่มีนัยแฝงอยู่เบื้องหลัง ZoomGain-9B และ MathForm-8B: ทั้งคู่เป็นไฟน์จูนขนาดประมาณเก้าพันล้านพารามิเตอร์ที่เผยแพร่ภายในช่วง 80 วันเดียวกัน ทั้งคู่เป็นงานวิจัยที่เผยแพร่ภายใต้สัญญาอนุญาตใกล้เคียง Apache-2.0 จากแล็บจีนพร้อมเปเปอร์แนบมา ทั้งคู่ได้รับการฝึกหลังการฝึกด้วยการเรียนรู้แบบเสริมกำลังจากตัวอย่างไม่กี่พันตัวอย่าง และทั้งคู่มีคะแนนเบนช์มาร์กที่ดูเป็นไปไม่ได้สำหรับขนาดของมัน สิ่งที่ชวนให้ทำคือการจัดอันดับพวกมัน ปัญหาคือหนึ่งในนั้นไม่เคยเห็นภาพ และอีกตัวไม่เคยเห็นข้อพิสูจน์ Lean ดังนั้นการจัดอันดับจึงไม่มีแกน

ZoomGain-9B เป็นเช็กพอยต์ด้านภาพและภาษาของ inclusionAI จากวันที่ 10 พฤศจิกายน 2026 ฝึกด้วย GRPO บนคำถาม 9,000 ข้อที่ขุดมาจากรายละเอียดของภาพที่ถูกครอป และผลลัพธ์ที่รายงานว่าดีที่สุดคือ 90.25 บน HR-Bench 4K ส่วน MathForm-8B เป็นตัวแปลงอัตโนมัติเป็นทางการของ OpenBMB จากวันที่ 14 สิงหาคม 2026 ฝึกด้วยการปรับแต่งแบบมีผู้ดูแลตามด้วยการเรียนรู้แบบเสริมกำลังบนตัวอย่าง Lean 4 ประมาณ 367,000 ตัวอย่าง และผลลัพธ์ที่รายงานว่าดีที่สุดคือค่าเฉลี่ย pass@8 ของการผ่านการตรวจไวยากรณ์ที่ 88.06% จากเกณฑ์มาตรฐานการแปลงอัตโนมัติเป็นทางการหกชุด ตัวเลขทั้งสองไม่ได้บอกอะไรเกี่ยวกับอีกโมเดลเลย สิ่งที่เชื่อมสองสิ่งนี้เข้าด้วยกันมีประโยชน์กว่าการจัดอันดับ: การเปิดตัวทั้งสองครั้งกล่าวอ้างที่คล้ายกันอย่างผิดปกติเกี่ยวกับวิธีที่การปรับแต่งโมเดลขนาดเล็กสามารถเอาชนะโมเดลทั่วไปที่ใหญ่กว่ามากได้ และวิธีที่ทั้งสองใช้เพื่อสนับสนุนข้อกล่าวอ้างเหล่านั้นแตกต่างกันมากพอที่จะบอกคุณได้ว่าควรเชื่ออันไหนในเรื่องใด

คอลัมน์ว่าง ซึ่งมีชื่อว่า

ZoomGainBench ไม่มีโมเดลข้อความล้วน เป็นชุดคำถามเกี่ยวกับภาพถ่าย — การจดจำคุณลักษณะ การนับ และ OCR — ดังนั้นโมเดลที่ไม่มีตัวเข้ารหัสภาพจึงไม่สามารถเข้าร่วมได้ และ MathForm-8B ก็ไม่ได้เข้าร่วม ในทางกลับกัน benchmark การประเมินทั้งหกของ MathForm คือ FormalMATH, ProverBench, CombiBench และ FATE split สามชุด ซึ่งทั้งหมดเป็นงานแปลคณิตศาสตร์ภาษาธรรมชาติเป็น Lean-4 ZoomGain-9B ไม่เคยถูกทดสอบกับชุดใดในนั้นเลย และไม่มีเหตุผลให้เชื่อว่าจะทำได้ดี เนื่องจากไม่มีส่วนใดในการฝึกของมันเกี่ยวข้องกับภาษาเชิงรูปนัย

นี่ไม่ใช่รายละเอียดทางเทคนิคเล็กน้อยเกี่ยวกับเกณฑ์มาตรฐาน แต่มันคือรูปโฉมทั้งหมดของการตัดสินใจ หากงานของคุณสร้างภาพเป็นเอาต์พุตและรับคำตอบข้อเท็จจริงสั้น ๆ เป็นอินพุต MathForm-8B ก็เป็นโมเดลข้อความที่ไม่สามารถลองทำสิ่งนั้นได้ หากงานของคุณรับข้อความทางคณิตศาสตร์เป็นอินพุตและสร้างบทพิสูจน์ Lean 4 ที่เครื่องตรวจสอบได้เป็นเอาต์พุต ZoomGain-9B ก็เป็นโมเดลวิสัยทัศน์ที่ไม่เคยถูกขอให้ทำสิ่งนั้น ไม่มีส่วนทับซ้อนให้วัดได้ ซึ่งหมายความว่าการเปรียบเทียบอย่างซื่อตรงคือการเปรียบเทียบด้านการสร้าง หลักฐาน และต้นทุนการดำเนินงาน — และสิ่งเหล่านั้นกลับแตกต่างกันมาก

สองสูตร RL ที่ทั้งคู่มีขนาดเล็ก และความแตกต่างระหว่างทั้งสอง

ชุดฝึกของ ZoomGain มี 9,000 เรกคอร์ดจากภาพต้นฉบับ 7,713 ภาพ หนึ่ง epoch ขนาดแบตช์ 64 แปด rollout ต่อคำถาม GRPO ด้วย reward ที่ตรวจสอบว่าตัวเลือกที่เลือกตรงกับคำตอบอ้างอิงหรือไม่ ข้อมูลถูกสร้างขึ้น ไม่ได้ถูกกำกับด้วยมือ: โมเดลหลายตัวระบุตำแหน่งของพื้นที่ ภาพครอปถูกใส่คำบรรยายและเปรียบเทียบกับคำบรรยายของฉากเต็ม และรายละเอียดที่ภาพครอปเผยให้เห็นกลายเป็นคำถามเกี่ยวกับภาพเต็ม การมีส่วนร่วมของมนุษย์มีเพียงการคัดกรองเท่านั้น — เปเปอร์ระบุชัดเจนว่าไม่มีการแก้ไขคำถามและคำตอบด้วยมือ

ชุดฝึกของ MathForm คือ FormalVerse ซึ่งมีตัวอย่าง Lean 4 ที่ผ่านการตรวจสอบแล้วประมาณ 367,000 ตัวอย่าง เริ่มจากการปรับละเอียดแบบมีผู้สอน (supervised fine-tuning) ก่อน จากนั้นจึงใช้การเรียนรู้แบบเสริมกำลัง (reinforcement learning) ด้วยผลตอบรับจากการคอมไพล์ Lean และการตรวจสอบความสอดคล้องเชิงความหมาย การสร้างข้อมูลใช้การดึงข้อมูลจาก Mathlib ก่อนการสร้าง และปรับปรุงซ้ำหลังการสร้าง โดยมีข้อมูลวินิจฉัยจากคอมไพเลอร์ช่วยชี้นำการแก้ไข

• โมเดลฐาน — ZoomGain-9B ได้รับการฝึกเพิ่มเติม (post-trained) จาก Qwen3.5-9B (32 เลเยอร์, hidden 4,096, intermediate 12,288, 262,144 ตำแหน่ง, ตาราง attention แบบ linear-to-full ในอัตรา 3:1) MathForm-8B ได้รับการฝึกเพิ่มเติม (post-trained) จาก Qwen3-8B (36 เลเยอร์, ใช้ full attention ทั้งหมด, hidden 4,096, intermediate 12,288, 40,960 ตำแหน่ง, 32 query heads เทียบกับ 8 KV heads ที่ head dimension 128, rope theta 1e6)

• มิติที่ใช้ร่วมกัน — ทั้งคู่สืบทอดความกว้างซ่อน 4,096 และความกว้างระดับกลาง 12,288 จากพ่อแม่ Qwen ของตน ซึ่งเป็นความบังเอิญที่น่าทึ่งที่สุดเพียงอย่างเดียวระหว่างทั้งสอง และเป็นคุณสมบัติของตระกูล ไม่ใช่คุณสมบัติที่เกิดจากการ fine-tuning

• คำศัพท์ — 248,320 โทเคนสำหรับ ZoomGain-9B เทียบกับ 151,936 สำหรับ MathForm-8B คำศัพท์ของ MathForm เป็นคำศัพท์ที่มาจากรุ่น Qwen3 และเรื่องนี้สำคัญ: โค้ด Lean 4 สัญลักษณ์คณิตศาสตร์แบบ Unicode และโทเคนสำหรับการพิสูจน์จะถูกแบ่งเป็นโทเคนแตกต่างกันในแต่ละโมเดล

• บริบท — การ์ดของ ZoomGain-9B ไม่ได้ระบุข้อมูลใด ๆ และคอนฟิกของมันประกาศไว้ที่ 262,144; คอนฟิกของ MathForm-8B ประกาศไว้ที่ 40,960 และคำสั่งเสิร์ฟที่แนะนำถูกจำกัดสูงสุดที่ 16,384 พร้อม max_new_tokens สูงสุด 16,384 โทเคน สำหรับ autoformalization ความยาวเอาต์พุตเป็นข้อจำกัดที่เป็นตัวกำหนดจริง ไม่ใช่ความยาวอินพุต

• รูปแบบข้อมูล — รับภาพและข้อความเข้า ส่งข้อความออกสำหรับตัวหนึ่ง; รับข้อความเข้า ส่งข้อความออกสำหรับอีกตัวหนึ่ง

• สัญญาอนุญาต — ZoomGain-9B: โค้ดเป็น Apache 2.0 เงื่อนไขของ checkpoint ถูกเลื่อนออกไป และไม่มีแท็กสัญญาอนุญาตในเมตาดาทาของ Hub MathForm-8B: Apache 2.0 พร้อมไฟล์ LICENSE ในที่เก็บ

• การเผยแพร่ — ZoomGain-9B มี BF16 พร้อม GGUF ที่ F16, Q8_0 และ Q4_K_M ส่วน MathForm-8B มี BF16 safetensors แบ่งเป็นสี่ชาร์ดรวมประมาณ 16.4 GB พร้อมบิลด์ GGUF และ MLX จากชุมชน แต่ไม่มีการควอนไทซ์ที่ผู้พัฒนาให้มาเอง

ตัวเลขของ MathForm-8B และเหตุใดจึงตรวจสอบได้ง่ายกว่าที่เห็น

OpenBMB รายงานค่าเฉลี่ย pass@8 ของการตรวจสอบไวยากรณ์ที่ 88.06% และ pass@8 ของการตรวจสอบความสอดคล้องที่ 72.37% จากเบนช์มาร์กทั้งหกของตน บนตารางเดียวกัน ReForm-8B ทำได้ 81.76 และ 66.21, Goedel-Formalizer-V2-32B ทำได้ 78.28 และ 63.74 และ StepFun-Formalizer-32B ทำได้ 63.65 และ 44.47 สปลิต FATE ทั้งสามเป็นจุดที่โมเดลเฉพาะทางล่มสลาย แต่ MathForm ไม่เป็นเช่นนั้น: FATE-X อยู่ที่ 54.00 ด้านไวยากรณ์ และ 37.00 ด้านความสอดคล้อง เทียบกับ 45.00 และ 21.00 ของ ReForm-8B

สองสิ่งทำให้ตัวเลขเหล่านั้นน่าเชื่อถือกว่าตารางของผู้ขายทั่วไป ประการแรก งานเหล่านี้เป็นงานเชิงกลไกในแบบที่งานด้านการรับรู้ไม่เป็น — ข้อความ Lean 4 จะคอมไพล์ได้หรือไม่ได้เท่านั้น และการตรวจสอบความสอดคล้องจะเปรียบเทียบความหมายกับข้อเสนอต้นฉบับ เบนช์มาร์กที่ตรวจสอบได้ด้วยเครื่องบางส่วนนั้นให้คะแนนแบบมองโลกในแง่ดีได้ยากกว่า ประการที่สอง บทความระบุว่าโมเดลที่ใช้เพียง SFT นั้นแย่กว่า: MathForm-8B-SFT ได้ 84.38 คะแนนด้านไวยากรณ์ และ 66.53 คะแนนด้านความสอดคล้อง ดังนั้นขั้นตอน RL จึงทำงานที่วัดผลได้จริง แทนที่จะเป็นเพียงการตกแต่งโมเดลที่เสร็จสมบูรณ์แล้ว

ยังมีการเปรียบเทียบหนึ่งที่ควรค่าแก่การยกมาอ้าง เพราะมันสวนทางกับกรอบการนำเสนอของโมเดลเอง บนหกเบนช์มาร์กเดียวกัน Qwen3.7-Plus ซึ่งเป็นปลายทางเชิงพาณิชย์อเนกประสงค์ ทำได้ 86.33 คะแนนด้านวากยสัมพันธ์ และ 83.38 ด้านความสอดคล้อง MathForm-8B เอาชนะได้ 1.7 คะแนนในด้านวากยสัมพันธ์ แต่แพ้ไป 11 คะแนนในด้านความสอดคล้อง การปรับแต่งแบบเฉพาะทางชนะงานที่ต้องตรงกันแบบเป๊ะ แต่แพ้งานที่ต้องการให้การทำให้เป็นรูปแบบเดียวกันมีความหมายตรงกับต้นฉบับ หากไปป์ไลน์ของคุณต้องการข้อความที่คอมไพล์ผ่าน ผู้เชี่ยวชาญขนาดเล็กก็คุ้มค่ามาก หากต้องการข้อความที่ตรงตามต้นฉบับ โมเดลทั่วไปที่ใช้การดึงข้อมูลช่วยอาจยังนำอยู่ก็ได้

ตัวเลขของ ZoomGain-9B โดยใช้วิธีการบัญชีเดียวกัน

ผู้เขียนรายงานว่า 90.25 บน HR-Bench 4K เทียบกับ 82.13 สำหรับโมเดลฐาน, 93.19 บน V*Bench เทียบกับ 86.91, 56.31 บน VisualProbe เทียบกับ 44.66, 70.00 บน MMVP เทียบกับ 60.00 และ 68.12 บน O3-Bench เทียบกับ 56.52 ค่าเฉลี่ยแบบ held-out ข้ามสิบสามเบนช์มาร์กคือ 66.10 เทียบกับ 59.75 บน ZoomGainBench — เบนช์มาร์กที่สร้างขึ้นด้วยไปป์ไลน์เดียวกับข้อมูลฝึก — โมเดลได้คะแนน 55.48 และบทความติดป้ายคอลัมน์นั้นว่า "Held-in" แทนที่จะกลบความแตกต่างนั้น

ความแตกต่างเชิงโครงสร้างจากหลักฐานของ MathForm คือ benchmark ของ ZoomGain ไม่สามารถตรวจสอบได้ด้วยเครื่องในลักษณะเดียวกัน คำตอบแบบ multiple-choice เป็นการจับคู่แบบตรงตัว การนับเป็นการจับคู่แบบตรงตัวบนจำนวนเต็ม และ OCR ได้รับการให้คะแนนด้วย ANLS — แต่คำถามเหล่านั้นถูกสร้างขึ้น และการตรวจสอบของผู้เขียนเองคือคำตอบสามารถตรวจสอบได้บนภาพที่ครอปไว้ คำถามที่ถูกสร้างขึ้นซึ่งมีคำตอบที่ตรวจสอบแล้วก็ยังคงเป็นคำถามที่ถูกสร้างขึ้น

ทั้งสองเวอร์ชันที่เผยแพร่ถูกสร้างขึ้นบางส่วนโดยใช้โมเดลเป็นผู้ติดป้ายกำกับ ภาคผนวกของ ZoomGain ระบุบทบาทไว้ดังนี้: Qwen3.5-397B-A17B สำหรับการสร้างคำบรรยายฉาก การระบุตำแหน่งอ้างอิง (grounding) และการตรวจสอบ MCQ ขั้นสุดท้าย; Qwen3-VL-235B-A22B-Instruct และ Kimi-K2.6 สำหรับการตรวจสอบโดยอิงจากการครอปภาพและการตอบแบบไม่เห็นตัวเลือก (blind answering); DeepSeek-V4-Pro สำหรับการจัดกลุ่มตัวลวง FormalVerse ของ MathForm ถูกสร้างด้วยไปป์ไลน์ที่ดึงข้อมูลจาก Mathlib แล้วปล่อยให้คอมไพเลอร์ปฏิเสธการสร้างที่ไม่ดี ไปป์ไลน์หนึ่งพึ่งพาตัวตรวจสอบที่ไม่สามารถถูกโน้มน้าวให้เห็นด้วยได้ ส่วนอีกไปป์ไลน์พึ่งพาโมเดลที่ตรวจงานของโมเดลอื่น โดยมีเพียงการคัดกรองโดยมนุษย์เท่านั้น

ให้บริการพวกเขา ในแง่ที่ทีมปฏิบัติการของคุณจะถามถึง

ZoomGain-9B มีขนาด 18.82 GB ใน BF16 และทำงานภายใต้ vLLM 0.19.1 ร่วมกับ transformers 5.7.0 — เวอร์ชันเดียวกับที่ผู้เขียนใช้ — หรือภายใต้บิลด์ llama.cpp ที่รองรับมัลติโหมดของ Qwen3.5 โดยใช้ไฟล์ GGUF ร่วมกับโปรเจกเตอร์ โครงหลักที่เน้น linear attention เป็นหลักช่วยให้ KV cache มีขนาดพอประมาณแม้ในความยาวลำดับที่ยาวนาน ซึ่งเป็นคุณสมบัติที่สำคัญเมื่อคำขอเดียวมีภาพความละเอียดสูงแทนเอกสารยาว

MathForm-8B มีขนาดประมาณ 16.4 GB ใน BF16 ให้บริการโดย vLLM ด้วยความยาวโมเดลสูงสุด 16,384 หรือโดย SGLang ด้วยบริบทเดียวกัน ที่อุณหภูมิ 0.6 และ top-p 0.95 พร้อมงบเอาต์พุต 16,384 โทเคน การประเมินต้องมี Kimina Lean Server และ Lean 4.21.0 ที่ทำงานอยู่ ซึ่งเป็นส่วนที่คนมักประเมินต่ำเกินไป: คุณไม่ได้เพียงแค่ปรับใช้โมเดล แต่คุณกำลังปรับใช้ชุดเครื่องมือ Lean ไว้ข้าง ๆ ด้วย ข้อเสนอแนะจากการคอมไพล์คือสัญญาณรางวัลระหว่างการฝึกและเป็นการทดสอบการยอมรับระหว่างการประเมิน ดังนั้นไปป์ไลน์ที่ไม่มี Lean จึงไม่สามารถวัดได้ว่าโมเดลนี้ทำงานได้หรือไม่

ทั้งสองยังไม่มีอยู่ในแคตตาล็อกของ OrcaRouter ในวันนี้ และบทความนี้ไม่ได้อ้างว่าเป็นเช่นนั้น สิ่งที่เราทำได้คือจัดเส้นทางให้กับงานที่อยู่รอบ ๆ ไปป์ไลน์เอกสารที่อ่านหน้าที่สแกนแล้วตรวจสอบคณิตศาสตร์บนหน้านั้นมีสองส่วน คือการเรียกใช้ vision และการเรียกใช้ reasoning โดยใช้คีย์เดียวครอบคลุมโมเดลกว่า 200 รายการในราคาตามประกาศของผู้ให้บริการโดยไม่มีการบวกเพิ่ม กฎการจัดเส้นทางที่ส่งแต่ละส่วนไปยังปลายทางที่ผ่านเกณฑ์ของคุณ และ การสลับไปใช้งานสำรองอัตโนมัติหากฝ่ายใดฝ่ายหนึ่งหยุดชะงัก — นั่นคือชั้นที่รองรับทั้งสองส่วนไว้ข้างใต้ และเป็นเหตุผลว่าทำไมไปป์ไลน์ที่ใช้สองโมเดลจึงไม่จำเป็นต้องหมายถึงผู้ให้บริการสองรายและสัญญาสองฉบับ

ควรดาวน์โหลดอันไหน

เลือก MathForm-8B หากปัญหาของคุณเป็นแบบทางการและชุดเครื่องมือของคุณใช้ Lean อยู่แล้ว หลักฐานหนักแน่นกว่า ใบอนุญาตชัดเจนไม่กำกวม ผลลัพธ์ตรวจสอบได้ด้วยเครื่อง และช่องว่างความสอดคล้อง 11 จุดเมื่อเทียบกับโมเดลทั่วไปถือเป็นข้อจำกัดจริงที่คุณควรรู้ก่อนตัดสินใจเลือก โดยเฉพาะอย่างยิ่งให้เลือกใช้กับชุดข้อมูล FATE ซึ่งฐานเปรียบเทียบเฉพาะทางลดลงเหลือความสอดคล้อง 21% ขณะที่ MathForm-8B ยังคงอยู่ที่ 37%

เลือก ZoomGain-9B หากปัญหาของคุณคือรายละเอียดภายในภาพและคำตอบของคุณสั้น ผลการปรับปรุงที่วัดจากชุดข้อมูลที่กันไว้มีความน่าเชื่อถือสำหรับตัวอย่าง 9,000 รายการ benchmark ของมันดาวน์โหลดได้เพื่อให้คุณตรวจสอบข้อกล่าวอ้างได้ด้วยตัวเอง และสัญญาอนุญาตคือสิ่งเดียวที่คุณต้องอ่านก่อนนำไปใช้งาน อย่าเลือกใช้โดยคาดหวังว่ามันจะเป็นผู้ช่วยด้านวิชันทั่วไป เพราะไม่มีอะไรในรุ่นที่เผยแพร่นี้ที่ทดสอบเรื่องนั้น

และหากคุณกำลังหวังจะได้คำตัดสินว่าโมเดลพารามิเตอร์เก้าพันล้านตัวไหนดีกว่า รีลีสโน้ตตอบคำถามนั้นได้ดีกว่าการจัดอันดับใด ๆ เพราะมันถูกสร้างมาให้ตรวจสอบกับกราวด์ทรูธต่างชนิดกัน และมีเพียงกราวด์ทรูธชนิดเดียวเท่านั้นที่คอมไพล์ได้