ZwZ2-9B กับ MathForm-8B: ทรังค์เดียวกัน แต่ปริมาณความจริงที่แตกต่างกันมากถึงสองแบบ

โมเดลสองตัวที่เผยแพร่ห่างกันแปดสัปดาห์ จากสองแล็บที่แตกต่างกัน สร้างบนสองเจเนอเรชันที่ต่างกันของตระกูลเดียวกัน — และทรังก์ของทั้งคู่ก็มีความกว้างเท่ากัน MathForm-8B ซึ่งเปิดตัวโดย OpenBMB เมื่อวันที่ 14 สิงหาคม 2026 ในฐานะไฟน์จูนของ Qwen3-8B รัน 36 เลเยอร์ที่ hidden size 4,096 โดยมี intermediate size 12,288 ZwZ2-9B ซึ่งโพสต์โดย inclusionAI เมื่อวันที่ 16 ตุลาคม 2026 บนสแต็ก Qwen3.5-9B รัน 32 เลเยอร์ที่ hidden size 4,096 โดยมี intermediate size 12,288 รุ่นพ่อแม่ห่างกันหลายเจเนอเรชัน คำศัพท์ 151,936 และ 248,320 งานที่ต่างกันโดยสิ้นเชิง — แต่กลับมีเรขาคณิตทรังก์ 4,096-by-12,288 แบบเดียวกันในทั้งคู่ สิ่งที่แยกทั้งสองออกจากกันไม่ใช่สถาปัตยกรรม แต่คือตัวหนึ่งมาพร้อมเปเปอร์ ชุดข้อมูล ฮาร์เนสสำหรับประเมิน และไลเซนส์ ส่วนอีกตัวมาพร้อมแปดไฟล์

เวอร์ชันสั้น ๆ: ถ้าคุณอธิบายปัญหาของคุณได้ว่า "เปลี่ยนร้อยแก้วนี้ให้เป็น Lean 4" MathForm-8B ก็เป็นผู้เชี่ยวชาญที่มีเอกสารกำกับและมีตัวเลขที่เผยแพร่แล้ว และคุณควรใช้มัน ถ้าปัญหาของคุณเกี่ยวข้องกับพิกเซล และคุณต้องการโมเดลภาพ-ภาษาแบบทั่วไป ZwZ2-9B คือเช็กพอยต์ขนาด 9.4B ที่ยังไม่มีใครระบุคุณลักษณะ และการนำมาใช้หมายถึงการกลายเป็นผู้ประเมินรายแรกของมัน ส่วนที่น่าสนใจของการเปรียบเทียบนี้คือสิ่งที่ความไม่สมมาตรนั้นสอนเกี่ยวกับมูลค่าของมรดกร่วมกัน

ทายาทสองคน ต่างกันหนึ่งรุ่น

MathForm-8B เป็นโมเดลที่พัฒนาต่อยอดจาก Qwen3-8B และระบุเช่นนั้นอย่างเปิดเผย: การ์ดของมันบันทึกโมเดลฐาน ชุดข้อมูลฝึก วิธีการฝึก และบทความวิจัยไว้ คอนฟิกเป็นโครงร่าง Qwen3 แบบตามตำรา — 36 เลเยอร์, 32 หัว query เทียบกับ 8 หัว key-value ที่มิติหัว 128, คำศัพท์ 151,936 โทเคน, เพดาน 40,960 ตำแหน่ง, ฐาน rotary 1,000,000 และ attention แบบเต็มในทุกเลเยอร์ ไม่มีอะไรแปลกพิสดาร ไม่มีอะไรซ่อนเร้น

ZwZ2-9B เป็นอนุพันธ์ของ Qwen3.5-9B ที่บอกเรื่องนี้เพียงผ่านแท็ก Hub เพียงแท็กเดียว คอนฟิกของมันชี้ไปที่ Qwen3_5ForConditionalGeneration, และค่าทางสถาปัตยกรรมทุกค่าตรงกับ Qwen3.5-9B ยกเว้นเลเยอร์ multi-token prediction หนึ่งเลเยอร์ที่ถูกลบไป คำศัพท์ขนาด 248,320 โทเคน เพดาน 262,144 ตำแหน่ง M-RoPE แบบสลับ และวิชันทาวเวอร์ ล้วนสืบทอดมาโดยไม่เปลี่ยนแปลง

• พารามิเตอร์ — ZwZ2-9B: 9,409,813,744. MathForm-8B: 8 พันล้าน ตามการ์ดของมัน

• หลัก — Qwen3.5-9B กับ Qwen3-8B ดังนั้นทั้งสองจึงสืบทอดการออกแบบแอทเทนชันที่แตกต่างกันจากรุ่น Qwen ที่แตกต่างกัน

• กลไก Attention — 24 เลเยอร์ linear attention บวก 8 เลเยอร์ full attention เทียบกับ full attention ในทั้ง 36 เลเยอร์

• เรขาคณิตของทรังก์ — ขนาดชั้นซ่อน 4,096 และขนาดชั้นกลาง 12,288 ในทั้งสองแบบ

• คำศัพท์ — 248,320 โดยมี token id ของรูปภาพและวิดีโออยู่ภายใน เทียบกับ 151,936 และข้อความเท่านั้น

• เพดานบริบท — 262,144 ตำแหน่ง เทียบกับ 40,960

• โมดัลลิตีใน — ข้อความ รูปภาพ และวิดีโอ เทียบกับข้อความเท่านั้น

• เผยแพร่หลักฐานแล้ว — ไฟล์คอนฟิกเทียบกับบทความ ชุดข้อมูล ไปป์ไลน์การประเมิน และข้อกำหนด Apache-2.0

MathForm-8B นำเสนออะไรบ้าง

การ์ดนี้ครบถ้วนอย่างผิดปกติ และคุ้มค่าที่จะไล่ดูอย่างละเอียด เพราะความแตกต่างที่ตามมาขึ้นอยู่กับมัน MathForm-8B แปลข้อความคณิตศาสตร์ในภาษาธรรมชาติเป็น Lean 4 มันถูกฝึกบน FormalVerse — ชุดข้อมูลที่ OpenBMB เผยแพร่ควบคู่กัน — ผ่านการปรับละเอียดแบบมีผู้สอน จากนั้นจึงเป็นการเรียนรู้แบบเสริมกำลัง โดยการคอมไพล์ Lean และผลตอบกลับด้านความสอดคล้องเชิงความหมายเป็นตัวให้สัญญาณรางวัล บทความนี้คือ MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, arXiv 2608.14221 และที่เก็บโค้ดประกอบด้วยไปป์ไลน์การประเมิน ไฟล์เกณฑ์มาตรฐาน และสคริปต์ Pass@k

ผลลัพธ์ถูกรายงานเป็นอัตราการผ่าน Pass@8 ภายใต้เกณฑ์สองข้อที่แยกจากกัน ได้แก่ Syntax Check ซึ่งหมายความว่า Lean ที่สร้างขึ้นคอมไพล์ได้จริง และ Consistency Check ซึ่งหมายความว่าคอมไพล์ได้และสื่อความหมายเดียวกับโจทย์ต้นฉบับ ในหกเบนช์มาร์ก การ์ดรายงานค่าเฉลี่ยแบบมาโครที่ 88.06 ภายใต้ syntax และ 72.37 ภายใต้ consistency ซึ่งนำหน้า autoformalizer ขนาด 8B รายอื่น ๆ ที่มันระบุไว้ และนำหน้ารายการขนาด 32B หลายรายการในคอลัมน์ syntax การเปรียบเทียบหลังสุดนี้เป็นข้ออ้างประเภทที่ควรค่าแก่การทดสอบมากกว่าการพูดซ้ำ และมีรายละเอียดในการตั้งค่าการทดลองที่ทำให้การทดสอบไม่ใช่เรื่องง่าย: การตรวจสอบการคอมไพล์ต้องมี Kimina Lean Server ที่กำลังรันอยู่ และการทดลองใช้ Lean 4.21.0 นี่ไม่ใช่เช็กพอยต์ที่คุณให้คะแนนด้วยสคริปต์ Python ได้

ตัวเลขทุกตัวข้างต้นเป็นข้อมูลที่ผู้ขายรายงานเอง OpenBMB เป็นผู้รันการประเมิน OpenBMB เป็นผู้เผยแพร่ และรีโพซิทอรีก็มีสคริปต์สำหรับทำซ้ำอยู่จริง ซึ่งมากกว่าที่ห้องแล็บส่วนใหญ่ให้ และเป็นเหตุผลว่าตัวเลขเหล่านี้จึงมีคุณค่าแม้จะยังไม่ได้รับการตรวจสอบยืนยัน การ์ดยังเผยแพร่การตั้งค่าการสร้างที่แนะนำ ได้แก่ temperature 0.6 และ top-p 0.95 ซึ่งเป็นรายละเอียดการใช้งานเล็กๆ แบบที่โมเดลซึ่งไม่มีการ์ดปล่อยให้คุณต้องเดาเอง

สิ่งที่ ZwZ2-9B นำเสนอ

ไฟล์ config.json, ไฟล์ tokenizer_config.json เทมเพลตแชท และน้ำหนัก 18.8 GB ไม่มี README ไม่มีฟิลด์ใบอนุญาต ไม่มีแท็กไปป์ไลน์ และไม่มีชุดข้อมูล Hub รายงานว่าดาวน์โหลดเป็นศูนย์และถูกใจสองครั้ง และไม่มีคอลเลกชันของ inclusionAI ที่มีมัน.

Reading the files does yield real information, and it is worth doing before dismissing the checkpoint. The chat template injects a default system prompt when a request arrives without one, and it defaults to not reasoning — it emits an empty <think></think> block unless a caller explicitly asks for thinking, which is the opposite of what its Qwen3.5-9B parent does. The config carries a 27-layer vision tower and a video processor accepting up to 768 frames at 2 frames per second. The parameters are 9,409,813,744 across 760 tensors, all bfloat16.

สิ่งที่ไม่มีข้อมูลเหล่านั้นบอกคุณก็คือ โมเดลนี้เก่งด้านใด ถูกฝึกบนข้อมูลอะไร เป็น instruction model หรืออย่างอื่น หรือคุณใช้งานมันได้ภายใต้เงื่อนไขใด MathForm-8B ตอบคำถามทั้งสี่ข้อในหน้าจอแรกของมัน ZwZ2-9B ไม่ตอบสักข้อในที่ใดเลย

การที่ใช้ 4,096 ร่วมกันไม่ใช่เรื่องบังเอิญ และไม่ใช่ทางลัด

ทั้งสองโมเดลใช้ trunk กว้าง 4,096 พร้อมขนาด intermediate 12,288 และเหตุผลก็เหมือนกันในทั้งสองกรณี: เพราะเป็นเจเนอเรชัน Qwen ขนาดนั้น Qwen3-8B และ Qwen3.5-9B เป็นดีไซน์ที่ต่างกัน — ใช้ full attention ตลอดทั้งเครือข่าย เทียบกับส่วนผสมแบบสามต่อหนึ่งของ linear attention และ full attention — แต่ทั้งคู่สร้างบนความกว้างเดียวกัน เพราะนั่นคือสิ่งที่ Qwen ขนาดเล็กเป็น การได้เห็นว่า fine-tune สืบทอดทุกมิติของโมเดลต้นทางเป็นหลักฐานที่ชัดเจนที่สุดเท่าที่มีว่า fine-tune สืบทอดคุณสมบัติของโมเดลต้นทางแบบยกชุด: ทั้งจุดแข็งและรูปแบบความล้มเหลว ไม่ใช่แค่รูปร่าง MathForm-8B บอกคุณว่ามันมาจากโมเดลต้นทางตัวไหน คุณจึงไปอ่านเกี่ยวกับมันได้ ส่วน ZwZ2-9B ไม่บอก และแท็กบน Hub ก็เป็นเพียงเบาะแสเดียวที่ย้อนกลับไปได้

อันไหนที่คุณต้องการจริงๆ

สิ่งเหล่านี้ไม่ใช่ตัวแทน และส่วนที่ทับซ้อนกันแทบจะเป็นศูนย์ MathForm-8B ทำสิ่งเดียว: เปลี่ยนข้อความคณิตศาสตร์ในภาษาธรรมชาติให้เป็น Lean 4 ที่คอมไพล์ผ่าน ระบบประเมินทั้งหมดของมัน รวมถึงข้อกำหนดเรื่องเซิร์ฟเวอร์ Lean ที่ทำงานอยู่ ถูกสร้างขึ้นโดยมีสิ่งนั้นเป็นศูนย์กลาง หากนั่นคือปัญหาของคุณ มันคือคำตอบที่แข็งแกร่ง มีเอกสารประกอบ และใช้ Apache-2.0 พร้อมเครื่องมือที่ทำซ้ำได้ และตัวเลขความสอดคล้อง 72.37 คือตัวเลขที่ต้องเอาชนะ — ความสอดคล้อง ไม่ใช่ไวยากรณ์ เพราะการทำให้เป็นทางการที่คอมไพล์ผ่านแต่กลับหมายถึงสิ่งอื่นคือบั๊กที่ทำให้คุณเสียหายมากกว่าการคอมไพล์ที่ล้มเหลว

ZwZ2-9B เป็นโมเดลภาพ-ภาษาทั่วไป มันไม่เคยถูกประเมินในงานการทำให้เป็นทางการอัตโนมัติ ไม่มีข้อพิจารณาเรื่องโทเคไนเซอร์สำหรับ Lean ที่จะกล่าวถึง และถูกเผยแพร่โดยแล็บที่งานก่อนหน้านี้เกี่ยวกับการรับรู้ทางภาพระดับละเอียด อย่าไปมองหาคะแนนของ ZwZ2-9B บนเบนช์มาร์ก Lean; ไม่มีเหตุผลให้มันต้องมีอยู่

คำถามที่แท้จริงคือคุณต้องการผู้เชี่ยวชาญเฉพาะทางหรือผู้รอบรู้ทั่วไปกันแน่ ผู้เชี่ยวชาญเฉพาะทางเก่งกว่าในงานเดียวของมัน และไร้ประโยชน์นอกเหนือจากนั้น ผู้รอบรู้ทั่วไปจะด้อยกว่าในทุกเรื่องที่เฉพาะเจาะจง และเป็นทางเลือกเดียวเมื่อรูปร่างของอินพุตแปรเปลี่ยน เหตุผลที่การเปรียบเทียบนี้ไม่สมดุล ไม่ใช่เพราะแปดสัปดาห์ที่ห่างกันระหว่างทั้งสอง หรือพารามิเตอร์หนึ่งพันล้านตัว — แต่เป็นเพราะหนึ่งในนั้นถูกเผยแพร่พร้อมเอกสารประกอบที่ผู้เชี่ยวชาญเฉพาะทางต้องการ ส่วนอีกอันถูกเผยแพร่ในฐานะจุดเริ่มต้นสำหรับงานของคนอื่น

หากคุณต้องการความสามารถทั้งสองอย่างในไปป์ไลน์เดียว

มีรูปแบบจริงที่โหมดทั้งสองนี้มาบรรจบกัน: โมเดลทั่วไปอ่านเอกสารที่กำกวม ดึงข้อกล่าวอ้างเชิงคณิตศาสตร์ออกมา ส่งต่อให้ตัวแปลงให้เป็นรูปแบบทางการ และตัวตรวจสอบตัดสินว่าผลลัพธ์นั้นใช้ได้หรือไม่ นั่นคือการเรียกโมเดลสามครั้งที่ทำหน้าที่ต่างกัน และเป็นรูปแบบที่ชั้นการจัดเส้นทางถูกสร้างขึ้นมาเพื่อทำให้มีต้นทุนต่ำ — DSL สำหรับจัดเส้นทางของ OrcaRouter ประกอบโมเดลหลายตัวเข้าเป็นการเรียกครั้งเดียว ดังนั้นการกระจายงานออกไปและการติดตามผลจึงเป็นการร้องขอเดียว แทนที่จะเป็นบริการประสานงานที่คุณต้องดูแลรักษา การหลอมรวมโมเดล ซึ่งคณะโมเดลตอบร่วมกันและกรรมการเลือกคำตอบที่แข็งแกร่งที่สุด เป็นแนวคิดเดียวกันที่นำไปใช้กับคำถามยากเพียงข้อเดียว แทนที่จะใช้กับไปป์ไลน์

ไม่มีทั้ง ZwZ2-9B และ MathForm-8B ในแคตตาล็อกของเรา และเราจะไม่แต่งเติมให้ดูดี: MathForm-8B สามารถดาวน์โหลดได้ภายใต้ Apache-2.0 และให้บริการได้จากอินสแตนซ์ vLLM หรือ SGLang ของคุณเอง ส่วน ZwZ2-9B เป็นรีพอซิทอรีที่ไม่มีเอนด์พอยต์เลย สิ่งที่สามารถเราเตอร์ได้ในวันนี้จากฝั่งการให้เหตุผลของไปป์ไลน์นั้นคือ qwen/qwen3.8-27b — เรือธงแบบ dense รุ่นปัจจุบันของ Qwen, Apache-2.0, มีบริบท 262K โทเค็นและเพดานโฮสต์ 1M โทเค็นที่ราคา $0.33 ต่อล้านโทเค็นอินพุตและ $2.40 ต่อล้านเอาต์พุต, ส่งผ่านในราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม.

ความไม่สมมาตรนั้นมีค่าแค่ไหน

MathForm-8B เป็นโมเดลที่น่าเขียนถึงมากกว่า เพราะมีอะไรให้ตรวจสอบ ZwZ2-9B เป็นอาร์ติแฟกต์ที่น่าสนใจกว่า เพราะเช็กพอยต์ขนาด 9.4B ที่มีเทมเพลตแชตที่ปรับจูนแล้วและหัวพยากรณ์ที่ถูกถอดออก เป็นหลักฐานว่ามีคนทำงานจริง — และเพราะ inclusionAI มีประวัติผลงานกับชื่อ ZwZ ที่ทำให้โพสต์ถัดไปน่าจับตามอง

สำหรับใครก็ตามที่กำลังตัดสินใจในวันนี้ กฎนี้ไม่หรูหราเลย งานวิจัยที่ตีพิมพ์ ชุดข้อมูล โมเดลฐานที่ระบุชื่อ และสัญญาอนุญาตที่ระบุไว้ ไม่ใช่แค่เอกสารธุรการ สิ่งเหล่านี้คือความแตกต่างระหว่างโมเดลที่คุณวางแผนโดยอ้างอิงได้ กับโมเดลที่คุณต้องทำวิศวกรรมย้อนกลับ และไม่ว่าสถาปัตยกรรมจะน่าสนใจแค่ไหน ก็ปิดช่องว่างนั้นไม่ได้

ผลลัพธ์แบบนี้ยังเป็นเครื่องเตือนใจว่าความผิดพลาดของโมเดลได้รับการบันทึกไว้แล้ว: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่อยู่เบื้องหลังโมเดลระดับนี้ ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งที่มาของตนเอง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้ง