ZwZ2-27B เทียบกับ ZwZ2-9B: สามเท่าของพารามิเตอร์ให้อะไรได้จริง

ในตารางการทดสอบ 25 รายการของ inclusionAI มีเพียงเกณฑ์วัดเดียวเท่านั้นที่โมเดลที่เล็กกว่าชนะ Chartography — การอ่านค่าจากแผนภูมิ — ให้ZwZ2-9Bคะแนน 13.00 และZwZ2-27Bคะแนน 12.00 ทั้งคู่ต่ำ ไม่มีตัวไหนดีเลย แต่ทิศทางคือส่วนที่น่าสนใจ เพราะสองโมเดลนี้คือการทดลองเดียวกันในสองขนาด: สูตรการฝึกเดียว ชุดข้อมูลเดียว วิธีการจากเปเปอร์เดียว นำไปใช้กับตัว Qwen3.5-9B และตัว Qwen3.6-27B ตามลำดับ หากสูตรเหมือนกันทุกประการและโมเดลที่ใหญ่กว่ามีจำนวนพารามิเตอร์มากกว่าสามเท่า การคำนวณว่าขนาดนั้นแสดงออกมาที่ใดจริง ๆ นั้นน่าประหลาดใจกว่าที่คะแนนรวมระดับพาดหัวบ่งชี้

ควรกล่าวไว้ตั้งแต่ต้นด้วยว่าทั้งสองโมเดลเปิดตัวมาในลักษณะเงียบ ๆ แบบเดียวกัน ที่เก็บของ ZwZ2-9B ถูกสร้างเมื่อเวลา 03:42 UTC ของวันที่ 16 ตุลาคม 2026 ส่วนของ ZwZ2-27B เมื่อเวลา 05:42 ในเช้าวันเดียวกัน ทั้งสองมีเฉพาะน้ำหนักโมเดลและไม่มีเอกสารประกอบเป็นเวลาสิบวัน และทั้งสองได้รับการ์ดโมเดลที่มีตารางผลการทดสอบมาตรฐานแบบเต็มในวันที่ 26 ตุลาคม ทั้งสองไม่ได้ระบุสัญญาอนุญาต ทั้งสองยังไม่มีบทความที่เผยแพร่ โดยการ์ดยังคงมีตัวยึดตำแหน่ง PAPER_URL อยู่

สูตรเดียว สองร่างกาย

วิธีการฝึกไม่ใช่แค่คล้ายกันระหว่างทั้งสองโมเดล แต่เป็นวิธีเดียวกันที่นำไปใช้กับ backbone สองแบบ ซึ่งทำให้เปรียบเทียบกันได้อย่างชัดเจนเป็นพิเศษ EvidenceConnect จัดกลุ่มภูมิภาคที่เกี่ยวข้องสามถึงเจ็ดภูมิภาคจากภาพ SA-1B สร้างคำถามโดยใช้ภาพครอปซูมแบบ privileged กรองคำถามเหล่านั้นด้วยความสอดคล้องข้ามโมเดลและการทดสอบแบบตัดหนึ่งภูมิภาคออก แปลงคำถามที่ผ่านการกรองเป็นงานเลือกสี่ตัวเลือก และฝึกด้วย GRPO — ไม่มีขั้นตอน supervised fine-tuning ทั้งสองโมเดลใช้ตัวอย่างฝึกประมาณ 20,000 ตัวอย่าง

ร่างกายแตกต่างกันในลักษณะปกติ:

• ขนาด — พารามิเตอร์ 9B ใน 32 เลเยอร์ที่ขนาดซ่อน 4,096 เทียบกับ 27B ใน 64 เลเยอร์ที่ขนาดซ่อน 5,120

• Attention — 16 query heads และ 4 KV heads ที่มิติ 256 สำหรับ 9B เทียบกับ 24 query heads และ 4 KV heads ที่มิติเดียวกันสำหรับ 27B

• ฟีดฟอร์เวิร์ด — ขนาดระดับกลาง 12,288 เทียบกับ 17,408

• Vision — ทาวเวอร์เดียวกันในทั้งสอง: 27 เลเยอร์ที่ขนาด hidden 1,152 โปรเจกต์ไปยัง 4,096 และ 5,120 ตามลำดับ

• บริบทและคำศัพท์ — เหมือนกันที่ 262,144 ตำแหน่ง และ 248,320 โทเค็น

• การทำนายหลายโทเคน — ถูกนำออกจากทั้งสองแล้ว โดยกำหนดให้ mtp_num_hidden_layers เป็น 0

• โมเดลฐาน — Qwen3.5-9B สำหรับตัวเล็ก และ Qwen3.6-27B สำหรับตัวใหญ่ นั่นคือรายละเอียดที่ทำให้การเปรียบเทียบซับซ้อนขึ้น และหัวข้อถัดไปจะอธิบายว่าทำไม

ช่องว่างโดยรวม 3.92 จุดนั้นมาจากไหนกันแน่

นี่คือสิ่งที่ค้นพบซึ่งฉันไม่ได้คาดไว้ก่อนทำการลบ ค่าเฉลี่ยโดยรวมคือ 60.51 สำหรับ ZwZ2-27B และ 56.59 สำหรับ ZwZ2-9B — ห่างกัน 3.92 คะแนน ตอนนี้ดูว่าสูตรแต่ละสูตรเพิ่มอะไรให้กับฐานของตัวเอง ซึ่งเผยแพร่ในตารางเดียวกัน โดยห้องแล็บเดียวกัน บนฮาร์เนสเดียวกัน:

• ZwZ2-27B — โมเดลฐาน Qwen3.6-27B ได้ 55.52, โมเดลที่ปรับแต่งแล้วได้ 60.51 เพิ่มขึ้น 4.99

• ZwZ2-9B — โมเดลฐาน Qwen3.5-9B ได้ 51.63, โมเดลปรับแต่งได้ 56.59 เพิ่มขึ้น 4.96

สูตรนี้ให้การปรับปรุงที่เกือบจะเหมือนกันทุกประการในทั้งสองสเกล การเพิ่มพารามิเตอร์เป็นสามเท่าให้ผลประโยชน์จากการฝึกเพิ่มขึ้นเพียง 0.03 คะแนน และโมเดลฐานทั้งสองห่างกันอยู่แล้ว 3.89 คะแนนก่อนที่จะมีการแตะต้องใด ๆ

ดังนั้น จากช่องว่าง 3.92 คะแนนระหว่างโมเดลที่ฝึกเสร็จสมบูรณ์แล้ว 3.89 คะแนนนั้นสืบทอดมาจากเช็กพอยต์ที่โมเดลเหล่านี้เริ่มต้นมา การทำให้เชี่ยวชาญเฉพาะทางไม่ได้สร้างช่องว่างนี้ขึ้นมา แต่รักษาช่องว่างนี้ไว้ได้เกือบสมบูรณ์แบบ

นี่คือการเปรียบเทียบภายในแล็บเดียวและใช้ฮาร์เนสเดียวกัน การลบกันจึงชอบธรรมในแบบที่การเปรียบเทียบข้ามผู้ขายไม่เคยเป็น — ตัวเลขทั้งสี่จำนวนนั้นมาจากตารางเดียวกัน ผลิตโดยโค้ดประเมินเดียวกัน บนชุดเบนช์มาร์กเดียวกัน การปัดเศษหยาบพอที่ 0.03 ไม่ควรถูกอ่านว่าเป็นความแม่นยำ การอ่านอย่างซื่อตรงคือ “แยกไม่ออก”

ในทางปฏิบัติแล้ว นี่หมายความว่าการเลือกระหว่างสองโมเดลนี้แทบจะเท่ากับการเลือกระหว่าง Qwen3.5-9B กับ Qwen3.6-27B บวกกับการปรับการรับรู้แบบคงที่อย่างหนึ่ง หากคุณไม่ได้จะเลือกโมเดลฐานที่ใหญ่กว่าสำหรับภาระงานของคุณอยู่แล้ว การฝึกด้วย ZwZ2 ก็จะไม่เปลี่ยนการตัดสินใจนั้น

ในแต่ละโดเมน: ขนาดจะปรากฏอยู่ในจุดเดียว

ค่าเฉลี่ยปิดบังโครงสร้าง และในกรณีนี้โครงสร้างกลับเอนเอียง เมื่อเปรียบเทียบโมเดลที่ปรับแต่งแล้วทั้งสองตัวในทั้งหกโดเมน:

• การรับรู้ระดับละเอียด — 67.57 สำหรับรุ่น 27B เทียบกับ 66.02 สำหรับรุ่น 9B ส่วนต่าง 1.55 ซึ่งเล็กที่สุดในทั้งหก

• การรับรู้เชิงพื้นที่ — 55.98 เทียบกับ 52.33 โดยมีช่องว่าง 3.65

• การให้เหตุผลเชิงภาพทั่วไป — 53.71 เทียบกับ 49.83 ห่างกัน 3.88

• การใช้เหตุผลเชิงพื้นที่แบบมีร่างกาย — 55.71 เทียบกับ 51.11 ส่วนต่าง 4.60

• ความเข้าใจบริบทระยะยาว — 68.77 เทียบกับ 64.08 ส่วนต่าง 4.69

• เอเจนต์มัลติโมดัล — 51.81 เทียบกับ 42.43 ส่วนต่าง 9.38

รูปแบบมีความสอดคล้องกัน: ข้อได้เปรียบของโมเดลที่ใหญ่กว่าจะเพิ่มขึ้นประมาณสองเท่าเมื่องานเปลี่ยนจากการดูภาพเป็นการลงมือกระทำกับภาพ บนเกณฑ์วัดการรับรู้ระดับละเอียดแปดรายการ ซึ่งเป็นเกณฑ์ที่วิธีการนี้ออกแบบมาเพื่อรองรับโดยเฉพาะ สองโมเดลมีคะแนนต่างกันไม่เกินหนึ่งจุดห้า โดยที่ Chartography ให้ผลตรงกันข้าม

โดเมนเชิงเอเจนต์คือจุดที่ 27B ทำให้การใช้หน่วยความจำคุ้มค่า และช่องว่างส่วนใหญ่มาจากการทดสอบเพียงรายการเดียว UI-Vision ได้ 66.66 สำหรับ ZwZ2-27B และ 45.48 สำหรับ ZwZ2-9B — ห่างกัน 21.18 คะแนน ซึ่งมากกว่าคู่ใด ๆ ในตาราง ScreenSpot-Pro และ AgentVista มีส่วนช่วยน้อยกว่า โดยได้ 70.59 เทียบกับ 66.98 และ 18.18 เทียบกับ 14.83

UI-Vision เป็นเบนช์มาร์กด้านการเชื่อมโยงกับอินเทอร์เฟซ และผลลัพธ์ได้บอกบางสิ่งที่เป็นเรื่องเฉพาะเจาะจง ไม่ใช่แบบกว้าง ๆ: หากภาระงานของคุณคือการอ่านและใช้งานอินเทอร์เฟซซอฟต์แวร์ โมเดล 27B กำลังทำสิ่งที่ 9B ส่วนใหญ่ทำไม่ได้ หากภาระงานของคุณคือการเปรียบเทียบบริเวณที่ถูกทำเครื่องหมายบนรูปถ่ายหรือหน้าของเอกสาร 9B ก็ทำได้ใกล้เคียงกันด้วยน้ำหนักเพียงหนึ่งในสาม

การทดสอบเพียงหนึ่งเดียวที่โมเดลขนาดเล็กชนะ และควรให้น้ำหนักกับสิ่งนี้มากเพียงใด

Chartography เป็นสิ่งที่ควรค่าแก่การไตร่ตรองอย่างยิ่ง เพราะมันเป็นข้อยกเว้นที่พิสูจน์ว่าความเชี่ยวชาญเฉพาะทางนั้นแคบเพียงใด คะแนนทั้งสองนั้นแย่มาก — 13.00 และ 12.00 จาก 100 เทียบกับฐาน Qwen3.6-27B ที่ 8.00 และฐาน Qwen3.5-9B ที่ 7.00 การฝึกยกทั้งสองโมเดลขึ้นประมาณห้าถึงหกคะแนนในงานที่พวกมันยังทำได้ไม่น่าเชื่อถือ และการยกของ 9B บังเอิญสูงกว่าอยู่หนึ่งคะแนน

ข้อสรุปที่ถูกต้องไม่ใช่ว่า 9B เก่งกว่าในการอ่านแผนภูมิ แต่คือในงานที่อยู่นอกการกระจายข้อมูลฝึกไกลขนาดนี้ ความแตกต่างระหว่างสองโมเดลเป็นเพียงสัญญาณรบกวน และพฤติกรรมที่สมเหตุสมผลคือการส่งงานอ่านแผนภูมิไปที่อื่นโดยสิ้นเชิง โมเดลที่ได้คะแนน 12 หรือ 13 บนเบนช์มาร์กแผนภูมิไม่มีความสามารถด้านแผนภูมิให้เลือกใช้

ข้อควรระวังเดียวกันนี้ใช้กับคะแนนสัมบูรณ์ต่ำอื่น ๆ ด้วย ZwZ2-9B มีค่าเฉลี่ย 42.43 ในเอเจนต์มัลติโมดัล และ 18.18 บน AgentVista ส่วน ZwZ2-27B มีค่าเฉลี่ย 51.81 และ 18.18 ทั้งสองรุ่นอ่อนในงานเชิงเอเจนต์เมื่อพิจารณาเป็นค่าสัมบูรณ์ และการที่รุ่นที่ใหญ่กว่านั้นอ่อนน้อยกว่ามากก็ไม่ได้ทำให้มันแข็งแกร่ง

memory footprint ที่แท้จริงมีหน้าตาเป็นอย่างไร

ความแตกต่างด้านพารามิเตอร์คือส่วนที่คุณต้องจ่ายทุกวัน ZwZ2-9B เป็นไฟล์ safetensors ไฟล์เดียวที่มีพารามิเตอร์ 9.41 พันล้านตัว ขนาดประมาณ 19 GB ใน bf16 ส่วน ZwZ2-27B ถูกแบ่งออกเป็นสอง shard รวมประมาณ 54 GB เมื่อเพิ่ม activation ของ vision tower และงบ KV ที่ 262,144 ตำแหน่ง การแบ่งในทางปฏิบัติคือ:

• {{1}}ZwZ2-9B{{/1}} — พอดีสบายบนตัวเร่งความเร็วระดับผู้บริโภค 24 GB เพียงตัวเดียวที่ bf16 แน่นแต่ใช้งานได้; ยังไม่มีรุ่นที่ควอนไทซ์วางจำหน่าย ดังนั้นคุณต้องใช้ความแม่นยำเต็มรูปแบบเว้นแต่คุณจะควอนไทซ์เอง

• ZwZ2-27B — การ์ด 80 GB ที่ยังมีพื้นที่เหลือเผื่อ หรือการ์ด 40 GB สองใบแบบแยก tensor-parallel ที่ตึงตัว ไม่มีสเปกใดที่ต่ำกว่านี้รันโมเดลนี้ที่ bf16 ได้

• การรองรับการให้บริการ — ไม่มีรีโปใดมีสูตรการใช้งานสำหรับ vLLM หรือ SGLang ทั้งคู่ปักหมุด transformers==5.13.1 ไว้ใน quickstart และทั้งคู่มีเอกสารเฉพาะโหมด non-thinking โดยคำตอบถูกห่อด้วยแท็ก <answer> ทั้งคู่ไม่ประกาศ license ซึ่งสำหรับการ deploy ระดับโปรดักชันแล้ว ถือเป็นอุปสรรคที่ใหญ่กว่าตัวเลขหน่วยความจำทั้งสองค่าเสียอีก

ประเด็นสุดท้ายนั้นสมควรได้ประโยคของตัวเอง เพราะมันเหมือนกันทั้งสองฝ่าย: ไม่มีใบอนุญาตให้อ่าน การ์ดเหล่านี้อ้างถึง “ใบอนุญาตที่มาพร้อมกับน้ำหนักที่เผยแพร่” และน้ำหนักเหล่านั้นก็ไม่มีใบอนุญาตใด ๆ ไม่ว่าคุณจะเลือกขนาดไหน คำถามเชิงพาณิชย์ก็ยังไม่ได้รับคำตอบ

ใช้ทั้งสองอย่างแทนที่จะเลือก

ตารางโดเมนชี้ให้เห็นรูปแบบสองระดับชัดกว่าการชี้ผู้ชนะ การรับรู้ละเอียดแทบไม่เปลี่ยนแปลงระหว่างขนาดต่าง ๆ ดังนั้น 9B จึงเป็นการทดลองแรกที่สมเหตุสมผลในส่วนนั้น งานอินเทอร์เฟซแบบเอเจนต์เปลี่ยนแปลงมากกว่าเก้าคะแนนเมื่อเฉลี่ยตามโดเมน และยี่สิบเอ็ดคะแนนบน UI-Vision ดังนั้นทราฟฟิกประเภทนั้นควรไปที่ 27B เราที่ส่งตามประเภทงานจะใช้โทเค็นส่วนใหญ่ไปกับโมเดลราคาถูก และเก็บโมเดลราคาแพงไว้สำหรับหน้าจอ

ขนาดทั้งสองของ ZwZ2 ไม่มีอยู่ในแคตตาล็อกของเรา ดังนั้นรูปแบบนั้นในตอนนี้จึงหมายถึงการรันเช็กพอยต์สองตัวบนฮาร์ดแวร์ของคุณเองและเขียนระบบส่งต่อคำขอเอง จุดที่ OrcaRouter เข้ามาเสริมคือฝั่งงานทั่วไปของสแต็กเดียวกัน: Qwen3.8-27B และ Qwen3.5-27B ต่างก็ สามารถกำหนดเส้นทางได้ที่นี่ภายใต้คีย์เดียว ในราคาตามรายการของผู้ให้บริการโดยไม่บวกราคาเพิ่ม ดังนั้นเวิร์กโหลดที่ไม่จำเป็นต้องเปรียบเทียบภูมิภาคจึงสามารถไปยังโมเดลที่โฮสต์ไว้พร้อมการสลับเมื่อขัดข้องอัตโนมัติได้ ขณะที่ทราฟฟิกเฉพาะทางยังคงอยู่ในเครื่อง นี่เป็นข้อกล่าวอ้างที่เล็กกว่าคำว่า “กำหนดเส้นทาง ZwZ2 ผ่านเรา” ซึ่งเราไม่สามารถเสนอได้ — แต่เป็นส่วนของสถาปัตยกรรมที่พร้อมใช้งานจริงในตอนนี้

สรุปตามจริงแล้วไม่หรูหราเลย เช็กพอยต์สองตัวใช้สูตรเดียวกัน มีความเงียบแบบเดียวกัน ขาดใบอนุญาตเหมือนกัน และช่องว่างด้านประสิทธิภาพที่แทบทั้งหมดคือช่องว่างที่มีอยู่เดิมของโมเดลฐาน บวกกับความเชี่ยวชาญเฉพาะทางจริงหนึ่งด้านที่ปลายบนสำหรับงานอินเทอร์เฟซ หากคุณต้องการตัวเลข UI ของ 27B คุณก็ต้องมี 27B และการ์ด 80 GB หากไม่ต้องการ 9B ให้ผลต่างไม่เกินหนึ่งจุดครึ่งในงานที่ทั้งโปรเจกต์ถูกสร้างขึ้นมาเพื่อปรับปรุง และมันยังรันได้บนฮาร์ดแวร์ที่คุณน่าจะมีอยู่แล้ว