ZwZ2-4B vs ZwZ2-9B: ความลึกเท่ากัน น้ำหนักเป็นสองเท่า แต่ต่างกัน 1.8 คะแนน

สมมติฐานที่เห็นได้ชัดเกี่ยวกับโมเดล 4B และโมเดล 9B จากตระกูลเดียวกันคือรุ่นที่เล็กกว่าจะตื้นกว่า ZwZ2-4B และ ZwZ2-9B ไม่เป็นเช่นนั้น ทั้งสองระบุว่ามีเลเยอร์ transformer 32 ชั้นพอดี ทั้งสองใช้ 16 query heads เทียบกับ 4 key-value heads ที่มิติหัว 256 ทั้งสองมีคลังคำศัพท์ 248,320 โทเคนเดียวกันและเพดานบริบท 262,144 ตำแหน่งเดียวกัน และทั้งสองใช้ตาราง attention แบบ linear-to-full อัตรา 3:1 เดียวกัน 9B ไม่ใช่ ZwZ2-4B ที่ลึกกว่า แต่เป็นรุ่นที่กว้างกว่า และเมื่อคุณเห็นเช่นนั้น ส่วนที่เหลือของการเปรียบเทียบนี้ — รวมถึงช่องว่างคะแนนของผู้ขายเอง — ก็จะไม่ดูเป็นเส้นตรงอีกต่อไป

เช็กพอยต์ทั้งสองยังใกล้กันทั้งในแง่เวลาและแหล่งกำเนิด ZwZ2-4B ถูกสร้างขึ้นเมื่อวันที่ 15 ตุลาคม 2026 ส่วน ZwZ2-9B สร้างเมื่อวันที่ 16 ตุลาคม ทั้งคู่สร้างโดย inclusionAI ทั้งคู่ผ่านการฝึกด้วยไปป์ไลน์เดียวกันบนชุดข้อมูลเดียวกันซึ่งประกอบด้วยคำถามแบบเลือกตอบ 20,662 ข้อ และยังไม่มีการประกาศทั้งสองตัว สิ่งที่แตกต่างกันคือโมเดลฐาน ได้แก่ Qwen3.5-4B และ Qwen3.5-9B ตามลำดับ และความกว้างของทุกบล็อกที่สืบเนื่องมาจากความแตกต่างนั้น

diff ของคอนฟิก และสิ่งที่มันบอกเป็นนัย

การอ่านไฟล์การกำหนดค่าทั้งสองแบบโดยไล่เทียบทีละชั้นพบความแตกต่างเชิงโครงสร้างที่แท้จริงหนึ่งจุด และอีกหลายจุดที่เกิดขึ้นตามมาอย่างเป็นกลไกจากความแตกต่างนั้น

• ความลึก — 32 เลเยอร์ในทั้งสองเหมือนกัน

• ความกว้างของชั้นซ่อน — 2,560 สำหรับ 4B เทียบกับ 4,096 สำหรับ 9B คิดเป็น 1.6 เท่า

• ความกว้างของฟีดฟอร์เวิร์ด — ขนาดระดับกลาง 9,216 เทียบกับ 12,288

• เรขาคณิตของ Attention — 16 query heads, 4 key-value heads, มิติของ head 256, ในทั้งสอง

• ตารางการให้ attention — 24 เลเยอร์เชิงเส้นและ 8 เลเยอร์แบบ full-attention ในทั้งสอง

• บริบท — 262,144 ตำแหน่งในทั้งสอง, M-RoPE ที่ 11/11/10, partial rotary 0.25

• คำศัพท์ — 248,320 โทเคนในทั้งสองรุ่น โดยรุ่น 4B ใช้ tied embeddings และรุ่น 9B ใช้ untied embeddings

• Vision tower — 24 เลเยอร์ที่ hidden 1,024 เทียบกับ 27 เลเยอร์ที่ hidden 1,152

• การทำนายหลายโทเคน — มีเลเยอร์ MTP เป็นศูนย์ทั้งสองแบบ โดยถอด speculative head ออกจากโมเดลฐานแต่ละตัว

• พารามิเตอร์ — 4,539,265,536 เทียบกับ 9,409,813,744 คิดเป็นปัจจัย 2.07

สองในแถวเหล่านั้นควรค่าแก่การกล่าวถึง การที่ 9B ใช้ embedding แบบไม่ผูกน้ำหนักกัน หมายความว่าเมทริกซ์อินพุตและเอาต์พุตเป็นสำเนาแยกจากกันของตารางขนาด 248,320 x 4,096 เพียงเท่านี้ก็คิดเป็นพารามิเตอร์ราวสองพันล้านตัว ซึ่งเป็นส่วนสำคัญที่ทำให้อัตราส่วนพารามิเตอร์ (2.07) สูงกว่าอัตราส่วนความกว้าง (1.6) และวิสชันทาวเวอร์ก็เติบโตไปพร้อมกับสแต็กภาษา — 27 เลเยอร์ที่ hidden 1,152 เทียบกับ 24 เลเยอร์ที่ 1,024 — ดังนั้น 9B จึงมองภาพผ่าน encoder ที่กว้างขึ้น ไม่ใช่แค่ decoder ที่กว้างขึ้น

ตัวเลข: กำไรที่มากขึ้น แต่เพดานที่ต่ำลง

inclusionAI เผยแพร่ค่าสรุปรวมหนึ่งค่าต่อโมเดล: ความแม่นยำโดยรวมจาก 25 เบนช์มาร์กใน 6 โดเมน โดยถ่วงน้ำหนักเท่ากัน เมื่อดูจากตัวเลขบนการ์ดเอง ตระกูลนี้มีค่าดังนี้

• ZwZ2-4B — ค่าพื้นฐาน 49.41, ค่าหลังปรับแต่ง 54.79 เพิ่มขึ้น 5.38 คะแนน

• ZwZ2-9B — ค่าพื้นฐาน 51.63, ค่าที่ปรับแต่งแล้ว 56.59, เพิ่มขึ้น 4.96 คะแนน

• ZwZ2-27B — ค่าฐาน 55.52, ค่าปรับแต่ง 60.51 เพิ่มขึ้น 4.99 คะแนน

ดังนั้น 4B ได้คะแนนเพิ่มมากที่สุดและจบเป็นอันดับสุดท้าย 9B ได้คะแนนเพิ่มน้อยกว่าและจบสูงกว่า 1.80 คะแนน ทั้งสองข้อความเป็นจริง และข้อใดสำคัญนั้นขึ้นอยู่กับคำถามที่คุณกำลังถามทั้งหมด ถ้าคำถามคือ "สูตรการฝึกนี้เพิ่มได้มากแค่ไหน" คำตอบคือมากที่สุดที่ 4B ถ้าคำถามคือ "โมเดลใดแม่นยำกว่า" คำตอบคือ 9B โดยมากกว่า 1.80 คะแนน และไม่ว่าจะนำเสนออย่างไรก็เปลี่ยนสิ่งนั้นไม่ได้

ทั้งหมดนี้เป็นตัวเลขที่ผู้ขายรายงานเองบนชุด benchmark ที่ผู้ขายเลือกเอง ยังไม่มีใครให้คะแนนสมาชิกใดในตระกูลนี้อย่างอิสระ และรายละเอียดราย benchmark อยู่ในรูปภาพมากกว่าข้อความ — มี SVG และ PNG บนการ์ดแต่ละใบ ช่องว่าง 1.80 คะแนนเป็นสรุปที่ตรงไปตรงมาของสิ่งที่เผยแพร่; ไม่ใช่การวัดที่คุณหรือผมเคยเห็นว่าถูกทำซ้ำ

ทำไมผลที่ได้จึงลดลงเมื่อโมเดลใหญ่ขึ้น

รูปแบบนี้ — 5.38 ที่ 4B, 4.96 ที่ 9B, 4.99 ที่ 27B — สมควรได้รับการพิจารณาอย่างจริงจังมากกว่าการปัดผ่านไป สูตรการฝึกที่เพิ่มความสามารถให้โมเดลขนาดเล็กกำลังเติมช่องว่าง: โมเดลฐานไม่มีความจุหรือสัญญาณการฝึกที่เพียงพอจะใส่ใจกับหลักฐานระดับภูมิภาคที่มีรายละเอียดละเอียดอ่อน และคำถามแบบเลือกตอบที่ผ่านการกรองอย่างรอบคอบจำนวน 20,000 ข้อก็สอนทักษะที่มันขาดไปให้ โมเดลฐานขนาดใหญ่กว่ามีความสามารถนั้นอยู่แล้วมากกว่า ดังนั้นหลักสูตรเดียวกันจึงมีสิ่งที่จะเพิ่มได้น้อยกว่า ผลตอบแทนส่วนเพิ่มจากข้อมูลจึงลดลงเมื่อโมเดลฐานดีขึ้น

นั่นคือการตีความในแง่ดี และเป็นแบบที่ตัวเลขสนับสนุน การตีความในแง่ร้ายคือชุดเบนช์มาร์กมีเพดาน หรือรูปแบบงานแบบสี่ตัวเลือกให้ผลตอบแทนแก่โมเดลขนาดเล็กมากเกินสัดส่วน การตีความทั้งสองแบบสอดคล้องกับตัวเลขที่เผยแพร่ ซึ่งเป็นเหตุผลว่าทำไมช่องว่าง 1.80 จุดจึงควรถือเป็นทิศทางมากกว่าขนาด

ยังมีความเป็นไปได้ประการที่สามที่สำคัญกว่าสำหรับการนำไปใช้: ผลประโยชน์ที่ได้อาจกระจุกตัวอยู่เฉพาะจุด คำกล่าวอ้างบนการ์ดคือ “Improved on every benchmark” แต่ค่าเฉลี่ยจาก 25 งานที่ถ่วงน้ำหนักเท่ากันอาจซ่อนชัยชนะใหญ่สองรายการและชัยชนะเล็กยี่สิบรายการไว้ได้ หากไม่มีตารางแยกตาม benchmark — และตารางนั้นไม่มีอยู่ในข้อความ — คุณไม่อาจบอกได้ว่า 5.38 ของ 4B นั้นสม่ำเสมอหรือกระจุกตัวอยู่ในงานการรับรู้ระดับละเอียดที่สูตรนี้มุ่งเป้าไว้พอดี หากมันกระจุกตัว แบบจำลองขนาดเล็กก็คือผู้เชี่ยวชาญ และ 9B คือผู้ใช้งานทั่วไป และค่าเฉลี่ยก็เป็นสถิติที่ผิดสำหรับการเลือกระหว่างทั้งสอง

27B คือการทดลองควบคุม

ขนาดที่สามทำให้ข้อโต้แย้งเกี่ยวกับตระกูลนี้สามารถทดสอบได้ ZwZ2-27Bสร้างขึ้นบน Qwen3.6-27B ซึ่งเป็นฐานรุ่นที่แตกต่างจากพี่น้องสองตัวของมัน และทำคะแนนเพิ่มได้ 4.99 จุด โดยพื้นฐานแล้วเท่ากับ 4.96 ของ 9B และต่ำกว่าอย่างชัดเจนเมื่อเทียบกับ 5.38 ของ 4B หากคุณค่าของสูตรนี้อยู่ที่คุณภาพข้อมูลเพียงอย่างเดียว ก็ควรคาดว่าจะเห็นการเพิ่มขึ้นที่สม่ำเสมอในทุกขนาด แต่กลับกลายเป็นว่า 4B เป็นข้อยกเว้น สิ่งนี้สอดคล้องกับคำอธิบายเรื่องช่องว่างความจุ (capacity gap) และไม่สอดคล้องกับคำอธิบายที่ว่าข้อมูลฝึกนั้นยอดเยี่ยมอย่างสม่ำเสมอเพียงอย่างเดียว

{{1}}27B{{/1}} ยังช่วยชี้ประเด็นเชิงปฏิบัติเกี่ยวกับการเปิดตัวของตระกูลโมเดลนี้ด้วย รีโพซิทอรีทั้งสามปรากฏขึ้นห่างกันภายใน 23 ชั่วโมง โดย 4B มาก่อนและ 27B มาท้ายสุด ซึ่งเป็นลักษณะเฉพาะของการพุชเป็นชุดมากกว่าการทยอยเปิดตัวเป็นระยะ ชุดข้อมูลตามมาในวันที่ 19 ตุลาคม ยอดดาวน์โหลดบอกให้รู้ว่าความสนใจไปอยู่ที่ใด: ศูนย์สำหรับ 4B, 147 สำหรับ 9B, เจ็ดสำหรับ 27B ยังไม่มีใครเลือกตัวโปรด และขนาดกลางเป็นขนาดเดียวที่มีคนดึงไป

ให้บริการ: 9 GB เทียบกับ 18.8 GB

การคำนวณทางคณิตศาสตร์ตรงนี้เรียบง่าย และเป็นข้อโต้แย้งที่แข็งแกร่งที่สุดสำหรับโมเดลขนาดเล็กกว่า น้ำหนักของ ZwZ2-4B เป็นไฟล์ BF16 ขนาด 9.08 GB ส่วนน้ำหนักของ ZwZ2-9B คำนวณออกมาประมาณ 18.8 GB ที่ความแม่นยำเดียวกัน บนการ์ด 24 GB ตัว 4B เหลือพื้นที่เพียงพอสำหรับ KV cache ขนาดใหญ่และแบตช์ ส่วนตัว 9B เหลือน้อยมาก บนการ์ด 16 GB ตัว 4B พอดี แต่ตัว 9B ไม่พอดีเลยหากไม่ทำ quantisation

ไม่มีโมเดลไหนถูกให้บริการโดยผู้ให้บริการแบบโฮสต์ — หน้า Hugging Face รายงานว่าไม่มีผู้ให้บริการ inference สำหรับทั้งสองโมเดล — ดังนั้นทั้งสองจึงเป็นการตัดสินใจเรื่องการโฮสต์เอง หากคุณกำลังเลือกระหว่างสองตัวนี้โดยพิจารณาจากฮาร์ดแวร์ 9B อยู่ในระดับเครื่องที่แตกต่างออกไป ไม่ใช่แค่ไฟล์ดาวน์โหลดที่ใหญ่ขึ้นเล็กน้อย นั่นคือความหมายในทางปฏิบัติของอัตราส่วนพารามิเตอร์ 2.07× และมันถูกกำหนดโดยการ์ดจอของคุณ ไม่ใช่โดยช่องว่างความแม่นยำ 1.80 จุด

สำหรับทีมที่ต้องการพฤติกรรมการรับรู้โดยไม่ต้องแบกรับปัญหาเรื่องการให้บริการเอง ทางเลือกกลางแบบโฮสต์ในแคตตาล็อกคือ qwen/qwen3-vl-8b-instruct ในราคา $0.18 ต่อหนึ่งล้านโทเคนอินพุต และ $0.70 ต่อหนึ่งล้านโทเคนเอาต์พุต พร้อมบริบท 131K ซึ่งไม่ใช่โมเดลเดียวกัน และบทความนี้จะไม่แสร้งว่าเป็นเช่นนั้น — แต่เป็นการเปรียบเทียบที่ทีมส่วนใหญ่ต้องการจริง ๆ และมันทำงานบนคีย์เดียวกับทุกสิ่งอื่นที่ OrcaRouter จัดเส้นทางให้ พร้อมการสลับไปใช้ระบบสำรองอัตโนมัติหากต้นทางมีประสิทธิภาพลดลง

หากคุณกำลังสร้างไปป์ไลน์แบบหลายระดับแทนที่จะเลือกเช็กพอยต์เพียงตัวเดียว เลเยอร์การกำหนดเส้นทางคือจุดที่ควรใช้สื่อสิ่งนี้: ส่งอิมเมจทุกภาพไปยังโมเดลราคาถูกก่อน แล้วยกระดับเฉพาะภาพที่มีความมั่นใจต่ำไปยังโมเดลที่ใหญ่กว่าrouting DSL รวมโมเดลต่างๆ ให้เป็นการเรียกครั้งเดียวดังนั้นการยกระดับจึงเป็นกฎในเส้นทางแทนที่จะเป็นการเชื่อมต่อครั้งที่สอง เช็กพอยต์ ZwZ2 ทั้งสองตัวไม่สามารถเป็นชั้นราคาถูกในตอนนี้ได้ — เนื่องจากยังไม่ได้โฮสต์ — แต่รูปแบบนี้คือสิ่งที่โมเดลทั้งสองกำลังถกเถียงกันโดยนัย

ควรเลือกอันไหนดี

• เลือก 4B หากการ์ดของคุณมีความจุ 16 หรือ 24 GB งานของคุณคือการให้หลักฐานภาพที่อิงตามภูมิภาค และคุณต้องการการปรับปรุงที่วัดได้มากที่สุดเมื่อเทียบกับโมเดลพื้นฐานในตระกูลนี้

• เลือก 9B หากคุณมีหน่วยความจำเหลือเพียงพอและต้องการความแม่นยำสูงสุดเท่าที่เคยมีผู้เผยแพร่สำหรับเช็กพอยต์ ZwZ2 ที่มีขนาดต่ำกว่า 27B คะแนน 1.80 ไม่ใช่เรื่องเล็กน้อยเลย

• ยังไม่ต้องเลือกอันใดตอนนี้ หากคุณต้องการสัญญาอนุญาตที่ทีมกฎหมายของคุณจะลงนามได้ ทั้งสองรีโพซิทอรีไม่ได้ประกาศสัญญาอนุญาตไว้ และการ์ดต่าง ๆ ก็อ้างอิงถึงไฟล์สัญญาอนุญาตที่ไม่มีอยู่จริง

• อย่าเลือกอันใดเลยหากคุณต้องการเอกสารอ้างอิง วิธีการ v2 ไม่มีเอกสารเผยแพร่ต่อสาธารณะ; หมายเลข arXiv บนการ์ดทั้งสองเป็นของงาน ZwZ รุ่นแรกในตระกูลฐานอื่น

การทดลองที่มีประโยชน์จริง ๆ ไม่ใช่การเอา 4B มาเทียบกับ 9B บน 25 benchmark ของคนอื่น แต่คือการรันทั้งสองตัว — หรือรัน 4B เทียบกับ base ของมันเอง — กับภาพไม่กี่ร้อยภาพจากงานจริงของคุณ แล้วดูว่า 5.38 ถ่ายทอดออกมาได้หรือไม่ จนกว่าจะมีใครทำแบบนั้น ตัวเลขที่ตระกูลนี้เผยแพร่ก็เป็นเพียงคำอธิบายพฤติกรรมของสูตรหนึ่งบนชุดงานหนึ่ง ไม่ใช่ข้อมูลตัดสินใจที่คุณใช้กับไปป์ไลน์ของคุณเองได้ 4B เป็นตัวที่น่าสนใจ precisely เพราะการเพิ่มขึ้นของมันมากที่สุดและหลักฐานของมันบางที่สุด