ZwZ2-9B เปิดตัวเงียบ ๆ: น้ำหนัก 9.4 พันล้านค่าบอกอะไรคุณได้บ้าง เมื่อห้องแล็บไม่พูดอะไรเลย

เมื่อเวลา 03:42 UTC ของวันที่ 16 ตุลาคม 2026 ได้มีรีโพซิทอรี Hugging Face ปรากฏขึ้นภายใต้ชื่อ inclusionAI/ZwZ2-9B. สี่นาทีต่อมา มันได้รับการคอมมิทเพียงครั้งเดียว — "Add ZwZ2-9B model weights" — และจากนั้นก็ไม่มีอะไรอีกเลย ไม่มี README ไม่มีฟิลด์ใบอนุญาต ไม่มีลิงก์งานวิจัย ไม่มีตารางเกณฑ์มาตรฐาน และไม่มีรายการในคอลเลกชันสาธารณะทั้งสิบที่องค์กร inclusionAI ดูแลอยู่ ค่าน้ำหนักเองมี 9,409,813,744 พารามิเตอร์ใน bfloat16 และพวกมันอธิบายโมเดลภาพ-ภาษาแบบไฮบริดแอทเทนชันซึ่งการกำหนดค่าของมันนั้น เรียงบรรทัดต่อบรรทัด ตรงกับการกำหนดค่าของ Qwen3.5-9B โดยตัดหัวพยากรณ์ออกหนึ่งหัว นั่นคือทั้งหมดของสิ่งที่ได้รับการยืนยันแล้ว ทุกสิ่งทุกอย่างในชิ้นนี้ถูกระบุว่าเป็นการอนุมาน เพราะรีโพซิทอรีที่ไม่มีโมเดลการ์ดไม่ได้ให้สิทธิ์ใครมากไปกว่านี้

เรื่องนี้เป็นเรื่องปกติ ยังไงก็ตาม และควรพูดไว้ก่อนที่ข้อแม้ต่าง ๆ จะพอกพูนขึ้นมา inclusionAI คือห้องแล็บแบบเปิดน้ำหนักที่อยู่เบื้องหลังตระกูล Ling, Ring, LLaDA และ Ming และมันมีนิสัยชอบปล่อยเช็กพอยต์ก่อนที่ข้อความบรรยายใด ๆ จะปรากฏขึ้นหลายวันหรือหลายสัปดาห์ เมื่อวันที่ 13 ตุลาคม — สามวันก่อนหน้านี้ — มันโพสต์ Ling-3.1-flash พร้อมการ์ดสั้น ๆ และไม่มีประกาศใด ๆ เช่นกัน รีโพซิทอรีที่เงียบไม่ใช่สัญญาณเตือนอันตราย มันเป็นเหตุผลให้อ่านไฟล์แทนที่จะอ่านการตลาด

จริงๆ แล้วมีอะไรอยู่ในรีโพซิทอรี

แปดไฟล์ และรายการนี้คือเรื่องราว มี .gitattributes, chat_template.jinja, config.json, generation_config.json, ไฟล์เดียวขนาด 18.8 GB model.safetensors, processor_config.json, tokenizer.json และ tokenizer_config.json ไม่มี README.md ไม่มี LICENSE ที่เก็บนี้มีแท็กทั้งหมดสามแท็ก — safetensors, qwen3_5 และ region:us — ซึ่งหมายความว่า Hub ไม่มีแท็กไปป์ไลน์สำหรับมันเลย: มันไม่ถูกจัดประเภทเป็น image-text-to-text, text-generation หรืออย่างอื่นใด ณ เวลาที่เขียนนี้ มันแสดงยอดดาวน์โหลดเป็นศูนย์และไลก์สองครั้ง

• พารามิเตอร์ทั้งหมด — 9,409,813,744 ใน 760 เทนเซอร์, bfloat16

• สถาปัตยกรรม — Qwen3_5ForConditionalGeneration, ประเภทโมเดล qwen3_5

• สแต็กข้อความ — 32 เลเยอร์, ขนาดซ่อน 4,096, 16 หัว query เทียบกับ 4 หัว KV, มิติหัว 256, ขนาด intermediate 12,288, ขนาดคำศัพท์ 248,320.

• รูปแบบความสนใจ — เลเยอร์ความสนใจเชิงเส้นสามชั้น แล้วตามด้วยเลเยอร์ความสนใจเต็มรูปแบบหนึ่งชั้น ทำซ้ำเช่นนี้: เลเยอร์เชิงเส้น 24 ชั้น และเลเยอร์ความสนใจเต็มรูปแบบ 8 ชั้น

• บริบท — 262,144 ตำแหน่ง, ฐานโรตารี 10,000,000, M-RoPE แบบสลับพร้อมส่วน [11, 11, 10]

• Vision tower — ความลึก 27, ขนาด hidden 1,152, ขนาดแพตช์ 16, การผสานเชิงพื้นที่ 2, แพตช์เชิงเวลา 2, ฉายไปยัง 4,096

• สัญญาอนุญาต — ไม่ได้ระบุไว้ ไม่ใช่ apache-2.0 ไม่ใช่สัญญาอนุญาตแบบกำหนดเอง ไม่มีอะไรเลย

การกำหนดค่านี้เป็นการกำหนดค่าของ Qwen3.5-9B

เปรียบเทียบไฟล์ config.json สองไฟล์และค่าสถาปัตยกรรมเกือบทุกค่าตรงกัน ขนาด hidden จำนวนเลเยอร์ จำนวนหัว มิติหัว ขนาด intermediate คำศัพท์ กำหนดการ attention แบบ linear-to-full ในอัตรา 3:1 ส่วน M-RoPE ฐาน rotary เพดาน 262,144 ตำแหน่ง และ vision tower ทั้งหมดจนถึง position embedding 2,304 ตำแหน่ง เหมือนกับ Qwen3.5-9B ทุกประการ ความแตกต่างที่มีนัยสำคัญคือหนึ่งบรรทัด: mtp_num_hidden_layers มีค่าเป็น 1 ใน Qwen3.5-9B และ 0 ที่นี่ ดังนั้น ZwZ2-9B จึงไม่มี head สำหรับ multi-token prediction ส่วนที่เหลือของ diff คือการทำ serialisation — transformers เวอร์ชันที่ใหม่กว่าเขียนฟิลด์ที่ไฟล์เก่าปล่อยไว้โดยนัย และประเภทโมเดลของ vision config ถูกเปลี่ยนชื่อจาก qwen3_5 เป็น qwen3_5_vision.

สิ่งที่มันบอกคุณนั้นแคบแต่เป็นจริง: นี่ไม่ใช่สถาปัตยกรรมใหม่ มันเป็นเช็กพอยต์บนสแตก Qwen3.5-9B ที่มีคนนำไปฝึกต่อ โดยถอดหัว speculative decoding ออกไป สิ่งที่มันไม่ได้บอกคุณคือการฝึกต่อนั้นเป็นอย่างไร พารามิเตอร์เปลี่ยนไป แต่รูปร่างยังเหมือนเดิม

จุดเดียวที่โมเดลพูดอะไรเกี่ยวกับตัวเองจริง ๆ

เทมเพลตแชตเป็นไฟล์เดียวตรงนี้ที่มีมุมมอง และมันแตกต่างจาก Qwen3.5-9B ในสามลักษณะที่ผู้อ่านสามารถตรวจสอบได้ในเวลาประมาณหนึ่งนาที

อันแรกคือพรอมต์ระบบเริ่มต้น เมื่อมีคำขอเข้ามาโดยไม่มีข้อความระบบ เทมเพลตของ ZwZ2-9B จะแทรกพรอมต์ระบบเข้าไปว่า "บทสนทนาระหว่างผู้ใช้และผู้ช่วย ผู้ใช้ถามคำถาม และผู้ช่วยแก้ไข… คำตอบถูกล้อมด้วยแท็ก <answer> </answer>" เทมเพลตของ Qwen3.5-9B ไม่มีสาขาเช่นนั้น — มันเพียงไม่ปล่อยอะไรออกมาเลย พรอมต์ระบบที่ฝังตายตัวซึ่งระบุรูปแบบเอาต์พุตเป็นลายเซ็นของการเทรนรอบหนึ่งโดยเฉพาะ ไม่ใช่ของโมเดลฐาน

The second is the thinking default, and it is inverted. In Qwen3.5-9B the template emits an empty <think></think> block only when the caller explicitly passes enable_thinking: false, which means reasoning is on unless you turn it off. In ZwZ2-9B the condition is not defined or false — the empty block appears by default and the open <think> tag only when a caller explicitly asks for thinking. Same tags, opposite default. Qwen3.8-27B, for the record, kept the Qwen3.5 behaviour, so this is not simply inherited from a newer generation.

ประการที่สามคือการจัดการสำหรับการให้เหตุผลแบบหลายรอบ: เทมเพลตเข้าใจ preserve_thinking แฟล็ก และมันรู้วิธีตัด <think> บล็อกออกจากเทิร์นของผู้ช่วยที่มีอยู่แล้ว ทั้งสองไม่มีอยู่ในเทมเพลต Qwen3.5-9B ตัวแยกโทเค็น (tokenizer) บังเอิญยังคงสงวนโทเค็นพิเศษด้านเสียง — <|audio_start|>, <|audio_end|>, <|audio_pad|> — แต่ไม่มี audio tower ที่ไหนใน config ดังนั้นให้ถือว่านั่นเป็นคำศัพท์ร่วมของตัวแยกโทเค็นมากกว่าความสามารถ

สิ่งที่ชื่อบอกเป็นนัย และสิ่งที่ไม่ได้บอก

"ZwZ2" ฟังดูเหมือนเป็นรุ่นที่สองของบางสิ่ง และมีรุ่นแรกให้ชี้ถึง ZwZ-2B ซึ่งโพสต์เมื่อวันที่ 4 มีนาคม 2026 เป็นไฟน์จูนของ Qwen3-VL-2B-Instruct ที่ฝึกด้วย Region-to-Image Distillation ร่วมกับการเรียนรู้แบบเสริมกำลัง เผยแพร่พร้อมกับบทความ Zooming without Zooming (arXiv 2602.11858) และชุดประเมิน ZoomBench โดยเป็น Apache-2.0 มีการ์ดโมเดลฉบับเต็ม และมียอดดาวน์โหลด 159 ครั้งในเจ็ดเดือน

อย่างไรก็ตาม เบาะแสเกี่ยวกับสายการสืบทอดนั้นจางกว่าที่ชื่อชวนให้คิด ZwZ-2B ถูกสร้างบนqwen3_vlสถาปัตยกรรมนี้ ZwZ2-9B ถูกสร้างบนqwen3_5 แท็กเดียวที่ inclusionAI ใช้คือ qwen3_5 และโมเดลนี้ไม่ได้อยู่ในคอลเลกชัน ZwZ หรือคอลเลกชันอื่นใด คำถามว่าสูตร region-to-image ถูกถ่ายทอดมาด้วยหรือไม่ เป็นคำถามประเภทที่การ์ดโมเดลน่าจะตอบได้ และรีโพซิทอรีนี้ไม่ตอบ

กับดักหนึ่งที่ควรค่าแก่การเตือน เพราะเสิร์ชเอนจินจะพาคนเข้าไปติดกับมัน: มีตระกูลการแปลงเป็น GGUF อีกตระกูลหนึ่งที่เก่ากว่าและไม่เกี่ยวข้องกัน ZwZ_32B ลงวันที่มีนาคม 2025 จากบุคคลที่สาม มันมีแค่สามตัวอักษรที่เหมือนกันเท่านั้น นอกนั้นไม่มีอะไรเหมือนกัน อย่าตีความว่ามันเป็น ZwZ2-9B รุ่นก่อนหน้า

วิธีจัดการกับเช็กพอยต์ที่ไม่มีเอกสารประกอบ

จุดยืนในทางปฏิบัติก็แบบเดียวกับที่คุณจะใช้กับเวตใด ๆ ที่มาถึงโดยไม่มีการ์ด ดึง config และส่วนหัวของ safetensors มาก่อน — นั่นมีต้นทุนต่ำและตรวจสอบได้ ยืนยันว่าจำนวนพารามิเตอร์และชื่อเทนเซอร์สอดคล้องกับสิ่งที่ config ระบุไว้ จากนั้นเสิร์ฟมันบนเฟรมเวิร์กที่รองรับสถาปัตยกรรมนี้ และรันการประเมินที่คุณรันกับทราฟฟิกของคุณเองอยู่แล้ว แทนที่จะไปหยิบยืมตัวเลขที่ไม่มีอยู่จริง

ใบอนุญาตคือส่วนที่สำคัญสำหรับการใช้งานใด ๆ ที่ไม่ใช่แค่ช่วงสุดสัปดาห์ เช็กพอยต์ที่ไม่มีฟิลด์ใบอนุญาตไม่เหมือนกับเช็กพอยต์แบบเปิด หากไม่มีการประกาศ ค่าเริ่มต้นคือผู้เผยแพร่สงวนสิทธิ์ไว้ และนั่นเป็นเรื่องที่ต้องคุยกันก่อนจะนำไปใกล้โปรดักชัน ไม่ใช่หลัง โปรดทราบด้วยว่าคุณจะต้องเป็นคนรันมันเอง — Hub รายงานว่าไม่มีผู้ให้บริการรายใดให้บริการโมเดลนี้ และผู้ขายไม่ได้เผยแพร่เอนด์พอยต์ใด ๆ

นั่นคือสถานการณ์ที่ระบบ failover อัตโนมัติถูกสร้างขึ้นมาเพื่อรองรับพอดี หากคุณต้องการวัด checkpoint ที่ยังไม่ผ่านการพิสูจน์เทียบกับตัวที่ใช้งานอยู่เดิม โดยไม่ต้องเดิมพันเส้นทางโปรดักชันกับมัน ให้วางตัวผู้สมัครไว้หลังอินเทอร์เฟซเดียวกับโมเดลที่คุณเชื่อถืออยู่แล้ว และให้ทราฟฟิกย้ายกลับเมื่อตัวใหม่ทำงานผิดปกติ — คีย์ API เดียวและ endpoint ที่เข้ากันได้กับ OpenAI เพียงจุดเดียว แทนที่จะเป็นการผสานรวมที่สองที่คุณต้องคอยถอดออกOrcaRouter เราเตอร์โมเดลกว่า 200 รายการในลักษณะนั้น, ส่งต่อราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม 0% และไม่ได้โฮสต์ ZwZ2-9B — เราจะไม่แสร้งทำเป็นว่ามีรายการในแค็ตตาล็อกสำหรับมัน สิ่งที่เราเสนอได้ในวันนี้คือตระกูลที่มันถูกสร้างขึ้นมาและตระกูลที่มันเข้าไปแทนที่: สาย Qwen3.5 สามารถเราเตอร์ได้ที่นี่ รวมถึง qwen/qwen3.5-35b-a3b และ qwen/qwen3.5-flash และ qwen/qwen3-vl-8b-instruct ครอบคลุมช่องโมเดลวิชัน 8B ด้วยโมเดลที่โฮสต์และมีเอกสารประกอบ ในราคา $0.18 ต่ออินพุตหนึ่งล้านโทเคน และ $0.70 ต่อเอาต์พุตหนึ่งล้านโทเคน

อะไรจะทำให้สิ่งนี้กลายเป็น release

มีสามสิ่ง และสิ่งใดสิ่งหนึ่งในนั้นก็เพียงพอที่จะทำให้ชิ้นงานนี้ต้องเขียนใหม่ ฟิลด์ไลเซนส์ที่ปรากฏในรีโพซิทอรี ซึ่งเปลี่ยนมันจากของแปลกน่าสนใจให้กลายเป็นสิ่งที่บริษัทนำไปใช้ได้ การ์ดโมเดลที่มีตัวเลขการประเมิน ซึ่งเปลี่ยนมันจากสถาปัตยกรรมให้กลายเป็นคำกล่าวอ้าง หรือเปเปอร์หนึ่งชิ้น — รูปแบบที่น่าจะเป็นไปได้มากที่สุดคืองาน region-to-image ที่ทำให้ ZwZ ตัวแรกน่าสนใจ เมื่อนำมาปรับใช้กับ vision tower ที่มีขนาดใหญ่เป็นสามเท่า

จนกว่าหนึ่งในสิ่งเหล่านั้นจะเกิดขึ้น ให้มอง ZwZ2-9B ตามที่รายการไฟล์ระบุว่ามันเป็น: รุ่นดัดแปลงของ Qwen3.5-9B ขนาด 9.4 พันล้านพารามิเตอร์พร้อมเทมเพลตแชตที่ปรับแต่งเอง เผยแพร่โดยแล็บที่ยังไม่ได้บอกใครว่าทำไม เวตนั้นมีจริง เรื่องราวยังไม่ถูกเขียน และจุดยืนที่ตรงไปตรงมาคือไม่มีใครนอก inclusionAI ที่สามารถเขียนมันได้

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง