Nanbeige4.3-33B: ชนะ 17 จาก 20, คอนเท็กซ์ 512K และยังไม่มีการทดสอบโดยอิสระเลย

เมื่อเวลา 02:49 UTC วันที่ 24 ตุลาคม 2026 รีโพซิทอรี Hugging Face ที่ชื่อ Nanbeige/Nanbeige4.3-33B ได้เปิดเป็นสาธารณะ สี่นาทีหลังจากเช็กพอยต์ฐานที่ใช้ชื่อเดียวกัน ไม่มีโพสต์เปิดตัวปรากฏขึ้น ไม่มีบทความบล็อก ไม่มีประกาศจากผู้ขาย ไม่มีข่าวประชาสัมพันธ์ — การ์ดโมเดลคือบันทึกจากผู้พัฒนาเองทั้งหมดของรีลีสแบบ open-weights จำนวน 33.1 พันล้านพารามิเตอร์ ซึ่งข้ออ้างหลักคือมันเอาชนะ Qwen3.8-27B ได้ใน 18 จาก 20 เบนช์มาร์ก ข้ออ้างนั้นไม่เป็นเท็จ และยังตรวจสอบไม่ได้ในตอนนี้ และการรายงานข่าวตั้งแต่นั้นมาก็ส่วนใหญ่นำตารางมาเสนอซ้ำโดยไม่ได้อ่านเชิงอรรถที่อยู่ใต้ตารางนั้น

ตัวเลขจึงบอกสองอย่างในเวลาเดียวกัน Nanbeige4.3-33Bนำอยู่ใน 17 จาก 20 แถวในตารางของตัวเอง และมันเอาชนะ Qwen3.8-27Bใน 18 แถวจากทั้งหมด นั่นเป็นจำนวนที่แตกต่างกัน และทั้งสองจำนวนก็ถูกต้อง: สามแถวที่มันไม่ได้นำคือ SWE-Bench Pro ซึ่ง Qwen3.8-27B ชนะ 61.7 ต่อ 60.3, GDPval ซึ่ง Qwen3.8-27B ชนะ 86.4 ต่อ 84.8, และ GPQA Diamond ซึ่ง 91.3 ของ Gemma4-31B เอาชนะทั้งสองได้ การแพ้สองแถวให้ Qwen3.8-27B และแพ้หนึ่งแถวให้ Gemma4-31B ทำให้ได้ 18 จาก 20 เมื่อเทียบกับโมเดล Qwen และ 17 จาก 20 เมื่อเทียบกับคู่แข่งทั้งหมด บทความส่วนใหญ่เลือกตัวเลขหนึ่งและละอีกตัวไว้ ซึ่งเป็นเรื่องเล็กๆ ที่บอกคุณได้ว่าส่วนที่เหลือถูกอ่านละเอียดแค่ไหน

สิ่งที่คลังข้อมูลกำหนดไว้ และสิ่งที่ไม่ได้กำหนด

เริ่มจากสิ่งที่ตรวจสอบได้จากการเปิดไฟล์ แทนที่จะอ้างอิงข้อความร้อยแก้ว เพราะช่องว่างระหว่างสองสิ่งนี้คือประเด็นสำคัญตรงนี้

• ยืนยันแล้ว:เวตเหล่านี้มีอยู่จริง มีชาร์ด safetensors จำนวนสิบสี่ชาร์ด รวมทั้งหมด 66,259,989,086 ไบต์ เป็นแบบ bfloat16 ในรีโพซิทอรีที่สร้างเมื่อ 02:49:18Z วันที่ 24 ตุลาคม 2026 และแก้ไขล่าสุดเมื่อ 11:11Z วันที่ 25 ตุลาคม เช็กพอยต์ฐานแยกต่างหาก Nanbeige4.3-33B-Base ถูกสร้างขึ้นก่อนหน้านี้สามนาที เมื่อเวลา 02:46:52Z

• ยืนยันแล้ว: สัญญาอนุญาตคือ Apache 2.0 ซึ่งประกาศไว้ในข้อมูลเมตาของรีโพซิทอรีและในส่วนหัวของการ์ด ไม่มีไฟล์ LICENSE อยู่ในบรรดาไฟล์ที่ไม่ใช่น้ำหนักทั้งแปดไฟล์ ซึ่งเป็นช่องว่างด้านเอกสารมากกว่าด้านกฎหมาย — ฟิลด์ข้อมูลเมตาคือสิ่งที่ Hub และสแกนเนอร์ส่วนใหญ่อ่าน

• ยืนยันแล้ว:สถาปัตยกรรมเป็นสแต็ก Llama ธรรมดา ไม่ใช่ mixture of experts และไม่ใช่ดีไซน์แบบ looped-transformer ที่โมเดลขนาดเล็กในตระกูลนี้ใช้ รายละเอียดเพิ่มเติมเกี่ยวกับการกำหนดค่าอยู่ด้านล่าง

• ยืนยันแล้ว:ไม่มีเอนด์พอยต์ที่ผู้จำหน่ายโฮสต์ให้ การแมปผู้ให้บริการการอนุมานของ Hub สำหรับรีโพซิทอรีนี้ว่างเปล่า และการ์ดมี vLLM, SGLang และ Transformers ให้เลือก ด้วยแนวคิดเดียวกัน: นำ GPU ของคุณมาเอง

• ยังไม่ยืนยัน: ไม่มีข้อมูลใด ๆ เกี่ยวกับวิธีที่มันถูกฝึก ไม่มีจำนวนโทเคนก่อนการฝึก ไม่มีส่วนผสมของข้อมูล ไม่มีตัวเลขการคำนวณ ไม่มีสูตรการฝึกหลังการฝึก และไม่มีส่วนข้อจำกัดหรือความปลอดภัย บล็อกการอ้างอิงของการ์ดมีความยาวสี่บรรทัด

• ยังไม่ยืนยัน: ว่าตัวเลขที่เผยแพร่ใด ๆ สามารถทำซ้ำได้ ไม่มีชุดทดสอบสำหรับการประเมินในที่เก็บโค้ด — ไม่มีสคริปต์ ไม่มีไฟล์กำหนดค่างาน ไม่มีบันทึก — และ ณ วันที่ 26 ตุลาคม ยังไม่มีบุคคลภายนอกใดเผยแพร่คะแนน เรตติ้งอารีนา หรือตำแหน่งในดัชนีสำหรับโมเดลนี้

• ยังไม่ได้รับการยืนยัน:ว่าการเปิดตัวครั้งนั้นเป็นแบบเงียบ ๆ ซึ่งไม่ใช่เลย มันเป็นการเปิดตัวโดยไม่มีการประกาศจากห้องแล็บ ซึ่งเป็นคำอธิบายที่แคบกว่าและแม่นยำกว่า: การ์ดนี้เป็นเอกสารเปิดตัวฉบับเต็มที่มีตารางเปรียบเทียบผลทดสอบยี่สิบแถว และเว็บรวบรวมข้อมูลหยิบไปใช้ภายในหนึ่งวัน สิ่งที่ขาดหายไปคือโพสต์จากฝ่ายแรกที่อธิบายว่า Nanbeige คิดว่าตนสร้างอะไรขึ้นมา

ความแตกต่างนี้สำคัญสำหรับใครก็ตามที่กำลังตัดสินใจว่าจะทำอย่างไรกับการเปิดตัวครั้งนี้ แล็บที่ไม่พูดอะไรเลยไม่ได้บอกอะไรคุณเกี่ยวกับเจตนา การสนับสนุน หรือเช็กพอยต์ถัดไป แล็บที่เผยแพร่การ์ดแต่ไม่มีโพสต์ได้บอกข้อมูลเกี่ยวกับโมเดลให้คุณมากมาย และปล่อยให้กลยุทธ์เป็นสิ่งที่มีนัยแฝง — และในกรณีนี้ กลยุทธ์ถูกระบุไว้อย่างชัดเจนในย่อหน้าที่สองของการ์ด เมื่อคุณสังเกตเห็นมัน

การ์ดเรียกมันว่าครู และนั่นก็ทำให้การเปิดตัวครั้งนี้ถูกมองในมุมใหม่ไปทั้งหมด

Nanbeige4.3-33B ได้รับการอธิบายว่าเป็น "โมเดลครูระดับเรือธง" สำหรับซีรีส์ Nanbeige4.3 โดยสร้างขึ้นเป็นลำดับแรกเพื่อให้ห้องแล็บสามารถกลั่นพฤติกรรมแบบเอเจนต์ลงในโมเดลที่เล็กกว่า "เช่น สำหรับ Nanbeige4.3-3B" การ์ดโมเดลระบุเป้าหมายว่า "ประสิทธิภาพแบบเอเจนต์ระดับล้ำสมัยในหมู่โมเดลเปิดในกลุ่มพารามิเตอร์ประมาณ 30B" แล้วอธิบายทันทีว่า 33B เป็นรากฐานสำหรับไปป์ไลน์การกลั่น มากกว่าจะเป็นผลิตภัณฑ์ปลายทาง

อ่านแบบตรงตัวแล้ว การเปิดตัวครั้งนี้คือผลพลอยได้จากกระบวนการเทรนที่บังเอิญนำไปใช้งานได้ มันคือโมเดลที่คุณใช้สร้าง trajectory ให้กับนักเรียนขนาด 3B และเหตุผลที่ชุดเบนช์มาร์กของมันเน้นหนักไปทางงานเอเจนต์ระยะยาว — Terminal-Bench, DeepSWE, JobBench, Toolathlon — ก็เพราะพฤติกรรมเหล่านั้นคือสิ่งที่ต้องการถ่ายทอด Nanbeige4.3-3B ยังไม่ออกวางจำหน่าย เมื่อมันออกมา มันจะเป็นโมเดลที่คนส่วนใหญ่ใช้งานจริง และ 33B ตัวนี้จะเป็นสิ่งที่อธิบายคะแนนของมัน

มีผลข้างเคียงหนึ่งที่ควรกล่าวถึง: โมเดลครู (teacher model) ถูกปรับให้เหมาะกับการสร้างเส้นทางการทำงาน (trajectories) ที่ดีภายใต้งบโทเค็นที่เพียงพอ ไม่ใช่เพื่อให้มีต้นทุนต่ำตอน inference การตั้งค่าที่แนะนำใน model card ยืนยันสิ่งนี้ — โทเค็นใหม่สูงสุด 65,536 สำหรับงานแบบ agentic และ 262,144 สำหรับการให้เหตุผลและแชท โดยเปิดโหมด thinking เป็นค่าเริ่มต้น โมเดลที่ถูกพรอมป์ให้สร้างโทเค็นถึงสองแสนห้าหมื่นโทเค็นไม่ใช่โมเดลที่คุณจะเอาไปวางไว้หลังกล่องแชทโดยไม่มีงบประมาณ

33B ที่ไฟล์การกำหนดค่าอธิบายไว้

อ่าน config.json แล้วจะเห็นว่าโครงสร้างนั้นเป็นแบบแผนทั่วไปในลักษณะที่การตลาดไม่ได้เป็นเช่นนั้น มี 52 เลเยอร์ ขนาด hidden 7,168, query head 56 หัว เทียบกับ key-value head 8 หัว — อัตราส่วน grouped-query 7:1 — มิติ head 128 ความกว้าง FFN 22,016 และคำศัพท์ 166,912 โทเคน RoPE base คือ 120,000,000 โดยไม่มีการสเกลใด ๆ และ max_position_embeddings ถูกตั้งค่าเป็น 524,288 เวอร์ชัน transformers ที่ระบุในไฟล์คือ 4.51.1

จำนวนพารามิเตอร์ได้มาจากตัวเลขเหล่านั้น โดย projection ของ attention คิดเป็น 117.4 ล้านพารามิเตอร์ต่อชั้น MLP สามชั้นคิดเป็น 473.4 ล้านพารามิเตอร์ ซึ่งรวมแล้วได้ 590.9 ล้านพารามิเตอร์ต่อบล็อกจาก 52 บล็อก: 30.7 พันล้านพารามิเตอร์ เมทริกซ์ embedding ที่ไม่ผูกกันสองตัวขนาด 166,912 คูณ 7,168 เพิ่มอีก 2.4 พันล้านพารามิเตอร์ ยอดรวมคือ 33.1 พันล้านพารามิเตอร์ ซึ่งตรงกับที่ชื่อสัญญาไว้ และตรงกับน้ำหนัก 66.3 GB ของ bfloat16

เมื่อเทียบกับโมเดลที่มันใช้เวลาทั้งโต๊ะในการโจมตี ความแตกต่างนั้นชัดเจนกว่าที่คะแนนบ่งบอก

• ขนาด — 33.1B dense สำหรับ Nanbeige4.3-33B เทียบกับ 27.78B dense สำหรับ Qwen3.8-27B ทั้งสองเป็นแบบ dense ไม่ใช่ mixture of experts

• โมดัลลิตี — ข้อความเท่านั้น ภาษาอังกฤษและภาษาจีน สำหรับ Nanbeige4.3-33B เทียบกับอินพุตข้อความ รูปภาพ และวิดีโอแบบเนทีฟสำหรับ Qwen3.8-27B หากไปป์ไลน์ของคุณอ่านภาพหน้าจอ การเปรียบเทียบก็จบลงก่อนที่เบนช์มาร์กจะเริ่มเสียอีก

• แอตเทนชัน — การใช้ attention แบบเต็มอย่างสม่ำเสมอตลอด 52 เลเยอร์สำหรับ Nanbeige4.3-33B เทียบกับสแตกแบบไฮบริดสำหรับ Qwen3.8-27B ซึ่งใช้ 48 เลเยอร์เชิงเส้น DeltaNet แบบ gated เทียบกับ 16 เลเยอร์ full-attention ในอัตราส่วน 3:1 นั่นคือเหตุผลที่โมเดล Qwen มีต้นทุนต่ำเมื่อบริบทยาว ส่วนรุ่นนี้ไม่เป็นเช่นนั้น

• บริบท — 524,288 โทเคนแบบเนทีฟสำหรับ Nanbeige4.3-33B เทียบกับ 262,144 แบบเนทีฟ ซึ่งขยายได้ถึงประมาณ 1M ด้วย YaRN สำหรับ Qwen3.8-27B

• สัญญาอนุญาต — Apache 2.0 ทั้งคู่ ซึ่งขจัดเหตุผลตามปกติที่ทำให้ต้องเลือกอันใดอันหนึ่ง

ความแตกต่างในเรื่องความสนใจไม่ใช่แค่หมายเหตุเล็ก ๆ ท้ายหน้า มันคือเหตุผลทั้งหมดที่ส่วนถัดไปต้องมีอยู่

512K เป็นค่าในไฟล์คอนฟิก ไม่ใช่บริบทการทำงาน

บทสรุปทุกฉบับของรีลีสนี้ขึ้นต้นด้วยหน้าต่างครึ่งล้านโทเคน แทบไม่มีฉบับไหนลงมือคำนวณตัวเลข และตัวเลขนั้นก็ไม่ปรานีเลย

ด้วย 52 เลเยอร์, 8 หัว key-value ขนาด 128 มิติ และการจัดเก็บแบบ bfloat16 แต่ละโทเคนในแคชมีค่าใช้จ่าย 2 × 52 × 8 × 128 × 2 ไบต์ — 212,992 ไบต์ หรือ 208 KiB ผลสืบเนื่องสามประการจะตามมาโดยตรง

• ที่จำนวนโทเค็นเต็ม 524,288 โทเค็น แคช KV เพียงอย่างเดียวมีขนาด 111.7 GB หรือประมาณ 104 GiB ซึ่งมากกว่าเวต 66.3 GB และไม่สามารถใส่ลงในตัวเร่งความเร็วเพียงตัวเดียวใด ๆ ที่วางจำหน่ายในปัจจุบันได้

• ที่ 131,072 โทเคน — หนึ่งในสี่ของหน้าต่างที่โฆษณาไว้ — แคชมีขนาด 27.9 GB หรือประมาณ 26 GiB เมื่อรวมน้ำหนักเข้าไป จะอยู่ที่ 92 GB ก่อนถึงแอคติเวชัน ซึ่งเป็นเหตุผลว่าทำไมตัวอย่างของการ์ดเองจึงใช้การขนานแบบเทนเซอร์สี่ทาง

• ที่ 32,768 โทเค็น แคชมีขนาด 6.98 GB หรือประมาณ 6.5 GiB นี่คือตัวเลขที่สำคัญในทางปฏิบัติ และเป็นความยาวคอนเท็กซ์ที่ตัวอย่าง llama.cpp ของรีโพซิทอรี GGUF ของชุมชนกำหนดไว้จริง

ทั้งหมดนี้ไม่ได้ทำให้ข้ออ้างเรื่อง 512K เป็นสิ่งที่ไม่ซื่อสัตย์ หน้าต่างบริบทนี้เป็นแบบเนทีฟ — ไม่มี YaRN ไม่มีตัวคูณสเกล และมี rope base ที่ 120 ล้าน — และบนโหนดสี่ GPU ที่มีหน่วยความจำเพียงพอ คุณก็ให้บริการมันได้ มันหมายความว่าตัวเลขในพาดหัวคือเพดานที่คุณจะไปไม่ถึงบนฮาร์ดแวร์ที่คุณมี และใครก็ตามที่ยก "บริบท 512K" มาเป็นเหตุผลในการซื้อ ยังไม่ได้คิดราคาของแคช เปรียบเทียบกับดีไซน์ของ Qwen3.8-27B ซึ่งสามในสี่ของเลเยอร์เก็บสถานะรีเคอร์เรนต์ขนาดคงที่แทนแคชที่โตขึ้น และช่องว่างของต้นทุนต่อโทเคนบริบทยาวนั้นเป็นเชิงโครงสร้าง ไม่ใช่เรื่องของการปรับจูน

อีกเรื่องจาก config และเป็นรายละเอียดประเภทที่ทำให้เสียเวลาครึ่งวัน: use_cache ถูกตั้งเป็น false ทั้งใน config.json และ generation_config.json การโหลดโมเดลผ่าน snippet Transformers ของการ์ดแล้วเรียก generate โดยไม่ override ค่านั้นจะทำให้คำนวณ prefix ใหม่ทุกสเต็ป เส้นทาง vLLM และ SGLang จัดการแคชของตัวเองและไม่ได้รับผลกระทบ หากการรัน benchmark ครั้งแรกของคุณดูช้าอย่างอธิบายไม่ได้ ให้ตรวจสอบสิ่งนี้ก่อนจะโทษน้ำหนักโมเดล

อ่านตาราง benchmark ในแบบที่เชิงอรรถของตารางบอกให้คุณอ่าน

ตารางนี้มีเอกสารประกอบที่ดีกว่าตารางของผู้จำหน่ายส่วนใหญ่ และเอกสารประกอบนี่เองที่เป็นที่อยู่ของข้อควรระวังต่างๆ มีเชิงอรรถสิบสองรายการอยู่ใต้ยี่สิบแถว และเชิงอรรถเหล่านั้นบอกอะไรเกี่ยวกับการเปรียบเทียบได้มากกว่าตัวคะแนนเสียอีก

• Terminal-Bench 2.1 ถูกเรียกใช้งานด้วย Terminus 2 ส่วน Terminal-Bench 4.0 และ DeepSWE ถูกเรียกใช้งานด้วย mini-swe-agent v2.4.6

• NL2Repo ถูกเรียกใช้ด้วยฮาร์เนส Claude Code ส่วน JobBench ใช้ Claude Code พร้อมเครื่องมือค้นหา

• คำตอบของ SWE-Atlas-QnA ถูกให้คะแนนเทียบกับรูบริกเฉพาะงาน 1,304 รายการ โดยใช้ GPT-6 Sol เป็นผู้ตัดสินที่ระดับความพยายามในการใช้เหตุผลปานกลาง ผู้ตัดสินตามรูบริกคือโมเดลตัวที่สองในวงจร และไม่ใช่โมเดลที่อยู่ระหว่างการทดสอบ

• Toolathlon-Verified ไม่กำหนดขีดจำกัด max_tokens สำหรับคำขอแต่ละรายการ Claw-Eval ได้รับการให้คะแนนเฉพาะในชุดย่อย General ซึ่งเป็นงานแบบเทิร์นเดียวจำนวน 157 งาน YC-bench เก็บเฉพาะสิบเทิร์นล่าสุดของบทสนทนาเป็นประวัติก่อนการเรียกแต่ละครั้ง GDPval ใช้เกณฑ์การประเมินที่ปรับปรุงแล้ว

• Nanbeige4.3-33B เองได้รับการประเมินด้วย preserve_thinking=true ซึ่งจะเก็บรักษาการให้เหตุผลก่อนหน้าของผู้ช่วยไว้ข้ามหลายเทิร์น การ์ดแนะนำอย่างนั้นพอดีสำหรับการใช้เครื่องมือแบบหลายเทิร์น และแนะนำสิ่งที่ตรงกันข้ามพอดีสำหรับการแชตทั่วไป

เมื่ออ่านร่วมกัน บันทึกเหล่านี้Describeชุดทดสอบที่สร้างขึ้นเพื่อวัดพฤติกรรมของเอเจนต์ในระยะยาวด้วยงบประมาณที่เพียงพอ นั่นเป็นสิ่งที่สุดizardวัดได้อย่างสมเหตุสมผล — เพราะนั่นคือจุดประสงค์ของโมเดล — แต่ก็เป็นสภาพการณ์ที่การเลือกฮาร์เนสส่งผลต่อคะแนนมากที่สุดเช่นกัน ช่องว่างที่ใหญ่ที่สุดในตาราง คือ DeepSWE ที่ 65.5 เทียบกับ 42.5 ของ Qwen3.8-27B ซึ่งเป็นช่วงต่าง 23 คะแนนบนเบนช์มาร์กที่ขับเคลื่อนด้วย agent scaffold ช่องว่างที่เล็กที่สุดอยู่ในแถวที่ scaffold มีความสำคัญน้อยที่สุด: AIME 2026 ที่ 95.2 เทียบกับ 94.5, Tau3-Bench ที่ 48.8 เทียบกับ 48.5, EnterpriseOps-Gym ที่ 41.0 เทียบกับ 40.2

รูปแบบนี้สอดคล้องกับคำอธิบายสองประการ ไม่ว่าโมเดลจะเก่งด้านการเขียนโค้ดแบบเอเจนต์กว่าคู่แข่งอย่างแท้จริง หรือแถวแบบเอเจนต์คือแถวที่ห้องแล็บซึ่งปรับแต่ง scaffold ของตัวเองให้เข้ากับโมเดลของตัวเองได้รับประโยชน์มากที่สุด ไม่มีสิ่งใดในรีโพซิทอรีที่แยกแยะสองข้อนี้ได้ และจุดยืนที่ซื่อตรงจนกว่าจะมีคนรันชุดทดสอบซ้ำคือทั้งสองยังเป็นไปได้ แถวที่โมเดลชนะด้วยคะแนนหนึ่งจุดหรือน้อยกว่า — Tau3-Bench, EnterpriseOps-Gym, AIME, Claw-Eval ที่ 78.3 เทียบกับ 75.2 — คือแถวที่มีแนวโน้มน้อยที่สุดที่จะอยู่รอดเมื่อใช้ harness อิสระ

สิ่งที่ยังไม่มี ณ วันที่ 26 ตุลาคม คือตัวเลขจากภายนอกใด ๆ เลย ไม่มีรายการในดัชนีของ Artificial Analysis ไม่มีคะแนนจากอารีนา ไม่มีการทำซ้ำโดยใครทั้งสิ้น ตัวเลข AA-LCR 84.0 ที่ระบุในโมเดลการ์ดนั้นคือ Nanbeige ที่รันเบนช์มาร์กของ Artificial Analysis ไม่ใช่ Artificial Analysis ที่รัน Nanbeige

การทดสอบภาคปฏิบัติเพียงครั้งเดียวที่มีมาจนถึงตอนนี้ และสิ่งที่มันเผยให้เห็น

มีคนหนึ่งได้เผยแพร่ข้อมูลจากการรันเวตจริง และผลลัพธ์นี้น่ารายงานเพราะมันมีข้อมูลเพียงน้อยนิด นักพัฒนาชาวญี่ปุ่นโหลดเช็กพอยต์ bfloat16 แบบเต็มบน Colab A100 ขนาด 80 GB โดยใช้ Transformers ธรรมดาพร้อมการตั้งค่า dtype และ device mapping อัตโนมัติ และวัดการใช้ VRAM ได้ประมาณ 63 GB การตอบกลับครั้งแรกซึ่งจำกัดที่ 1,024 โทเค็นใหม่ ใช้เวลาราวสิบเอ็ดวินาที ไม่มีการระบุตัวเลขโทเค็นต่อวินาที รู้สึกได้ว่าโมเดล dense ขนาด 33B ที่ bfloat16 นั้นช้า ซึ่งตรงกับที่คาดการณ์จากการคำนวณ

ตามมาด้วยพรอมต์สามรายการ การเปรียบเทียบ 9.11 กับ 9.8 ออกมาถูกต้อง พร้อมคำอธิบายเรื่องทศนิยมที่ชัดเจน คำถามเกี่ยวกับตัวละครอนิเมะให้ผลที่ดูดีในเชิงอัตวิสัยแต่ชื่อเพี้ยน คำถามเกี่ยวกับนายกรัฐมนตรีญี่ปุ่นให้คำตอบที่ผิด อ้างว่าจุดตัดความรู้คือเดือนมิถุนายน 2024 และมีชื่อที่แต่งขึ้นมาเอง มีการรั่วไหลของ chain-of-thought ภาษาอังกฤษออกมาก่อนแท็ก think ปิด

พรอมต์แบบไม่เป็นทางการสามรายการไม่ใช่การประเมิน และไม่ควรตีความว่าเป็นการประเมิน สิ่งที่มันเป็นคือจุดข้อมูลหนึ่งที่สอดคล้องกับโครงร่างของตารางผู้ขาย: โมเดลที่ถูกปรับแต่งอย่างหนักเพื่องานเชิงเอเจนต์ภาษาอังกฤษ ความรู้เกี่ยวกับโลกที่ล้าสมัยไปสองปี และไม่โดดเด่นในภาษาที่สอง การ์ดระบุว่าภาษาอังกฤษและภาษาจีน แต่ก็ยังไม่มีใครเผยแพร่แบบทดสอบภาษาจีนเช่นกัน

จุดที่เวอร์ชันควอนไทซ์ไม่ถือเป็นโมเดลเดียวกันอีกต่อไป

คนส่วนใหญ่ที่รันสิ่งนี้จะไม่ได้รัน bfloat16 ขนาด 66 GB พวกเขาจะรันควอนไทซ์ 4 บิตบนการ์ดเพียงใบเดียว และรายงานการควอนไทซ์ที่ปรากฏภายในหนึ่งวันหลังการเปิดตัวบ่งชี้ว่านั่นเป็นการลดลงที่มากกว่าปกติ

คลัง GGUF ของชุมชนเผยแพร่ค่า KL divergence และอัตราความสอดคล้อง top-1 เทียบกับโมเดล bfloat16 ซึ่งวัดบนชุดทดสอบข้อความมาตรฐาน และ README ของคลังเองก็เตือนว่าโมเดลนี้ "ไวต่อการควอนไทซ์อย่างผิดปกติ"

• Q8_0, 35.2 GB — KL 0.0032, ความสอดคล้อง top-1 98.0%

• เมทริกซ์ความสำคัญ Q5_K_M, 24.7 GB — KL 0.0213, top-1 94.7%

• เมทริกซ์ความสำคัญ Q4_K_M, 21.2 GB — KL 0.0380, top-1 92.6%

llama.cpp Q4_K_M แบบธรรมดา, 20.1 GB — KL 0.0693, top-1 89.9% ความกว้างบิตเท่ากับแถวด้านบน แต่มี drift เกือบสองเท่า

• Importance-matrix IQ3_S, 17.1 GB — KL 0.1019, top-1 87.5% README ระบุว่าไฟล์ที่ต่ำกว่า 4-bit สูญเสียความแม่นยำมากกว่าอย่างมีนัยสำคัญ

การแปลง MLX 8 บิตรายงาน top-1 ที่ 98.6% โดยมี KL 0.015 และเปรียบเทียบเส้นทาง AWQ 4 บิตที่ top-1 92.1% โดยมี KL 0.181 — ซึ่งเป็นการลดลงที่ชันกว่ามากเมื่อเทียบกับ GGUF แบบเมทริกซ์ความสำคัญที่ความกว้างตามที่ระบุเดียวกัน

การตีความในทางปฏิบัติ: หากคุณประเมินโมเดลนี้ที่ 4-bit บนการ์ดใบเดียวขนาด 40 หรือ 48 GB แล้วมันล้มเหลวในงานเอเจนต์ของคุณ คุณได้ประเมินโมเดลที่ตรงกับโมเดลที่เผยแพร่ในอัตราราวเก้าโทเค็นจากสิบโทเค็น สำหรับงานร้อยแก้ว ความต่างนี้มองไม่เห็น สำหรับการเรียกเครื่องมือ ซึ่งอาร์กิวเมนต์ที่ผิดรูปแบบเพียงตัวเดียวก็ทำให้จบเทิร์น อัตราความเบี่ยงเบน 7% คือผลิตภัณฑ์คนละแบบ หากข้ออ้างด้านเอเจนต์คือเหตุผลที่คุณสนใจ ระดับต่ำสุดที่ซื่อตรงคือ Q5 พร้อมเมทริกซ์ความสำคัญ หรือ bfloat16 บนฮาร์ดแวร์เช่าสำหรับการรันประเมิน

ค่าใช้จ่ายในการลองคือเท่าไร และจะลองใช้โดยไม่ต้องเดิมพันกับมันได้อย่างไร

Nanbeige ยังไม่ประกาศราคา เพราะไม่มีอะไรให้กำหนดราคา: โมเดลนี้เป็นเวต ไม่ใช่บริการ และ Hub ไม่ได้ระบุผู้ให้บริการ inference สำหรับโมเดลนี้เลย เหลือสามแนวทาง — GPU 80 GB สี่ตัวสำหรับ bfloat16, การ์ด 48 GB หนึ่งใบที่ Q5 หรือรอให้ผู้ให้บริการลงรายการโมเดลนี้

เพื่อการเปรียบเทียบ โมเดลที่มันอ้างว่าเอาชนะได้นั้นพร้อมใช้งานตามต้องการ Qwen3.8-27B ทำงานบน OrcaRouter ในราคา $0.33 ต่อล้านโทเค็นอินพุต และ $2.40 ต่อล้านโทเค็นเอาต์พุต ด้วยหน้าต่างบริบท 262K และเวลาไปยังโทเค็นแรกที่เปอร์เซ็นไทล์ 50 ประมาณ 2.95 วินาที พรอมต์แบบเอเจนต์ขนาด 65,536 โทเค็นบวกเอาต์พุต 8,000 โทเค็นมีค่าใช้จ่ายประมาณสี่เซนต์ นั่นคือตัวเลขที่โมเดล 33B ที่โฮสต์เองต้องเอาชนะให้ได้ และต้องเอาชนะให้ได้ทั้งที่แบกเวลาที่ GPU ว่างเปล่า ความเสี่ยงจากการควอนไทซ์ และการไม่มีเส้นทางสำรอง

เราไม่ได้โฮสต์ Nanbeige4.3-33B และไม่มีสิ่งใดในที่นี้ที่ควรถูกตีความว่าเป็นการอ้างว่าเราโฮสต์มัน สิ่งที่เราทำได้คือทำให้การเปรียบเทียบในทิศทางตรงกันข้ามมีต้นทุนต่ำลง: Orca Connect นำ GPU ของคุณเองไปไว้เบื้องหลังคีย์เดียวกับแคตตาล็อกที่โฮสต์ไว้ ดังนั้น endpoint ของ Nanbeige ที่โฮสต์เองและ Qwen3.8-27B จึงสามารถอยู่เบื้องหลัง endpoint เดียวและกฎการกำหนดเส้นทางเดียวได้ในระหว่างที่คุณตัดสินใจ ส่งส่วนแบ่งของทราฟฟิกไปยัง checkpoint ใหม่ เก็บโมเดลที่โฮสต์ไว้เป็น fallback และให้บันทึกคำขอ — เกรด ความหน่วง ต้นทุนต่อการเรียก — ช่วยตัดสินข้อโต้แย้งที่ตารางของผู้ขายทำไม่ได้ การบวกกำไร 0% มีความสำคัญในที่นี้ในแบบเฉพาะเจาะจง: ราคาตามรายการของผู้ให้บริการส่งผ่านโดยไม่เปลี่ยนแปลง ดังนั้นเมื่อผู้ขายลดราคา การเปรียบเทียบที่คุณตั้งค่าไว้เมื่อสัปดาห์ที่แล้วจึงยังคงซื่อตรง

ใครควรดำเนินการกับเรื่องนี้ และใครควรรอ

ถ้าคุณกำลังสร้างไปป์ไลน์สำหรับการกลั่น (distillation pipeline) นี่คือเช็กพอยต์แบบเปิดที่น่าสนใจที่สุดของเดือนนี้ ครูแบบ dense ขนาด 33B ที่มีใบอนุญาตแบบเปิดกว้าง มีการบันทึกการตั้งค่าการสุ่มตัวอย่างไว้อย่างชัดเจน และมีชุด benchmark ที่เลือกมาเพื่อวัดพฤติกรรมที่คุณต้องการถ่ายทอดโดยเฉพาะ ถือเป็นสินทรัพย์ที่มีประโยชน์ และการที่ห้องแล็บบอกว่ากำลังสร้างครูขึ้นมาก่อนนั้นเป็นสัญญาณว่าซีรีส์นี้กำลังมุ่งไปทางไหน ดาวน์โหลดมา รัน eval ของคุณเอง และเก็บบันทึก harness ของการ์ดไว้ข้างผลลัพธ์ของคุณ

ถ้าคุณต้องการโมเดลสำหรับใช้งานจริงในโปรดักชันภายในสัปดาห์นี้ ให้รอก่อน ยังไม่มีคะแนนประเมินที่เป็นอิสระ ไม่มีเอนด์พอยต์แบบโฮสต์ มีรายงานจากการทดลองใช้จริงเพียงฉบับเดียวที่มีพรอมป์ต์อยู่สามรายการ และมีโปรไฟล์การควอนไทซ์ที่เสื่อมคุณภาพเร็วกว่าปกติที่ความกว้างบิตซึ่งคนส่วนใหญ่จ่ายไหว ไม่มีข้อใดในนั้นถึงขั้นทำให้ใช้ไม่ได้ — มันแค่ยังไม่ถือเป็นหลักฐาน

หากคุณต้องการความสามารถด้านภาพ การเปรียบเทียบก็ตัดสินได้แล้ว: Qwen3.8-27B อ่านภาพและวิดีโอได้ และโมเดลนี้อ่านข้อความได้สองภาษา

สิ่งที่น่าจับตามองนั้นเจาะจงมาก Nanbeige4.3-3B ซึ่งเป็นเป้าหมายของการดิสทิลเลชัน จะบอกคุณว่าโมเดลครูนั้นคุ้มค่าที่จะสร้างหรือไม่ การรันอิสระครั้งแรกของ Terminal-Bench 4.0 แถวที่มีช่องว่างกว้างที่สุดและอ่อนไหวต่อสแคฟโฟลด์มากที่สุด และดูว่ามีผู้ให้บริการรายใดระบุ 33B ไว้หรือไม่ — เพราะทันทีที่มีคนทำเช่นนั้น บริบท 512K ก็จะเลิกเป็นเพียงค่าการกำหนดค่าและกลายเป็นรายการในใบแจ้งหนี้ และการคำนวณในบทความนี้ก็จะกลายเป็นใบแจ้งหนี้ของใครบางคน