Nanbeige4.3-33B ได้ตัวเลขจากภายนอกเป็นครั้งแรก: 20 เท่ากับ Qwen3.8-27B และช่างพูดเป็นสองเท่า

เป็นเวลาสองสัปดาห์ หลักฐานเดียวว่า Nanbeige4.3-33B เก่งเรื่องใดเรื่องหนึ่งมาจากตารางยี่สิบแถวที่ห้องแล็บเขียนเกี่ยวกับตัวเอง วันที่ 5 พฤศจิกายน สิ่งนั้นเปลี่ยนไป: Artificial Analysis นำ Nanbeige4.3-33B ขึ้นบน Intelligence Index v5.0.1 ที่ 20 ซึ่งเป็นคะแนนเดียวกับที่ให้ Qwen3.8-27B ที่การตั้งค่าการให้เหตุผลสูงสุด — 20 ในคะแนนรวม และ 20.1 สำหรับโมเดล Qwen ในการรัน v5.0 พื้นฐาน หนึ่งในสิบของคะแนนนั้นเล็กกว่าความคลาดเคลื่อนระหว่างการประเมินสองครั้งของเช็กพอยต์เดียวกัน ดังนั้นทั้งสองจึงสูสีกันอย่างสนิทบนคะแนนรวมสาธารณะเพียงหนึ่งเดียวที่วัดทั้งสองตัว

นั่นคือตัวเลขที่การเปิดตัวรอคอย และมันเป็นสิ่งที่น่าสนใจน้อยที่สุดในการวัดนี้ คะแนนรวมซ่อนแบบจำลองที่สองครึ่งชี้ไปคนละทิศทาง: ครึ่งที่เป็นเอเจนต์ซึ่งนำหน้าแบบจำลอง Qwen ที่มันถูกสร้างมาเพื่อเอาชนะไปไกล และครึ่งที่เป็นความรู้ซึ่งตามหลังมันอย่างวัดได้ มันยังซ่อนข้อเท็จจริงที่ว่า Nanbeige4.3-33B ใช้โทเค็นเอาต์พุต 160 ล้านโทเค็นเพื่อไปถึง 20 นั้น — มากกว่าสองเท่าของที่แบบจำลองมัธยฐานในชั้นการเปรียบเทียบเดียวกันใช้ไป และมากพอที่จะทำให้มันอยู่อันดับสุดท้ายจากทั้งหมดแปดในมาตรวัดความเยิ่นเย้อของ Artificial Analysis

ดังนั้นการตีความอย่างซื่อตรงของรีลีสนี้จึงไม่ใช่ "ยังไม่ได้ตรวจสอบ" อีกต่อไป แต่คือ "ตรวจสอบแล้ว และแปลกกว่าที่ตารางของผู้ขายบอกไว้" ต่อไปนี้คือสิ่งที่การรันแบบอิสระกล่าวไว้จริง จุดที่มันสอดคล้องกับตัวเลขของ Nanbeige เอง และจุดเดียวที่การวัดจากภายนอกออกมาสูงกว่าข้อกล่าวอ้างของห้องแล็บเอง

20 หมายถึงอะไร และไม่หมายถึงอะไร

Artificial Analysis จัดให้ Nanbeige4.3-33B อยู่อันดับหนึ่งจากเก้าในชั้นการเปรียบเทียบของตัวเอง เทียบกับค่ามัธยฐานของชั้นที่ 10 ชั้นนี้คือโมเดล open-weight ขนาดใกล้เคียงกันเก้าตัวที่ใช้เปรียบเทียบ และเว็บไซต์ระบุแยกต่างหากว่ามีโมเดล 144 ตัวในกลุ่มเทียบเคียงที่กว้างกว่า ทั้งสองกลุ่มนี้ควรค่าแก่การพิจารณาพร้อมกัน: เมื่อเทียบกับโมเดล open-weight ที่มีขนาดใกล้เคียงกันโดยประมาณ มันเป็นสิ่งที่แข็งแกร่งที่สุดที่ถูกวัด และเมื่อเทียบกับทั้งวงการ — รวมถึงโมเดลปิดระดับแนวหน้าและรุ่นที่ดีที่สุดของ Qwen, DeepSeek และ Anthropic — คะแนน 20 ถือเป็นผลลัพธ์กลางตารางที่มั่นคง

ช่องว่างระหว่างอันดับ 1 จาก 9 กับคะแนนระดับกลางตารางนั้นคุ้มค่าที่จะยึดไว้ เพราะมันคือช่องว่างเดียวกันกับที่หายไปเมื่อการเปิดตัวถูกสรุปว่า "เอาชนะ Qwen ได้" โมเดล open-weights ขนาด 33B ที่ไปอยู่ระดับกลางตารางบนคะแนนรวมซึ่งถูกครอบงำโดยโมเดลที่ใหญ่กว่าหลายเท่า ถือเป็นความสำเร็จที่แท้จริง มันไม่ใช่ผลลัพธ์ระดับแนวหน้า และไม่มีคำใดในคำศัพท์ของการเปิดตัวนี้ที่ควรสื่อเป็นอย่างอื่น

สิ่งที่ดัชนีไม่ได้รวมไว้คือราคา ไม่มีราคา เพราะไม่มีโฮสต์เอนด์พอยต์: Artificial Analysis บันทึกว่า "No publicly available API" การแมปผู้ให้บริการอนุมานของ Hugging Face สำหรับรีโพซิทอรีนั้นว่างเปล่า และทุกตัวติดตามที่บรรจุโมเดลนี้แสดงต้นทุนว่าไม่พร้อมใช้งาน ต้นทุนของคุณคือฮาร์ดแวร์

สองครึ่งของโมเดลขัดแย้งกัน

Artificial Analysis ไม่ได้เผยแพร่ตัวเลขเพียงตัวเดียว และคะแนนย่อยคือจุดที่ทำให้โมเดลนี้เข้าใจได้ อ่านค่าเหล่านี้เป็นสองคอลัมน์

• Terminal-Bench 4.0 (ฮาร์เนสของ Artificial Analysis) — Nanbeige4.3-33B ได้ 29.8% อยู่อันดับที่ 56 จากทุกการกำหนดค่าบนกระดาน ส่วน Qwen3.8-27B ที่ระดับ xhigh ได้ 5.6% บนฮาร์เนสเดียวกัน

• FrontierCode 2.0 — Nanbeige4.3-33B 10.7% อยู่อันดับที่ 81 ส่วน Qwen3.8-27B ที่ระดับ xhigh ได้ 14.9% ดังนั้นเกณฑ์วัดคุณภาพโค้ดจึงให้ผลตรงกันข้าม

• AA-Omniscience v1.1 — Nanbeige4.3-33B ได้คะแนนสุทธิ −4.4 โดยมีความแม่นยำ 11.7% Qwen3.8-27B ที่ xhigh ได้คะแนนสุทธิ −6.4 โดยมีความแม่นยำ 17.3% Qwen รู้มากกว่า แต่ Nanbeige ได้คะแนนสุทธิที่ดีกว่าเพราะปฏิเสธที่จะตอบบ่อยกว่า

• AA-Omniscience non-hallucination — Nanbeige4.3-33B 81.8% อยู่อันดับที่ 7 ของทั้งเว็บไซต์ ส่วน Qwen3.8-27B ที่ระดับ xhigh ทำได้ 71.4%

• AutomationBench — Nanbeige4.3-33B 53.1% อันดับที่ 82 • AA-Briefcase v1.1 — 1,162 อันดับที่ 90 • Terminal-Bench-Science 0.1 — 0.9% อันดับที่ 89

• HLE-Diamond — 6.9% อยู่ในอันดับที่ 117 • CritPt v2 ชุดย่อยระดับยาก — 15.5% อยู่ในอันดับที่ 85 • GDP.pdf — 11.2% อยู่ในอันดับที่ 135

รูปแบบในแถวเหล่านั้นสอดคล้องกัน เมื่อภารกิจคือ “ใช้งานเทอร์มินัลเป็นเวลานานและไม่หยุดก่อนกำหนด” โมเดลนี้ได้คะแนนประมาณห้าเท่าของโมเดล Qwen เมื่อภารกิจคือ “รู้ข้อเท็จจริง” มันตามหลังอยู่ — และเมื่อภารกิจคือ “รู้ข้อเท็จจริงหรือบอกว่าไม่รู้” มันนำหน้าเกือบทุกอย่างบนกระดาน ด้วยอัตราการไม่สร้างข้อมูลเท็จ 81.8%

การผสมผสานนั้นไม่ใช่เรื่องบังเอิญของการปรับแต่ง มันคือหน้าตาของโมเดลที่สร้างขึ้นเพื่อสร้างเส้นทางของเอเจนต์ เมื่อคุณเอาข้อสอบวัดความรู้ไปทดสอบกับมัน โมเดลครูที่กุข้อเท็จจริงขึ้นมาคือครูที่ทำให้ข้อมูลฝึกของนักเรียนเป็นพิษ ดังนั้นในไปป์ไลน์ที่ Nanbeige บอกว่ากำลังสร้าง การปรับเทียบจึงสำคัญกว่าความสามารถในการเรียกคืนข้อมูล ไม่ว่าการแลกเปลี่ยนนี้จะตั้งใจหรือเกิดขึ้นเอง มันคือสิ่งที่มีเหตุผลรองรับมากที่สุดเกี่ยวกับการเปิดตัวครั้งนี้

ปัญหาความเยิ่นเย้อคือปัญหาต้นทุนที่ปลอมตัวมา

Artificial Analysis รายงานว่า Nanbeige4.3-33B สร้างโทเค็นเอาต์พุต 160 ล้านโทเค็นขณะถูกประเมินบน Intelligence Index โมเดลค่ามัธยฐานในชั้นการเปรียบเทียบของมันสร้าง 77.7 ล้านโทเค็น ในการจัดอันดับความละเอียดยืดเยื้อของเว็บไซต์ มันอยู่อันดับสุดท้าย คือ #8 จาก 8 ในชั้นนั้น ที่ประมาณ 2.06 เท่าของค่ามัธยฐาน ปริมาณอินพุตอยู่ที่ 15.4 พันล้านโทเค็น ซึ่งทำให้อัตราส่วนเอาต์พุตต่ออินพุตอยู่ที่ 1.034%

มีสองสิ่งตามมา สิ่งแรกคือ 20 มีราคาแพงในการซื้อ หากคุณจ่ายตามโทเค็นที่ใดก็ตาม โมเดลที่สร้างโทเค็นเป็นสองเท่าเพื่อคะแนนรวมเดียวกันจะมีต้นทุนต่อหน่วยของความสามารถที่วัดได้ประมาณสองเท่า และดัชนีไม่ได้ปรับมาตรฐานสำหรับเรื่องนั้น สิ่งที่สองคือความเยิ่นเย้อเป็นปัญหาด้านความหน่วงก่อนที่จะเป็นปัญหาด้านเงิน: โมเดล dense 33B บน GPU ของคุณเองที่สร้างโทเค็นเป็นสองเท่าจะใช้เวลานานเป็นสองเท่าในการทำงานให้เสร็จ

การตั้งค่าที่ Nanbeige แนะนำเองอธิบายได้ส่วนหนึ่งและไม่ได้แก้ตัวให้ทั้งหมด การ์ดระบุเพดาน 262,144 โทเคนสำหรับการให้เหตุผลและการแชต 65,536 สำหรับงานแบบเอเจนต์ โดยเปิดโหมดคิดเป็นค่าเริ่มต้น โมเดลใดก็ตามที่ได้รับแจ้งว่าอาจใช้ความคิดได้ถึงสองแสนห้าหมื่นโทเคน ย่อมใช้บางส่วน แต่ค่ามัธยฐานของกลุ่มเป็นการเปรียบเทียบที่ยุติธรรม — โมเดลอื่นที่อยู่เบื้องหลังดัชนีเดียวกันก็เป็นโมเดลให้เหตุผลเช่นกัน — และอัตราส่วน 2.06 เท่ายังคงอยู่ภายใต้การควบคุมนั้น

สำหรับการติดตั้งใช้งานบนเซิร์ฟเวอร์ของคุณเอง วิธีแก้ที่ใช้ได้จริงคือการกำหนดงบประมาณ ไม่ใช่การเปลี่ยนโมเดล: จำกัดจำนวนโทเค็นใหม่สูงสุดต่องาน และวัดอัตราการผ่านของคุณเองที่ 8K, 16K และ 32K ก่อนจะสรุปว่าค่าเริ่มต้นของการ์ดเหมาะกับภาระงานของคุณ งานแบบเอเจนต์ส่วนใหญ่ไม่ได้ดีขึ้นหลังจากถึงจุดหนึ่ง และโมเดลนี้จะไม่บอกคุณว่าจุดนั้นอยู่ตรงไหน

แถวเดียวที่การรันจากภายนอกเอาชนะตัวเลขของผู้ขายเอง

การ์ดโมเดลของ Nanbeige อ้างว่า Terminal-Bench 4.0 อยู่ที่ 23.8 สำหรับ Nanbeige4.3-33B เทียบกับ 6.3 สำหรับ Qwen3.8-27B Artificial Analysis วัดได้ 29.8 ตัวเลขอิสระสูงกว่าตัวเลขที่ห้องแล็บเผยแพร่เกี่ยวกับตัวเองอยู่หกจุด

เรื่องนี้ผิดปกติพอที่จะควรพูดให้ชัด เพราะรูปแบบความล้มเหลวมาตรฐานในอุตสาหกรรมนี้มักไปในทางตรงกันข้าม — ห้องแล็บรายงานตัวเลขที่ดีที่สุดที่ scaffold ของตัวเองสร้างได้ และการรันซ้ำจากภายนอกมักได้ต่ำกว่า การที่ผู้ขายรายงานคะแนน agentic ของตัวเองต่ำเกินจริงชี้ว่าเป็นไปได้ว่าพวกเขาใช้ harness ที่ต่างออกไป เป็นการอ้างแบบอนุรักษ์นิยมโดยเจตนา หรือเป็นตารางที่สร้างขึ้นก่อน checkpoint สุดท้าย ไม่มีข้อใดแย่ ทั้งหมดหมายความว่าตารางของผู้ขายไม่ใช่เพดาน และไม่ควรอ่านว่าเป็นเพดาน

ไม่ได้หมายความว่าแถวข้อมูลของผู้ขายทุกรายจะเชื่อถือได้ ข้ออ้างที่ใหญ่ที่สุดในตารางของ Nanbeige — DeepSWE ที่ 65.5 เทียบกับ 42.5 ของ Qwen, SWE-Atlas-QnA ที่ 50.8 เทียบกับ 41.9 — ยังไม่มีผลลัพธ์อิสระที่เทียบเคียงได้ และทั้งสองเป็นเบนช์มาร์กที่ไวต่อ scaffold ซึ่งการเลือก harness ส่งผลต่อคะแนนมากกว่าคุณภาพของโมเดล สิ่งที่ผลลัพธ์ Terminal-Bench ยืนยันนั้นแคบกว่าและมีประโยชน์กว่า: ทิศทางแบบ agentic ของข้ออ้างนั้นเป็นจริง ขนาดของผลในแต่ละแถวยังไม่ได้รับการยืนยัน

แล้วสิ่งนี้ทำให้ทีมที่ต้องการลองใช้มันเป็นอย่างไร

เรื่องการเข้าถึงไม่ได้เปลี่ยนแปลงอะไร ไม่มีเอนด์พอยต์ให้เรียก ไม่มีตารางราคา และไม่มีรายการผู้ให้บริการ โดยเวตของโมเดลอยู่บน Hugging Face ภายใต้ Apache 2.0 และเส้นทางให้บริการคือ vLLM, SGLang หรือ Transformers บนฮาร์ดแวร์ที่คุณเป็นเจ้าของ เช็กพอยต์ bfloat16 มีขนาด 66.3 GB แบ่งเป็น 14 ชาร์ด และที่บริบท 512K แคช KV เพียงอย่างเดียวใช้พื้นที่ประมาณ 104 GiB ซึ่งเป็นเหตุผลว่าคอนฟิกที่ใช้งานได้จริงจึงเป็นการทำ tensor parallelism แบบ 4 ทาง แทนที่จะเป็นการ์ดใหญ่เพียงใบเดียว

สิ่งที่เปลี่ยนไปคือตอนนี้คุณข้ามส่วนที่แพงของการตรวจสอบสถานะ (due diligence) ได้แล้ว ก่อนสัปดาห์นี้ การประเมิน Nanbeige4.3-33B หมายถึงการจัดเตรียม GPU สี่ตัวเพื่อดูว่าข้ออ้างด้าน agentic ยังคงอยู่เมื่อทดสอบกับ harness ที่เป็นกลางหรือไม่ คะแนน 29.8 บน Terminal-Bench 4.0 ตอบคำถามแรก — ทิศทางถูกต้อง — และตัวเลขความยาวคำตอบ (verbosity) ตอบคำถามที่ไม่มีใครถาม ซึ่งก็คือโมเดลนี้จะทำให้คุณเสียค่าใช้จ่ายเป็นโทเคนเท่าไรต่องานที่ทำเสร็จหนึ่งงาน

หากคุณต้องการจุดเปรียบเทียบที่เรียกใช้ได้จริงในวันนี้ Qwen3.8-27B คือตัวควบคุมตามธรรมชาติ: คะแนนรวมเท่ากัน ราคาที่ประกาศไว้ และหน้าต่าง 262K ทำงานบน OrcaRouter ในราคา $0.33 ต่ออินพุตหนึ่งล้านโทเค็น และ $2.40 ต่อเอาต์พุตหนึ่งล้านโทเค็น โดยใช้คีย์เดียวกับส่วนที่เหลือของแคตตาล็อก พร้อมส่งผ่านราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม การรันชุดงานของคุณกับโมเดลที่โฮสต์ไว้และโมเดลที่โฮสต์เองภายใต้กฎการกำหนดเส้นทางเดียวเป็นวิธีที่ถูกที่สุดในการค้นหาว่าเช็กพอยต์แบบ dense ขนาด 33B บนฮาร์ดแวร์ของคุณเองจะเอาชนะโมเดล 27B ที่คุณเช่าตามโทเค็นได้หรือไม่ — และเป็นคำถามที่ Intelligence Index ตอบแทนคุณไม่ได้ เพราะมันไม่รู้ว่าชุดงานของคุณคืออะไรหรือ GPU ของคุณมีต้นทุนเท่าไร

สิ่งที่ยังไม่เป็นที่รู้กันอย่างแท้จริงนั้นมีขอบเขตแคบลง สิ่งที่ยังไม่รู้คือ Nanbeige4.3-3B ซึ่งเป็นเป้าหมายการกลั่นที่โมเดลนี้ถูกสร้างขึ้นมาเพื่อสอน จะสืบทอดการปรับเทียบใด ๆ หรือไม่ ความเยิ่นเย้อจะอยู่รอดผ่านโมเดลนักเรียนหรือไม่ เนื่องจากโมเดลขนาดเล็กที่ปล่อยโทเค็นมากกว่า 2 เท่าเป็นความผิดพลาดที่ต้นทุนถูกกว่ามาก และผลลัพธ์การไม่หลอนจะยังคงใช้ได้นอกชุดทดสอบ Omniscience หรือไม่ เพราะ 81.8% เป็นตัวเลขที่น่าทึ่ง และตัวเลขที่น่าทึ่งสมควรได้รับการตรวจสอบซ้ำก่อนที่ใครจะสร้างไปป์ไลน์บนตัวเลขเหล่านั้น