Nanbeige4.3-33B กับ Qwen3.8 27B: ตรวจสอบข้อกล่าวอ้าง 18 จาก 20

Nanbeige4.3-33B เอาชนะ Qwen3.8-27B ได้ใน 18 จาก 20 benchmark นี่คือคำกล่าวอ้างที่แพร่กระจายไปทั่วอินเทอร์เน็ตในสัปดาห์นี้ และตามที่การ์ดโมเดลระบุไว้ ก็เป็นเช่นนั้นจริง มันยังเป็นประโยคที่มีตัวส่วน และตัวส่วนคือส่วนที่น่าสนใจ ใน 20 แถวนั้น 19 แถวให้คะแนนเป็นจุดและอีกหนึ่งแถวเป็นตัวเลขดอลลาร์ สี่ใน 18 ชัยชนะมีส่วนต่างน้อยกว่าหนึ่งจุด และอย่างน้อยสามตัวเลขของ Qwen ดูเหมือนจะถูกคัดลอกมาจากผลลัพธ์ที่ Qwen เผยแพร่เอง มากกว่าจะเป็นการรันซ้ำโดย Nanbeige ทั้งหมดนี้ไม่ได้ทำให้คำกล่าวอ้างเป็นเท็จ แต่มันทำให้คำกล่าวอ้างแคบกว่าที่ฟังดู

การจับคู่นี้ไม่ปกติเพราะ Nanbeige เลือก Qwen3.8-27B เป็นคู่ซ้อม Qwen3.8-27B เปิดตัวในช่วงกลางเดือนสิงหาคม 2026 มีขนาด 27.78 พันล้านพารามิเตอร์แบบ dense ใช้สัญญาอนุญาต Apache 2.0 เป็นมัลติโมดัลในส่วนอินพุต และซึ่งแตกต่างจาก Nanbeige4.3-33B ตรงที่มีคะแนนดัชนีความฉลาดจาก Artificial Analysis ที่เป็นอิสระอยู่ที่ 34 ดังนั้นนี่จึงเป็นการเปรียบเทียบเพียงกรณีเดียวในชุดนี้ที่คู่ต่อสู้มีคะแนนที่ตรวจสอบยืนยันแล้ว tandis โมเดลที่ถูกประเมินยังไม่มี ความไม่สมมาตรนี้เป็นเครื่องมือที่ดีที่สุดที่เรามีในการตรวจสอบตาราง

ใครเป็นผู้เขียนข้อกล่าวอ้าง และตัวส่วนมีอะไรบ้าง

ตารางนี้เป็นของ Nanbeige เผยแพร่บนการ์ดโมเดล Hugging Face ของ Nanbeige4.3-33B ในรีพอซิทอรีที่สร้างเมื่อวันที่ 24 ตุลาคม 2026 ไม่มีโพสต์บล็อกประกอบ ไม่มีงานเปิดตัว และไม่มีการทำซ้ำโดยบุคคลที่สาม ตัวเลขทุกตัวในคอลัมน์ Qwen และตัวเลขทุกตัวในคอลัมน์ Nanbeige ถูกสร้างขึ้นหรือคัดเลือกโดยแล็บที่ทำการเปรียบเทียบ

20 แถวครอบคลุมสามกลุ่ม ได้แก่ agentic coding (Terminal-Bench 2.1 และ 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), agentic cowork (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) และ reasoning (GPQA Diamond, AIME 2026, AA-LCR) ฮาร์เนสถูกเปิดเผยอย่างละเอียดรอบคอบกว่าการ์ดของผู้จำหน่ายส่วนใหญ่ โดยใช้ Terminus 2 สำหรับ Terminal-Bench 2.1, mini-swe-agent v2.4.6 สำหรับ Terminal-Bench 4.0, DeepSWE และ SWE-Atlas-QnA, Claude Code สำหรับ NL2Repo และ JobBench และ GPT-6 Sol เป็นผู้ตัดสินสำหรับ SWE-Atlas-QnA การเปิดเผยนั้นเป็นเครดิตของ Nanbeige และยังเป็นเหตุผลที่ทำให้การเปรียบเทียบอ่านได้ยากกว่าการนับจำนวนครั้งที่ชนะเพียงอย่างเดียว

สองแถวที่ Nanbeige แพ้

SWE-Bench Pro — Qwen3.8-27B 61.7 เทียบกับ Nanbeige4.3-33B 60.3 โดย Qwen นำอยู่ 1.4 คะแนน

• GDPval — Qwen3.8-27B 86.4 เทียบกับ Nanbeige4.3-33B 84.8 โดย Qwen นำอยู่ 1.6 คะแนน

นี่คือสองแถวที่พาดหัว “18 จาก 20” ปัดตกไปอย่างเงียบ ๆ และทั้งสองชี้ไปในทิศทางเดียวกัน ทั้งคู่เป็นเบนช์มาร์กของงานระดับมืออาชีพที่มีคุณค่าทางเศรษฐกิจ: SWE-Bench Pro คือตัวแปรด้านวิศวกรรมซอฟต์แวร์ที่ยากกว่า และ GDPval วัดคุณภาพของผลลัพธ์ในงานอาชีพจริง Qwen ชนะทั้งสองรายการด้วยส่วนต่างที่น้อยในเชิง абсолют แต่คงที่ข้ามตระกูลงานที่แตกต่างกันสองแบบ หากคุณกำลังเลือกระหว่างโมเดลเหล่านี้เพื่องานระดับมืออาชีพมากกว่าการดูกระดานผู้นำ สองแถวนี้คือแถวที่คุณควรให้น้ำหนักมากที่สุด และเป็นสองแถวที่ฝ่ายที่เป็นประธานในการเปรียบเทียบแพ้

การ์ดของ Nanbeige ไม่ได้อธิบายถึงความพ่ายแพ้เหล่านั้น และก็ไม่จำเป็นต้องอธิบาย — ผู้ขายมีสิทธิ์เผยแพร่ตารางที่ตนชนะ แต่ผู้อ่านควรสังเกตว่าความพ่ายแพ้กระจุกตัวอยู่ตรงจุดที่เกณฑ์วัดอยู่ใกล้กับคำถามที่ว่า “ผู้เชี่ยวชาญจะยอมรับผลลัพธ์นี้หรือไม่” มากที่สุด ขณะที่ชัยชนะกระจุกตัวอยู่ตรงจุดที่เกณฑ์วัดอยู่ใกล้กับคำถามที่ว่า “เอเจนต์ทำงานจนครบวงจรหรือไม่” มากที่สุด

ชัยชนะที่เป็นเพียงความคลาดเคลื่อนจากการปัดเศษ

จากการชนะ 18 ครั้ง มี 4 ครั้งที่ตัดสินด้วยคะแนนห่างกันไม่ถึงหนึ่งแต้ม

• Tau3-Bench — 48.8 เทียบกับ 48.5 ห่างกันเพียงสามในสิบของคะแนน

• GPQA Diamond — 89.5 เทียบกับ 89.2 สามในสิบ

• AIME 2026 — 95.2 เทียบกับ 94.5 เจ็ดในสิบ

• EnterpriseOps-Gym — 41.0 เทียบกับ 40.2 แปดในสิบ

มีอีกสองรายการที่อยู่ในช่วงประมาณสองคะแนน: Toolathlon-Verified ที่ 70.4 เทียบกับ 68.5 และ AA-LCR ที่ 84.0 เทียบกับ 82.0 บน benchmark ที่มีขนาดและความแปรปรวนระดับนี้ ช่องว่างต่ำกว่าหนึ่งคะแนนไม่ใช่หลักฐานของความเหนือกว่า แต่เป็นหลักฐานว่าโมเดลทั้งสองอยู่ในช่วงเดียวกัน การกล่าวถึงพาดหัวข่าวใหม่ให้ยุติธรรมควรเป็น "Nanbeige นำอย่างชัดเจนใน 12 จาก 20 รายการ เสมอใน 6 และตามหลังใน 2" — ซึ่งยังคงเป็นผลลัพธ์ที่แข็งแกร่ง และเป็นผลลัพธ์ที่มีประโยชน์กว่า

ชัยชนะครั้งใหญ่คือจุดที่มีข้อโต้แย้งจริงอยู่ DeepSWE ที่ 65.5 เทียบกับ 42.5 คือช่องว่าง 23 จุด Terminal-Bench 4.0 ที่ 23.8 เทียบกับ 6.3 คือ 17.5 Automation Bench ที่ 54.2 เทียบกับ 38.3 คือ 15.9 DeepPlanning ที่ 63.3 เทียบกับ 49.2 คือ 14.1 YC-bench ซึ่งเป็นงานที่วัดเป็นจำนวนเงินรายงาน $1,025,437 เทียบกับ $641,290 สิ่งเหล่านี้ไม่ใช่การปัดเศษ พวกเขาบอกว่า Nanbeige เก่งกว่าในการทำงานระยะยาวแบบหลายขั้นตอน ซึ่งเป็นงานประเภทที่โมเดลต้องรักษาแผนให้คงอยู่ตลอดการเรียกใช้เครื่องมือหลายสิบครั้ง นั่นคือเรื่องเล่าที่สอดคล้องกัน และสอดคล้องกับบริบทดั้งเดิม 512K ของโมเดลและการตั้งค่าที่แนะนำซึ่งมุ่งเน้นเอเจนต์

คอลัมน์เหล่านี้อาจไม่ใช่การทดลองเดียวกัน

ข้อสังเกตที่ทำให้ตารางทั้งหมดซับซ้อนขึ้นมีดังนี้ ตัวเลขของ Qwen สามค่าตรงกับตัวเลขที่ Qwen เผยแพร่เองทุกประการ ได้แก่ Terminal-Bench 2.1 ที่ 73.0, SWE-Bench Pro ที่ 61.7 และ GPQA Diamond ที่ 89.2 โดย Qwen เผยแพร่ทั้งสามค่า ส่วนแถวที่ Qwen ไม่ได้เผยแพร่ — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — คือแถวที่ส่วนต่างของ Nanbeige มากที่สุดพอดี

รูปแบบนั้นสอดคล้องกับการใช้สองวิธีที่แตกต่างกันภายในตารางเดียว: การคัดลอกตัวเลขสำหรับเบนช์มาร์กที่คู่แข่งเผยแพร่แล้ว และการรันใหม่สำหรับเบนช์มาร์กที่คู่แข่งยังไม่ได้เผยแพร่ นี่เป็นการอนุมาน ไม่ใช่ข้อเท็จจริงที่เปิดเผย — การ์ดโมเดลของ Nanbeige ระบุว่าโมเดลทั้งหมดถูกประเมินด้วยความพยายามในการคิดสูงสุด โดยใช้พารามิเตอร์การอนุมานและฮาร์เนสเดียวกัน ซึ่งขัดแย้งกับการคัดลอก แต่การตรงกันเป๊ะของตัวเลขอิสระสามตัวเป็นความบังเอิญที่ควรชี้ให้เห็น และถ้าคอลัมน์ Qwen เป็นการผสมกัน แล้ว "18 of 20" จะเป็นการเปรียบเทียบการรันของ Nanbeige กับการรันของ Qwen ในบางแถว และเปรียบเทียบการรันของ Nanbeige กับการรันของ Nanbeige เองในแถวอื่นๆ

มีปัญหาที่สองที่ละเอียดอ่อนกว่า โมเดลของ Nanbeige เองกำลังถูกเรียกใช้ใน harness ที่การ์ดของโมเดลแนะนำ ได้แก่ การเรียกเครื่องมือแบบ XML, preserve_thinking=true, temperature 1.0 สำหรับงาน agentic การ์ดไม่ได้ระบุว่า Qwen3.8-27B ได้รับการตั้งค่าที่แนะนำของตัวเอง หรือถูกนำไปใช้ในการตั้งค่าของ Nanbeige หากเป็นกรณีหลัง ส่วนหนึ่งของช่องว่าง DeepSWE 23 จุดเป็นความแตกต่างด้านการกำหนดค่า มากกว่าความแตกต่างด้านความสามารถ นี่คือข้อควรระวังเดียวกันกับที่ใช้กับการเปรียบเทียบผู้จำหน่ายทุกราย และไม่ใช่เหตุผลที่จะปัดผลลัพธ์ทิ้ง — แต่เป็นเหตุผลที่ต้องมีการรันซ้ำแบบเป็นกลางก่อนจะถือว่าข้อสรุปนี้ยุติแล้ว

คะแนนอิสระที่มีเพียงโมเดลเดียวเท่านั้นที่มี

Artificial Analysis ให้คะแนน Qwen3.8-27B ที่ 34 บน Intelligence Index โดยวัดที่การกำหนดค่าการให้เหตุผลแบบ xhigh พร้อมอัตรา 45.2 โทเคนเอาต์พุตต่อวินาที ความหน่วงแตกต่างกันไปตามผู้ให้บริการ: หน้าของเราเองรายงานเวลาไปยังโทเคนแรกที่ p50 เท่ากับ 2.95 วินาที เทียบกับ 3.8 วินาทีที่ Artificial Analysis วัดได้บนปลายทางที่ตนสุ่มตัวอย่าง ดัชนีนั้นเป็นการรวมของการประเมินสิบรายการ รวมถึง Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA และ AutomationBench-AA — ซึ่งหลายรายการเป็นตระกูลเบนช์มาร์กเดียวกับที่ Nanbeige รายงานเอง

Nanbeige4.3-33B ไม่มีรายการใน Artificial Analysis นั่นไม่ใช่เรื่องอื้อฉาว เพราะโมเดลเพิ่งมีอายุได้สองวันเท่านั้น แต่มันหมายความว่าสองฝั่งของการเปรียบเทียบนี้ไม่ได้เท่าเทียมกันในเชิงหลักฐาน 34 ของ Qwen คือตัวเลขที่คนอื่นวัดมา ส่วน 80.9 ของ Nanbeige บน Terminal-Bench 2.1 คือตัวเลขที่ Nanbeige วัดเอง หากทั้งสองค่าแม่นยำ Nanbeige ก็น่าจะอยู่สูงกว่า 34 อย่างชัดเจนบนคอมโพสิตเดียวกัน — ค่า Terminal-Bench 4.0 ที่ 23.8 และ SciCode ที่ 52.6 ของมันเป็นแถวผลลัพธ์ที่แข็งแกร่ง ประเด็นคือคำว่า "น่าจะ" นี่แหละที่รับหน้าที่แบกข้อสรุปไว้ และมันจะยังทำหน้าที่นั้นต่อไปจนกว่าผู้ประเมินอิสระจะรันโมเดลนี้

นี่ก็เป็นเหตุผลเชิงปฏิบัติเช่นกันที่ควรถือข้อกล่าวอ้าง 18 จาก 20 เป็นข้อโต้แย้งตั้งต้น ข้อกล่าวอ้างนี้สามารถพิสูจน์ว่าเป็นเท็จได้ด้วยวิธีเฉพาะเจาะจงและมีต้นทุนต่ำ นั่นคือส่ง Nanbeige4.3-33B ให้ผู้ประเมินอิสระและเปรียบเทียบคะแนนรวม จนกว่าสิ่งนั้นจะเกิดขึ้น ข้อความที่ซื่อตรงและแข็งที่สุดคือ Nanbeige อ้างว่ามีความนำในงานเอเจนต์ระยะยาว และตามหลังเล็กน้อยในด้านคุณภาพผลลัพธ์ระดับมืออาชีพ และมีเพียงหนึ่งในสองโมเดลนั้นเท่านั้นที่ถูกตรวจสอบโดยผู้ใดก็ตามที่ไม่ใช่ผู้สร้าง

ต้นทุนต่องาน ไม่ใช่ต่อโทเคน

Qwen3.8-27B เป็นเพียงตัวเดียวในสองตัวนี้ที่คุณเรียกใช้ได้ในวันนี้ บน OrcaRouter ราคาอยู่ที่ $0.33 ต่อล้านโทเค็นอินพุต และ $2.40 ต่อล้านโทเค็นเอาต์พุต — ต่ำกว่า $0.50 และ $3.00 ที่ Artificial Analysis ระบุไว้สำหรับเอนด์พอยต์แบบ first-party ของ Alibaba ตัวนี้ให้บริการบนโครงสร้างพื้นฐานของเราเองแทนการขายต่อในราคาตามที่ผู้ให้บริการกำหนด ซึ่งเป็นเหตุผลที่ราคาต่ำกว่าราคา first-party ส่วนโมเดลที่เราส่งต่อนั้น กฎการไม่บวกกำไร 0% หมายความว่าคุณจ่ายในราคาตามที่ผู้ให้บริการกำหนด ไม่ว่าจะทางใด ราคาต่อโทเค็นก็แตกต่างกันมากตามเส้นทาง จนเอนด์พอยต์แบบ first-party ไม่ใช่ตัวเลือกที่ถูกที่สุดโดยอัตโนมัติ โมเดลนี้ยังรองรับภาพและวิดีโอควบคู่กับข้อความ และมีหน้าต่างบริบท 262,144 โทเค็น

ราคาต่อโทเคนเป็นหน่วยที่ไม่เหมาะสำหรับการเปรียบเทียบนี้ อย่างไรก็ตาม ผู้รีวิวรายงานว่า Qwen3.8-27B ใช้โทเคนมากผิดปกติ — ประมาณสามเท่าของ Qwen3.6-27B ในงานที่เทียบเคียงกัน — และ Artificial Analysis ประเมินไว้ที่ประมาณ $1.01 ต่องาน Intelligence Index ที่การตั้งค่า xhigh โมเดลที่ชนะด้านราคาต่อโทเคนแต่แพ้ด้านจำนวนโทเคนต่องานก็ยังอาจเป็นตัวเลือกที่แพงกว่าได้ Nanbeige4.3-33B ไม่มีราคาต่อโทเคนเลย: น้ำหนักโมเดลฟรี ไม่มีผู้ให้บริการ inference รายใดนำไปใช้งาน และการรันมันหมายถึงการติดตั้งแบบ four-GPU tensor-parallel ที่ต้องเปิดค้างไว้ไม่ว่าทราฟฟิกจะเข้ามาหรือไม่ก็ตาม

นั่นคือจุดที่เลเยอร์การกำหนดเส้นทางพิสูจน์คุณค่าของตัวเอง Qwen3.8-27B นั้นเข้าถึงได้ด้วยคีย์ของเราในวันนี้; ส่วน Nanbeige นั้นเข้าไม่ได้ และเราจะไม่แสร้งทำเป็นว่าเข้าได้ สิ่งที่คุณทำได้คือเก็บ Qwen ไว้เป็นเส้นทางโปรดักชันและกำหนดเส้นทางทราฟฟิกจริงบางส่วนไปยังปลายทาง Nanbeige ที่โฮสต์เอง เพื่อวัดความสำเร็จของงานและโทเค็นที่ใช้ไป แทนที่จะเชื่อตาราง การสลับไปใช้ระบบสำรองอัตโนมัติมีความสำคัญในกรณีนี้: ปลายทางการทดลองที่ล่มกลางการทำงานควรถอยกลับไปใช้ระบบเดิม ไม่ใช่ทำให้เอเจนต์ล่มไปด้วย การตัดสินใจจึงขึ้นอยู่กับต้นทุนต่องานที่เสร็จสมบูรณ์ของคุณเอง ซึ่งเป็นตัวเลขเดียวที่รวมพฤติกรรมโทเค็นของทั้งสองโมเดลเข้าด้วยกันอย่างซื่อสัตย์

อะไรจะหักล้างสิ่งนี้ได้

ผลลัพธ์สามอย่างจะช่วยไขข้อสงสัยนี้ได้ และไม่มีสักอย่างที่ต้องใช้โมเดลใหม่

• รายการ Artificial Analysis สำหรับ Nanbeige4.3-33B หากผลออกมาใกล้หรือสูงกว่า 34 ทิศทางในตารางของผู้ขายก็ได้รับการยืนยัน และขนาดของผลจะกลายเป็นเรื่องที่ถกเถียงได้ หากผลออกมาต่ำกว่ามาก ข้ออ้าง 18-of-20 ก็ต้องมีคำอธิบายที่ดีกว่าการเลือก harness มาก

• การรันซ้ำอย่างเป็นกลางของ DeepSWE และ Terminal-Bench 4.0 โดยแต่ละโมเดลใช้การกำหนดค่าที่แนะนำของตนเอง นี่คือการทดลองเฉพาะที่ตารางปัจจุบันยังไม่ได้ดำเนินการ และมุ่งเป้าไปที่แถวซึ่งมีส่วนต่างคะแนนส่วนใหญ่ของ Nanbeige

• ตัวเลขจำนวนโทเคนต่องานที่ทำเสร็จซึ่งเผยแพร่แล้วสำหรับทั้งสองแบบ ราคาต่อโทเคนไม่สามารถใช้เปรียบเทียบโมเดล dense 33B ที่คุณโฮสต์เองกับโมเดล 27B ที่กินโทเคนมากซึ่งคุณเช่าได้ แต่ต้นทุนต่องานที่เสร็จสิ้นนั้นเปรียบเทียบได้

คำตัดสินที่เราพร้อมจะปกป้อง

Nanbeige4.3-33B น่าจะเป็นโมเดลเอเจนต์ที่รับงานระยะยาวได้แข็งแกร่งกว่าของสองตัวนี้ ช่องว่างบน DeepSWE, Terminal-Bench 4.0, Automation Bench และ DeepPlanning นั้นกว้างเกินไปและสอดคล้องกันในทิศทางเดียวกันมากเกินกว่าจะเป็นเพียงอาร์ติแฟกต์จากฮาร์เนสทั้งหมด และบริบทเนทีฟ 512K ก็สอดรับกับเรื่องนี้ Qwen3.8-27B น่าจะเป็นโมเดลที่แข็งแกร่งกว่าสำหรับคุณภาพของงานส่งมอบระดับมืออาชีพ โดยชนะทั้งสองแถวที่วัดด้านนี้ และเป็นตัวที่ใช้งานได้จริงมากกว่าอย่างชัดเจน: คะแนนอิสระ, API แบบโฮสต์, อินพุตมัลติโมดัล และราคาที่คุณใส่ลงในสเปรดชีตได้ตั้งแต่วันนี้

“18 จาก 20” เป็นผลลัพธ์จริงที่ถูกแต่งให้ดูใหญ่โตกว่าที่เป็นอยู่ ที่ถูกต้องคือ โมเดลอายุสองวันจากห้องแล็บที่ยังไม่มีใครประเมินอย่างอิสระ อ้างว่ามีความเหนือกว่าอย่างชัดเจนในการทำงานแบบเอเจนต์ เสมอกันในการให้เหตุผลทั่วไป และด้อยกว่าเล็กน้อยในผลลัพธ์ระดับมืออาชีพ — เมื่อเทียบกับคู่แข่งที่เปิดตัวมาแล้วสิบสัปดาห์และถูกวัดผลโดยคนอื่นที่ไม่ใช่ผู้สร้างมัน นั่นเป็นข้ออ้างที่น่าสนใจอย่างแท้จริง แต่ยังไม่ใช่เหตุผลให้เปลี่ยน