Flint v1.0 กับ Qwen3.8 27B: โมเดล Recursive ทดสอบประสิทธิภาพของตัวเองเทียบกับ

Recursive เผยแพร่ประโยคหนึ่งประโยคในRecursive Flint v1.0 เอกสารเปิดตัวที่สื่อส่วนใหญ่ข้ามไป: เมื่อพิจารณาค่าเฉลี่ยจากการทดสอบหกชุดของบริษัทเอง มีเพียงQwen3.8 27B ที่ได้คะแนนสูงกว่า Flint นี่เป็นสิ่งผิดปกติที่ผู้ขายจะพิมพ์ในวันเปิดตัว และยังเป็นประโยคที่มีประโยชน์ที่สุดในข่าวประชาสัมพันธ์ เพราะมันบอกคุณว่าควรไปตรวจสอบการเปรียบเทียบใด Qwen3.8 27B เป็นโมเดลแบบ dense ที่เปิดเผยน้ำหนัก เผยแพร่เมื่อวันที่ 14 สิงหาคม 2026 ภายใต้ Apache 2.0 และเป็นโมเดลเดียวในชุดเปรียบเทียบของ Recursive ที่เอาชนะ Flint ได้ในค่าสรุปรวมที่ผู้ขายสร้างขึ้นเอง ดังนั้นคำถามที่น่าสนใจไม่ใช่ว่า Flint ดีหรือไม่ แต่คือ Qwen3.8 27B ดีกว่าในจุดใดกันแน่ และช่องว่างนั้นยังคงอยู่หรือไม่เมื่อตรวจสอบชุดทดสอบที่เกี่ยวข้องอย่างละเอียด

อ่านคำกล่าวอ้างของคลาสก่อนที่คุณจะอ่านคะแนน

ข้อกล่าวอ้างหลักของ Flint ถูกจำกัดขอบเขตไว้อย่างรอบคอบ: มันนำหน้าโมเดล mixture-of-experts ที่มีพารามิเตอร์รวมต่ำกว่า 50 พันล้านบน SWE-bench Pro v2, Terminal-Bench 2.1 และ SWE-bench Verified Qwen3.8 27B ไม่ใช่โมเดล mixture-of-experts แต่เป็นโมเดลแบบ dense — พารามิเตอร์ 27 พันล้านตัว ซึ่งทั้งหมดทำงานอยู่ในทุกโทเคน นับรวม vision encoder แล้วเป็น 28 พันล้าน และมี 64 เลเยอร์ที่ขนาด hidden size 5,120 ดังนั้นโดยโครงสร้างแล้ว มันจึงอยู่นอกคลาสการเปรียบเทียบของ Flint และ Recursive จึงมีอิสระที่จะไม่รวมมันไว้ในข้อกล่าวอ้างเลย

คุ้มค่าที่จะพูดให้ชัดเจนว่า "dense" มีต้นทุนและให้ประโยชน์อะไรบ้าง พารามิเตอร์ 27 พันล้านตัวทุกตัวของ Qwen มีส่วนร่วมในทุกโทเคน ซึ่งเป็นเหตุผลว่าทำไมมันจึงต้องใช้พื้นที่ประมาณ 55.6 GB ใน BF16 และต้องใช้ GPU จริง และเป็นเหตุผลว่าทำไมหน่วยความจำจากการทำงาน (activation footprint) ของมันจึงใหญ่กว่าของ Flint ประมาณสิบเอ็ดเท่า มันยังเป็นเหตุผลว่าทำไมโมเดล dense ขนาด 27B จึงมีประสิทธิภาพเหนือกว่าโมเดล sparse ที่มีพารามิเตอร์ทำงาน 2.5B ในด้านความแม่นยำ: มันคำนวณทางคณิตศาสตร์ต่อโทเคนมากกว่า และคุณต้องจ่ายสำหรับสิ่งนั้น

Terminal-Bench 2.1: ช่องว่างสิบแปดจุด

นี่คือการเปรียบเทียบที่ชัดเจนที่สุดเท่าที่มี เพราะทั้งสองแล็บรายงานเวอร์ชัน benchmark เดียวกัน และช่องว่างนั้นใหญ่พอที่ความคลาดเคลื่อนจาก harness จะไม่น่าจะอธิบายได้ทั้งหมด

Flint — 54.9% บน Terminal-Bench 2.1 โดยรันบนฮาร์เนส Terminus 2 ที่เปิดใช้งานอินเทอร์เน็ต แต่โซลูชันใดก็ตามที่ได้มาจากการค้นคืนผ่านเว็บจะถูกนับเป็นความล้มเหลว

• Qwen3.8 27B — 73.0% บน Terminal-Bench 2.1 ตามการ์ดโมเดลของ Alibaba

นั่นคือช่องว่าง 18.1 คะแนนที่ได้เปรียบ Qwen ในเบนช์มาร์กที่ใกล้เคียงกับงานเทอร์มินัลแบบเอเจนต์มากที่สุด — ซึ่งเป็นงานที่ทั้งสองโมเดลถูกวางขายมาเพื่อทำโดยเฉพาะ มีข้อแม้สองข้อที่ชี้ไปคนละทิศทาง และทั้งสองข้อจำเป็นต้องกล่าวถึง

รายแรกเอื้อประโยชน์ให้ Flint Recursive ตั้งเงื่อนไขเป็นอุปสรรคให้ตัวเองซึ่งคู่แข่งอาจไม่ได้ทำเช่นนั้น: หากเอเจนต์พบคำตอบบนเว็บ Recursive จะให้คะแนนว่าผิด โมเดลที่ได้รับอนุญาตให้ค้นหาและอ้างอิงได้จะได้คะแนนสูงกว่าบนชุดทดสอบเดียวกัน ไม่ทราบว่าสูงกว่าแค่ไหน และ Recursive ไม่เผยแพร่ตัวเลขที่ไม่ได้ถูกใส่เงื่อนไขอุปสรรคดังกล่าว

ประเด็นที่สองขัดกับการตีความแบบตรงไปตรงมาใด ๆ บริษัทบุคคลที่สามอย่าง PrismML ให้คะแนน Qwen3.8 27B ที่ 69.7 ใน Terminal-Bench 2.1 แทนที่จะเป็น 73.0 ของ Alibaba ความคลาดเคลื่อน 3.3 คะแนนในโมเดลและเบนช์มาร์กเดียวกันเป็นการสอบเทียบที่มีประโยชน์ เพราะมันบอกคุณว่าช่องว่างเพียงไม่กี่คะแนนในตารางนี้เป็นสัญญาณรบกวน และช่องว่าง 18 คะแนนนั้นอาจไม่ใช่

แม้จะใช้ตัวเลขของ Qwen ที่ต่ำกว่า คือ 69.7 เทียบกับ 54.9 ก็ยังเหลือ 14.8 คะแนน ทิศทางไม่เป็นที่สงสัย

LiveCodeBench v6: ช่องว่างที่สองบนเกณฑ์มาตรฐานที่สะอาดกว่า

การแข่งขันเขียนโปรแกรมเป็น benchmark ที่อ่อนไหวต่อ harness น้อยที่สุดในบรรดา benchmark ที่ทั้งสองแล็บรายงาน เพราะโมเดลได้รับโจทย์แล้วสร้างโค้ดออกมา และระบบตัดสินจะรันโค้ดนั้น ไม่มี agent loop ที่จะทำให้เกิดความแตกต่าง

• Flint — 80.3% บน LiveCodeBench v6

• Qwen3.8 27B — 90.3% บน LiveCodeBench v6

นี่คือช่องว่าง 10 คะแนน และเป็นช่องว่างที่ผมจะให้น้ำหนักมากที่สุด เพราะมันเป็นสิ่งที่อธิบายกลบเกลื่อนได้ยากที่สุด 80.3 ของ Flint เป็นตัวเลขที่น่านับถือสำหรับโมเดลที่เปิดใช้งานพารามิเตอร์ 2.5 พันล้านตัว ส่วน 90.3 ของ Qwen เป็นตัวเลขที่แข็งแกร่งสำหรับโมเดลที่เปิดใช้งาน 27 พันล้านตัว ทั้งสองตัวเลขไม่น่าประหลาดใจ ประเด็นคือข้อได้เปรียบด้านประสิทธิภาพที่ Flint กำลังขายอยู่นั้นไม่ได้มาเปล่า และ benchmark นี้คือที่ที่มองเห็นราคาที่ต้องจ่ายได้ชัดเจน

เบนช์มาร์กที่ดูเหมือนชัยชนะของ Flint แต่กลับไม่ใช่

นี่คือจุดที่หน้าสำหรับเปรียบเทียบส่วนใหญ่ทำพลาด และเป็นจุดที่ควรชะลอความเร็วเพื่อพิจารณาให้ดี

Flint รายงานผล 89.7% บน SWE-bench Pro v2 ขณะที่ Qwen3.8 27B รายงานผล 61.7% บน SWE-bench Pro ถ้าอ่านผ่าน ๆ ดูเหมือน Flint ชนะ 28 จุด แต่จริง ๆ แล้วนี่ไม่ใช่การเปรียบเทียบกันเลย "v2" เป็นเบนช์มาร์กคนละตัวกับที่ Alibaba รายงาน โดยมีชุดงานและโปรโตคอลการประเมินที่แตกต่างกัน และตัวเลขสองจำนวนนี้ไม่สามารถนำมาลบกันได้ หน้าใดก็ตามที่นำตัวเลขเหล่านี้ไปวางในคอลัมน์ติดกันแล้วประกาศหาผู้ชนะ กำลังบอกอะไรบางอย่างเกี่ยวกับผู้เขียนหน้านั้น มากกว่าจะบอกเกี่ยวกับตัวโมเดล

กับดักเดียวกันอยู่ในแถวถัดลงไปหนึ่งแถว Flint รายงาน 74.2% บน SWE-bench Verified ส่วน Qwen3.8 27B ไม่ได้เผยแพร่คะแนน SWE-bench Verified การ์ดของ Alibaba รายงาน SWE-bench Pro, QwenSWEBench ที่ 79.0, DeepSWE 1.1 ที่ 42.2, Terminal-Bench 2.1 ที่ 73.0, LiveCodeBench v6 ที่ 90.3 และ NL2Repo-Bench ที่ 42.3 จึงไม่มีตัวเลข Verified ให้เปรียบเทียบ ตัวเลขที่แพร่กระจายสำหรับ Qwen3.8 27B บน Verified นั้นไม่inheritedมาจากโมเดลรุ่นก่อนหน้าในตระกูลเดียวกัน หรือนำมาจากแหล่งข้อมูลทุติยภูมิที่ขัดแย้งกับการ์ดโมเดลในอีกหลาย benchmark พร้อมกัน ให้ถือว่าตัวเลขเหล่านี้ยังไม่ได้รับการยืนยัน

มีข้อแม้เพิ่มเติมอีกประการในฝั่งของ Alibaba: การรัน SWE-bench Pro และ QwenSWEBench ของบริษัทใช้ agent harness ภายนอกแทนที่จะใช้โมเดลเปล่า ๆ ดังนั้นแม้แต่การเปรียบเทียบกับตัวเลข SWE-bench Pro ของห้องปฏิบัติการอื่นก็ยังคลอนแคลน สิ่งนี้ไม่ใช่เรื่องเฉพาะ Alibaba เท่านั้น แต่เป็นสภาพทั่วไปของ benchmark การเขียนโค้ดแบบ agentic และนี่คือเหตุผลที่แถว Terminal-Bench และ LiveCodeBench มีน้ำหนักมากกว่าแถว SWE-bench ในที่นี้

ในจุดที่ Flint ชนะ และไม่ใช่แค่สูสีเลย

ความแม่นยำไม่ใช่แกนเดียว และในแกนอื่นๆ การจัดลำดับกลับตรงกันข้ามอย่างรุนแรง

• หน่วยความจำ — Flint ทำงานโดยใช้หน่วยความจำประมาณ 24 GB โดยมีบิลด์ NVFP4 ขนาด 22.86 GB อยู่บนดิสก์ ขณะที่ Qwen3.8 27B ต้องใช้ประมาณ 55.6 GB ในรูปแบบ BF16 ตัวหนึ่งพอดีกับแล็ปท็อประดับสูงหรือการ์ดระดับผู้บริโภคเพียงใบเดียว ส่วนอีกตัวต้องใช้การจัดสรร GPU จริง

• การประมวลผลที่ใช้งานจริงต่อโทเคน — Flint เปิดใช้งานพารามิเตอร์ประมาณ 2.5 พันล้านตัว ส่วน Qwen เปิดใช้งานทั้งหมด 27 พันล้านตัว อัตราส่วนนี้คือเหตุผลที่ทำให้ช่องว่างด้านความเร็วเกิดขึ้น และเป็นเหตุผลที่ทำให้ Flint มีต้นทุนการให้บริการต่ำกว่าเมื่อใช้งานในปริมาณมาก

• ความเร็ว — Recursive อ้างว่าทำได้ 125 โทเคนต่อวินาทีขึ้นไปบน M4 Pro MacBook Pro และมากกว่า 150 บน RTX Spark ขนาด 64 GB ที่บริบทสั้น โมเดล dense 27B บนแล็ปท็อปเครื่องเดียวกันไม่อยู่ในช่วงนั้น มีรายงานว่า Qwen3.8 27B ก็ช้าเมื่อรันในเครื่องและกินโทเคนมากผิดปกติ — Artificial Analysis วัดได้ประมาณ 160 ล้านโทเคนเอาต์พุตจากการทดสอบดัชนีของตน ซึ่งเป็นตัวคูณต้นทุนในลูปเอเจนต์ใด ๆ

• บริบท — ทั้งสองระบบรองรับ 262,144 โทเคนแบบเนทีฟ และ Qwen ขยายได้ถึง 1,000,000 ด้วยการสเกล YaRN ส่วนประกาศของ Flint ระบุว่าสูงถึง 512K ในทางทฤษฎีแล้วที่หน้าต่างแบบเนทีฟถือว่าเสมอกัน แต่ในทางปฏิบัติ ทรูพุตของ Flint ที่บริบทแบบยาวเป็นจุดที่อ่อนกว่า โดยการทดสอบอิสระรายงานว่าลดลงเหลือประมาณ 9 โทเคนต่อวินาทีเมื่อใกล้ 115,000 โทเคน

• มัลติโมดัลลิตี — {{1}}Qwen3.8 27B{{/1}} รองรับทั้งภาพและวิดีโอรวมถึงข้อความ ด้วยเลย์เอาต์แอตเทนชันแบบไฮบริดซึ่งมีเลเยอร์แอตเทนชันเชิงเส้น Gated DeltaNet จำนวน {{2}}48{{/2}} เลเยอร์ ต่อเลเยอร์แอตเทนชันแบบเต็มจำนวน {{3}}16{{/3}} เลเยอร์ ในอัตราส่วน 3:1 ซึ่งเป็นสิ่งที่ทำให้หน้าต่าง {{4}}262K{{/4}} สามารถให้บริการได้ในต้นทุนที่เหมาะสม Flint รองรับเฉพาะข้อความเท่านั้น

สิ่งที่คุณกำลังเลือกจริง ๆ

• หากเป้าหมายคือความแม่นยำในการเขียนโค้ดสูงสุดและคุณมีฮาร์ดแวร์ที่รองรับ Qwen3.8 27B คือโมเดลที่แข็งแกร่งกว่าในทุก benchmark ที่สามารถนำทั้งสองรุ่นมาเปรียบเทียบกันได้อย่างชัดเจน ซึ่งค่าเฉลี่ยจากการทดสอบทั้งหกชุดของ Recursive เองก็ชี้ไปในทางเดียวกัน

• หากโมเดลต้องรันบนแล็ปท็อป ทำงานแบบออฟไลน์ เก็บซอร์สโค้ดไว้บนเครื่อง หรือให้บริการในปริมาณมากพอที่พารามิเตอร์แอ็กทีฟกลายเป็นตัวกำหนดค่าใช้จ่ายหลัก Flint จะชนะในมิติที่ชี้ขาดการติดตั้งใช้งาน โมเดลที่มีพารามิเตอร์แอ็กทีฟ 2.5B ที่ 125 โทเค็นต่อวินาทีเป็นผลิตภัณฑ์ที่แตกต่างจากโมเดล dense ขนาด 27B ที่ต้องใช้โหนด GPU

• หากคุณต้องการทั้งสองอย่าง พวกมันทำงานร่วมกันได้ดี: โมเดลโลคัลสำหรับงานประจำและงานที่ละเอียดอ่อน ส่วนโมเดลแบบโฮสต์สำหรับงานที่ยาก การแบ่งงานแบบนี้คือสิ่งที่ทีมส่วนใหญ่ลงเอยด้วย และนี่คือจุดที่เลเยอร์การจัดเส้นทางเลิกเป็นเพียงรายละเอียดปลีกย่อย

Qwen3.8 27B เป็นโมเดลเดียวในการเปรียบเทียบนี้ที่ OrcaRouter ให้บริการโดยตรง — ตัวระบุคือ qwen/qwen3.8-27b ในรายการโมเดลที่ใช้งานจริงของเรา และรองรับข้อความ รูปภาพ และวิดีโอ พร้อมหน้าต่างบริบทเต็ม 262,144 ตำแหน่ง เนื่องจากราคาตามรายการของผู้ให้บริการถูกส่งต่อโดยไม่มีการบวกเพิ่ม การเปลี่ยนแปลงราคาฝั่ง Alibaba จึงมีผลฝั่งเราในวันเดียวกัน ไม่ใช่รอจนถึงรอบต่ออายุถัดไป OrcaRouter ไม่ได้ให้บริการ Flint — ตัวนั้นเป็นการดาวน์โหลด ดังนั้นแนวทางไฮบริดข้างต้นจึงเป็นไฮบริดอย่างแท้จริง: เส้นทางหนึ่งสู่โมเดลระดับแนวหน้าที่โฮสต์ไว้ให้ และไฟล์ภายในเครื่องสำหรับทุกสิ่งที่ต้องไม่ออกจากเครื่อง

การทดลองที่ยังไม่มีใครเคยทำ

ตัวเลขทุกตัวในบทความนี้มาจากห้องแล็บที่วัดโมเดลของตัวเอง โดยมีข้อยกเว้นเพียงอย่างเดียว — ความคลาดเคลื่อน 3.3 จุดระหว่าง PrismML กับ Alibaba บน Terminal-Bench ซึ่งเป็นเบาะแสเดียวที่มีอยู่ว่าตัวเลขเหล่านี้จะขยับไปมากแค่ไหนเมื่อมีคนอื่นเป็นคนจับนาฬิกาจับเวลา

สิ่งที่จะยุติเรื่องนี้ได้นั้นตรงไปตรงมาและยังไม่เคยเกิดขึ้น: โมเดลทั้งสอง ฮาร์เนสชุดเดียว ชุดงานชุดเดียว เครื่องเดียว และ trace ที่เผยแพร่ จนถึงตอนนั้น จุดยืนที่ปกป้องได้คือจุดยืนแบบแคบ ๆ บน benchmark ที่ทั้งสองแล็บรายงานอย่างซื่อตรง Qwen3.8 27B คือโคเดอร์ที่แม่นยำกว่า บนแกนด้านการดีพลอยที่ตัดสินว่าโมเดลจะรันได้หรือไม่เลย Flint คือตัวที่มีประสิทธิภาพกว่า Recursive พูดเช่นนี้ก่อน ในโพสต์เปิดตัวของตัวเอง และนั่นคือสิ่งที่เชื่อถือได้ที่สุดในรีลีสทั้งหมด