SWE-2 Flash เทียบกับ North Mini Code: เบนช์มาร์กที่ซ่อนอยู่ภายในเบนช์มาร์ก

นี่คือคู่ที่ชวนรู้สึกอึดอัด SWE-2 Flash เป็นโพสต์เทรนขนาด 276B พารามิเตอร์ที่เปิดตัวเมื่อวันที่ 4 พฤศจิกายน 2026 พร้อมแถวเบนช์มาร์กแปดแถวและไม่มีวิธีเรียกใช้งานมัน North Mini Code เป็นโมเดลขนาด 30B พารามิเตอร์ที่ Cohere เปิดตัวในเดือนมิถุนายน 2026 ภายใต้ Apache 2.0 โดยมีตารางเบนช์มาร์กที่ทับซ้อนกับ SWE-2 Flash ในแถวเป็นศูนย์พอดี — และมีคะแนนอิสระที่ SWE-2 Flash ไม่มีเลย ในทางเอกสาร โมเดลที่ใหม่กว่าและใหญ่กว่าชนะทุกอย่าง ในแง่หลักฐาน โมเดลที่เก่ากว่าและเล็กกว่าคือเพียงหนึ่งเดียวในสองตัวนี้ที่บุคคลที่สามได้วัดมา

การกลับกันนั้นคือเนื้อหาทั้งหมดของบทความนี้ และมีประโยชน์กว่าการเปรียบเทียบคะแนน เพราะในความเป็นจริงไม่สามารถเปรียบเทียบคะแนนได้

สอง MoE ที่มีงบประมาณพารามิเตอร์ตรงกันข้าม

ทั้งคู่เป็นโมเดล sparse mixture-of-experts ที่สร้างขึ้นบนหลักเหตุผลด้านต้นทุนเดียวกัน นั่นคือจ่ายสำหรับพารามิเตอร์ที่ใช้งานจริง ไม่ใช่พารามิเตอร์ทั้งหมด ทั้งคู่อยู่ที่ปลายเกือบตรงกันข้ามของช่วงนี้

• จำนวนพารามิเตอร์ทั้งหมด — SWE-2 Flash 276B เทียบกับ North Mini Code 30B

• พารามิเตอร์ที่ใช้งานต่อโทเค็น — SWE-2 Flash 12B เทียบกับ North Mini Code 3B

• เลย์เอาต์ผู้เชี่ยวชาญ — SWE-2 Flash สืบทอดโครงสร้างของ Inkling-Small; North Mini Code กำหนดเส้นทางไปยังผู้เชี่ยวชาญ 8 จาก 128 ราย

• บริบท — SWE-2 Flash ที่ยังไม่เผยแพร่ เทียบกับ North Mini Code 256K พร้อมเอาต์พุตสูงสุด 64K

• เอาต์พุตสูงสุด — SWE-2 Flash ที่ยังไม่เผยแพร่ vs North Mini Code 64K

• สัญญาอนุญาต — SWE-2 Flash ไม่เปิดเผย เทียบกับ North Mini Code Apache 2.0 ใน BF16, FP8 และ W4A16

ความแตกต่างเก้าเท่าของพารามิเตอร์ที่ใช้งานอยู่คือตัวเลขที่อธิบายทุกอย่างที่เหลือ SWE-2 Flash สามารถเป็นโมเดลที่ใหญ่กว่าและใช้เวลาเทรนนานกว่า แต่ทำงานต่อโทเค็นได้ในต้นทุนต่ำ เพราะมีเพียง 12B เท่านั้นที่ถูกเปิดใช้งาน North Mini Code ทำงานด้วยพารามิเตอร์เพียงเศษเสี้ยวของจำนวนนั้น ซึ่งเป็นเหตุผลที่ Cohere สามารถนำไปใช้งานระดับแล็ปท็อปได้ และเป็นเหตุผลที่เพดาน benchmark ของมันต่ำกว่า

ทำไมคุณจึงไม่สามารถวาง 89.2 ไว้ข้าง 36.0 ได้

การเปรียบเทียบที่จะถูกพูดถึงกันคือ Terminal-Bench: SWE-2 Flash อยู่ที่ 89.2, North Mini Code อยู่ที่ 36.0 ช่องว่าง 53 คะแนนที่ทำให้เรื่องนี้ไม่ควรเป็นบทความ แต่การลบกันนี้ไม่ถูกต้อง ด้วยเหตุผลที่มองข้ามได้ง่าย

North Mini Code รายงานว่า "Terminal-Bench v2" ที่ 36.0 และ "Terminal-Bench Hard" ที่ 31.1 SWE-2 Flash รายงานว่า "Terminal-Bench 2.1" ที่ 89.2 และ "Terminal-Bench 4.0" ที่ 20.0 "v2" และ "2.1" เป็นป้ายกำกับที่อยู่ติดกันบนสิ่งที่อาจเป็นหรือไม่ใช่ชุดงานเดียวกัน และไม่มีผู้ขายรายใดระบุจำนวนงาน ฮาร์เนส หรือหลักเกณฑ์การให้คะแนนในเนื้อหาที่นำมาเปรียบเทียบ

หลักฐานภายในคือว่าเวอร์ชันเหล่านี้เป็นเครื่องมือที่แตกต่างกันอย่างมาก สองแถว Terminal-Bench ของ SWE-2 Flash เองห่างกัน 69 คะแนน — 20.0 บน 4.0 และ 89.2 บน 2.1 เมื่อโมเดลหนึ่งได้ 20 และ 89 ในสองเบนช์มาร์กที่มีชื่อเดียวกันแต่ตัวเลขต่างกัน เวอร์ชันคือสิ่งที่ถูกวัด การนำคะแนน 2.x มาเทียบกับคะแนน v2 แล้วเรียกความต่างนั้นว่าช่องว่างด้านความสามารถ เป็นข้อผิดพลาดที่พบบ่อยที่สุดในพื้นที่การเปรียบเทียบนี้

แถวอื่นดูเหมือนใช้ร่วมกันแต่ไม่ใช่ North Mini Code รายงาน SWE-bench Pro ที่ 40.2; SWE-2 Flash รายงาน SWE-Bench Pro v2 Hard ที่ 89.9 เป็นเบนช์มาร์กรุ่นที่ต่างกันและเป็นชุดย่อยที่ผ่านการกรอง North รายงาน SWE-bench Verified ที่ 67.6; SWE-2 Flash ไม่ได้รายงาน Verified เลย North รายงาน SciCode 38.2 และ LiveCodeBench v6 70.3; SWE-2 Flash ไม่ได้รายงานทั้งสองอย่าง

นั่นเหลือ DeepSWE 1.1 ซึ่ง SWE-2 Flash รายงาน 60.1 และ North Mini Code ไม่ได้รายงานค่าใดเลย

หมายเลขอิสระที่พวกเขามีเพียงคนเดียวเท่านั้น

North Mini Code มีค่า Artificial Analysis Intelligence Index อยู่ที่ 27.6 และ Coding Index อยู่ที่ 33.4 ซึ่งเป็นผลการวัดโดยบุคคลที่สามด้วยระเบียบวิธีที่เป็นมาตรฐานเดียวกัน โดยวัดจากโมเดลที่ใครก็สามารถดาวน์โหลดและรันทดสอบซ้ำได้

SWE-2 Flash ไม่มีรายการใน Artificial Analysis เพราะ Artificial Analysis วัดโมเดลผ่าน API และ SWE-2 Flash ไม่มี API ตัวเลขทุกตัวที่แนบมากับมัน — {{1}}60.1{{/1}}, {{2}}89.2{{/2}}, {{3}}20.0{{/3}}, {{4}}24.0{{/4}} บน FrontierCode 2.0 — เป็นของ Cognition เอง ผลิตบนฮาร์เนสที่ไม่เปิดเผย และ FrontierCode ก็เป็นเบนช์มาร์กของ Cognition เอง ไม่มีอะไรในนี้บอกว่าตัวเลขเหล่านั้นผิด มันบอกว่าผู้อ่านไม่มีทางแยกความสามารถจริงออกจากสแคฟโฟลด์ที่เอื้อประโยชน์เกินไป

สำหรับโมเดล open-weight ขนาด 30B จากเดือนมิถุนายน ค่า AA Coding Index ที่ 33.4 ถือเป็นคะแนนระดับปานกลาง — สูงกว่า 25.9 ของ GLM-4.7-Flash และต่ำกว่า 35.2 ของ Qwen3.6 35B-A3B อีกทั้งยังเป็นคะแนนที่คุณตรวจสอบได้ ซึ่งมีค่ามากกว่าตัวเลขจากผู้ขายแถวหนึ่งที่คุณตรวจสอบไม่ได้

ความเร็ว และข้อกล่าวอ้างใดที่ตรวจสอบได้

Cohere รายงานว่าบน API ของตัวเองมีอัตราประมาณ 199 โทเค็นเอาต์พุตต่อวินาที ซึ่งคิดเป็นปริมาณงานราว 2.8 เท่าของ Devstral Small 2 นี่คือการวัดจากเอนด์พอยต์ที่ให้บริการจริง: มีคำขอส่งเข้าไป มีโทเค็นออกมา และใครก็ตามที่มีสิทธิ์เข้าถึงสามารถทำซ้ำได้

Cognition รายงานว่า SWE-2 Flash ทำได้ประมาณ 200 โทเคนต่อวินาที เทียบกับ 60 โทเคนต่อวินาทีของ SWE-2 โดยตัวเลขเหล่านี้ได้มาจากการเล่นซ้ำบันทึกถอดความเซสชันที่ถูกย่อให้สั้นลงในอัตราที่จำลองขึ้น ตัวเลขสองค่านี้ห่างกันไม่เกินหนึ่งโทเคนต่อวินาที และมีความหมายที่แตกต่างกันโดยสิ้นเชิง ค่าหนึ่งเป็นการวัดอัตราการประมวลผล ส่วนอีกค่าหนึ่งเป็นการสาธิตว่าโมเดลจะมีลักษณะอย่างไรเมื่อทำงานด้วยความเร็วระดับนั้น

นี่คือรูปแบบที่พบตลอดการเปรียบเทียบทั้งหมด โมเดลรุ่นเก่าเผยแพร่ข้อกล่าวอ้างที่ดูไม่น่าประทับใจเท่า แต่แนบระเบียบวิธีมาให้มากกว่า ส่วนโมเดลรุ่นใหม่เผยแพร่ข้อกล่าวอ้างที่ดูดีกว่า โดยไม่มีระเบียบวิธีแนบมาเลย

จุดที่ North Mini Code อ่อนแออย่างแท้จริง

ไม่ใช่ทุกอย่างที่เอื้อประโยชน์ต่อ Cohere North Mini Code เป็นผู้เชี่ยวชาญด้านการเขียนโค้ดและมีพฤติกรรมแบบนั้นจริง: มันทำคะแนนได้ 14% ใน GDPval-AA และ 37% ใน τ²-Bench Telecom ซึ่งทั้งสองเป็นการประเมินแบบเอเจนต์ที่ไม่เกี่ยวกับการเขียนโค้ด และโมเดลทั่วไปจะทำได้ดีกว่ามาก หากเอเจนต์ของคุณต้องทำสิ่งอื่นนอกเหนือจากการเขียนและทดสอบโค้ด เช่น จัดการเวิร์กโฟลว์ของลูกค้า หรือให้เหตุผลเกี่ยวกับกระบวนการทางธุรกิจ North Mini Code ก็เป็นเครื่องมือที่ไม่เหมาะสม และฐานที่กว้างกว่าของ SWE-2 Flash ก็น่าจะเป็นทางเลือกที่ดีกว่า

หน้าต่างบริบทของมันได้รับการเผยแพร่และมีขนาดใหญ่ — 256,000 โทเคน พร้อมเพดานเอาต์พุต 64,000 โทเคน — แม้ว่าหน้าต่างที่ใช้งานได้จริงยังขึ้นอยู่กับสแต็กการให้บริการก็ตาม และโมเดล 30B ที่มี 3B active มีเพดานต่ำกว่าโมเดล 276B ที่มี 12B active; ความโปร่งใสด้านระเบียบวิธีไม่ว่าจะมากเพียงใดก็ปิดช่องว่างนั้นไม่ได้

ต้นทุน และเหตุผลที่ควรมีเลเยอร์การกำหนดเส้นทาง

North Mini Code ดาวน์โหลดได้ฟรีภายใต้ Apache 2.0 โดยมีอัตราค่าบริการแบบโฮสต์บน API ของ Cohere เอง และพร้อมใช้งานผ่านแพลตฟอร์มบุคคลที่สามหลายแห่ง SWE-2 Flash ใช้งานฟรีภายใน Devin จนถึง 30 พฤศจิกายน 2026 และยังไม่มีการกำหนดราคาหลังจากนั้น โดยไม่มีเวอร์ชันที่ดาวน์โหลดได้ในอนาคตอันใกล้

ทั้งสองตัวไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter โมเดลของ Cohere นั้นใครก็โฮสต์เองได้หากมีฮาร์ดแวร์ และโมเดลของ Cognition ก็ไม่มีปลายทางให้เราเตอร์กำหนดเส้นทางไปได้ — ดังนั้นกรอบความคิดที่ตรงไปตรงมาที่สุดคือ ไม่ว่าจะทางไหน การตัดสินใจนี้ก็ถูกทำนอกแคตตาล็อกของเราอยู่ดี สิ่งที่ชั้นการกำหนดเส้นทาง (routing layer) เปลี่ยนไปจริง ๆ คือต้นทุนของการตัดสินใจผิด OrcaRouter ส่งต่อราคาตามที่ผู้ให้บริการประกาศไว้โดยไม่บวกเพิ่ม 0% และสลับไปยังผู้ให้บริการสำรองให้อัตโนมัติ แอปพลิเคชันที่เขียนขึ้นโดยอิงกับรหัสโมเดลเพียงตัวเดียวจึงไม่ใช่แอปพลิเคชันที่ผูกติดกับเวลาทำงานของซัพพลายเออร์รายใดรายหนึ่ง สำหรับคู่โมเดลที่ฝ่ายหนึ่งอาจถูกปรับราคาในวันที่ 1 ธันวาคม และอีกฝ่ายอาจเรียกใช้ไม่ได้เลยตลอดไป ความสามารถในการย้ายระบบนี้คือส่วนที่คุ้มค่าที่จะออกแบบรองรับ

วิธีตัดสินใจ

หากคุณต้องการโมเดลที่คุณสามารถรัน ตรวจสอบ ควอนไทซ์ และวัดประสิทธิภาพได้ด้วยตัวเอง North Mini Code เป็นตัวเลือกเดียวในคู่นี้ และหน้าต่างบริบทที่เผยแพร่พร้อมงบพารามิเตอร์ที่ใช้งานจริง 3B ทำให้มันใช้งานได้จริงบนฮาร์ดแวร์ระดับปานกลาง ยอมรับเพดานความสามารถที่ต่ำกว่าและจุดเน้นด้านการเขียนโค้ดที่แคบลง

หากคุณอยู่ใน Devin และช่วงฟรีคือประเด็นสำคัญ SWE-2 Flash เป็นโมเดลที่แข็งแกร่งกว่าจากตัวเลขของมันเองอย่างมาก และค่าใช้จ่ายในการลองใช้จนถึงวันที่ 30 พฤศจิกายนเป็นศูนย์

สิ่งที่คุณไม่ควรทำคือเอา 89.2 ไปวางไว้ข้าง 36.0 แล้วสรุปอะไรก็ตาม ตัวเลขเหล่านั้นมาจากเครื่องมือคนละชนิด ถูกรายงานโดยบริษัทคนละแห่ง บนตระกูลเบนช์มาร์กที่หมายเลขเวอร์ชันคือตัวชี้วัด ข้อความเดียวที่พอจะปกป้องได้เกี่ยวกับคู่นี้ คือข้อความที่ฟังดูไม่เหมือนคำตัดสินมากที่สุด: ตัวหนึ่งได้รับการให้คะแนนอย่างอิสระ แต่อีกตัวไม่ได้รับการให้คะแนน และนั่นเป็นความแตกต่างที่ใหญ่กว่าทุกแถวในตารางทั้งสอง