ขอแนะนำ SWE-2 Flash: แปดแถวเบนช์มาร์ก และไม่มีเอนด์พอยต์แม้แต่รายการเดียว

Cognition ประกาศเปิดตัว SWE-2 Flash เมื่อวันที่ 4 พฤศจิกายน 2026 และโพสต์นั้นใจดีเป็นพิเศษในเรื่องตัวเลข: แถวผลการทดสอบมาตรฐานแปดแถว ค่าเดลต้าก่อนและหลังการฝึกสองค่า ค่าความเร็วหนึ่งค่า และค่าด้านราคาหนึ่งค่า สิ่งที่โพสต์นั้นไม่มีคือวิธีการเรียกใช้โมเดล SWE-2 Flash ทำงานภายใน Devin Desktop และ Devin CLI โดยใช้ฟรีถึงวันที่ 30 พฤศจิกายน 2026 ไม่มี API endpoint ไม่มี model ID ไม่มีอัตราคิดตามโทเค็น และไม่มีน้ำหนักโมเดลแบบสาธารณะ สำหรับการเปิดตัวที่มีพาดหัวว่า "เร็วและมีประสิทธิภาพ" สิ่งที่มีประโยชน์ที่สุดที่นักพัฒนาสามารถรู้ได้คือประสิทธิภาพในปัจจุบันวัดเป็นจำนวนดอลลาร์ที่คุณไม่ได้จ่าย มากกว่าเป็นโทเค็นที่คุณสามารถซื้อได้

นั่นไม่ใช่การตำหนิโมเดล แต่เป็นโครงสร้างของข้อเสนอ และเป็นตัวกำหนดว่าใครสามารถดำเนินการกับประกาศนี้ได้ในวันนี้ และใครต้องรอ

อะไรที่ถูกจัดส่งจริงในวันที่ 4 พฤศจิกายน

เอกสารสเปกสั้นพอที่จะแสดงได้ในหนึ่งหน้าจอ ซึ่งตัวมันเองก็เป็นข้อมูลที่บอกอะไรได้ — Cognition เผยแพร่ข้อมูลเกี่ยวกับโมเดลนี้น้อยกว่าที่เผยแพร่เกี่ยวกับ SWE-2 ในเดือนกันยายน

• โมเดลฐาน — ฝึกต่อยอดจาก Inkling-Small ซึ่งเป็น mixture-of-experts แบบโอเพนเวตของ Thinking Machines Lab ที่มีพารามิเตอร์ทั้งหมด 276B และพารามิเตอร์ที่ใช้งาน 12B โดย upstream อยู่ภายใต้ Apache 2.0

• การให้บริการ — เฉพาะ Devin Desktop และ Devin CLI เท่านั้น ไม่มี hosted endpoint ไม่มี vendor API และไม่มีการดาวน์โหลด weights

• ราคา — ไม่มีการประกาศอัตราต่อโทเคน การเข้าถึงฟรีจนถึงวันที่ 30 พฤศจิกายน 2026

• ความเร็ว — ประมาณ 200 โทเคนต่อวินาที เทียบกับ 60 ของ SWE-2 ซึ่งเป็นตัวเลขที่ Cognition ได้มาจากการเล่นซ้ำบันทึกบทสนทนาที่ถูกย่อให้สั้นลงในอัตราจำลอง แทนที่จะจับเวลาจาก endpoint ที่ใช้งานจริง

• หน้าต่างบริบท เอาต์พุตสูงสุด และการตั้งค่าระดับความพยายาม — ไม่ได้ระบุไว้ที่ใดเลยในโพสต์เปิดตัว

การสลับโมเดลฐานคือส่วนที่เป็นงานวิศวกรรมใหม่จริง ๆ SWE-2 สร้างบน Kimi K3 ซึ่งเป็นโมเดลฐานขนาดรวม 2.8T / พารามิเตอร์ที่ใช้งาน 104B ส่วน SWE-2 Flash ใช้โมเดลฐานที่มีขนาดประมาณหนึ่งในสิบเมื่อเทียบด้วยพารามิเตอร์รวม และหนึ่งในแปดเมื่อเทียบด้วยพารามิเตอร์ที่ใช้งาน และ Cognition กล่าวว่าการฟื้นคืนคุณภาพส่วนใหญ่มาจากงานการเรียนรู้แบบเสริมกำลังที่ดีขึ้นและตัวตรวจสอบที่ผ่านการตรวจสอบ มากกว่ามาจากขนาด โพสต์ดังกล่าวยังอธิบายถึงขั้น mid-training แรกที่บริษัทใช้ก่อน RL โดยใช้โทเค็นหลายล้านล้านโทเค็นจากบทความทางวิทยาศาสตร์ บล็อก และโค้ด ดำเนินการสามรอบ โดยข้อมูลที่หายากที่สุดอยู่ท้ายสุด

ข้อกล่าวอ้างที่จะถูกกล่าวซ้ำ และแถวที่มันตั้งอยู่บนนั้น

ประโยคที่ทุกคนจะยกมาอ้างคือ SWE-2 Flash “ทำได้ดีกว่าโมเดล open-weight ของอเมริกาทั้งหมด แม้แต่โมเดลที่ใหญ่กว่า 3 เท่า” ควรรู้ไว้ให้แน่ชัดว่าคำกล่าวนั้นยังคงเป็นจริงอยู่มากเพียงใดเมื่อเทียบกับตารางที่อยู่ด้านล่าง

การเปรียบเทียบโดยตรงบน benchmark เดียวกันเพียงรายการเดียวในเอกสารเปิดตัว เมื่อเทียบกับโมเดลเขียนโค้ดแบบ open-weight สัญชาติอเมริกันที่มีขนาดเล็กกว่าคือ Terminal-Bench 2.1 โดย SWE-2 Flash รายงาน 89.2 เทียบกับ 54.9 ของ Flint v1.0 นี่เป็นช่องว่างที่ใหญ่บน benchmark เวอร์ชันเดียวกัน และเป็นหลักฐานชิ้นเดียวที่แข็งแกร่งที่สุดสำหรับข้อกล่าวอ้างนี้ แต่ Flint v1.0 มีขนาดรวม 39.8B และ North Mini Code ของ Cohere มีขนาด 30B — ไม่มีตัวใดใหญ่กว่าโมเดล 276B ถึง 3 เท่า ทั้งสองมีขนาดเล็กกว่า ซึ่งทำให้การเอาชนะพวกมันเป็นเรื่องธรรมดา而非น่าประทับใจ

ตัวเปรียบเทียบที่ใหญ่กว่า 3 เท่าในตารางของ Cognition เองคือ Muse Spark Open ที่มีพารามิเตอร์รวม 616B และ DeepSeek V4.1 Flash 1017 ที่มีพารามิเตอร์รวม 763B บน DeepSWE 1.1 SWE-2 Flash รายงาน 60.1 เทียบกับ 60.0 ของ Muse Spark Open — ห่างกันหนึ่งในสิบของจุด ซึ่งอยู่ในช่วงความคลาดเคลื่อนที่เป็นไปได้ใด ๆ และโมเดลที่ถูกนำมาเปรียบเทียบด้วยก็ไม่ได้ถูกระบุว่าเป็น open-weight ในคราวเดียวกัน ในขณะเดียวกัน DeepSeek V4.1 Flash 1017 ไม่ใช่โมเดลอเมริกัน จึงไม่สามารถเป็นส่วนหนึ่งของการอ้างถึง “American open-weight” ได้เลย และยังเป็นโมเดลที่เอาชนะ SWE-2 Flash บน Terminal-Bench 4.0 ได้ 22.3 จุด — 42.3 ต่อ 20.0 — ซึ่งเป็นความพ่ายแพ้ครั้งเดียวที่มากที่สุดในบรรดาการเปรียบเทียบทั้งหมด

ไม่มีสิ่งใดในนี้ทำให้ข้อกล่าวอ้างนั้นเป็นเท็จ มันทำให้ข้อกล่าวอ้างแคบกว่าที่ฟังดู: เบนช์มาร์กเดียวที่ใช้ร่วมกันซึ่งเทียบกับโมเดลโอเพนเวตอเมริกันหนึ่งโมเดล และการชนะด้วยส่วนต่างที่อยู่ในระดับความคลาดเคลื่อนจากการปัดเศษเมื่อเทียบกับโมเดลที่เรื่องสัญญาอนุญาตเป็นคำถามแยกต่างหาก ตัวเลขทั้งหมดนี้เป็นของ Cognition เอง รันบนฮาร์เนสที่โพสต์ไม่ได้ระบุชื่อ

ตัวเลข Terminal-Bench สองตัวที่ต่างกันถึงเจ็ดสิบคะแนน

หากคุณอ่านเพียงสิ่งเดียวจากตารางของ Cognition ให้อ่านคู่นี้ SWE-2 Flash ได้ 20.0 ใน Terminal-Bench 4.0 และ 89.2 ใน Terminal-Bench 2.1 สองค่านี้ไม่ใช่การประเมินสิ่งเดียวกันที่แข่งขันกัน แต่เป็นเบนช์มาร์กต่างรุ่น ซึ่งมีชุดงานและระดับความยากต่างกัน โดยหมายเลขเวอร์ชันเป็นสิ่งเดียวที่แยกทั้งสองออกจากกันเมื่อมองแวบเดียว ตารางเปิดตัวที่ระบุทั้งสองค่าย่อมชักนำไปสู่ข้อผิดพลาดอย่างตรงตัว นั่นคือการนำ 20.0 ไปเทียบกับคะแนน 2.1 ของคู่แข่ง หรือนำ 89.2 ไปเทียบกับคะแนน 4.0 ของคู่แข่ง

กฎที่ปลอดภัยสำหรับโมเดลนี้ และสำหรับโมเดลใดก็ตามที่ผู้ขายรายงานเวอร์ชัน Terminal-Bench มากกว่าหนึ่งเวอร์ชัน คือให้เปรียบเทียบ 2.1 กับ 2.1 และ 4.0 กับ 4.0 และระบุว่าคุณกำลังอ้างอิงเวอร์ชันใด เราจดบันทึกต่อเนื่องเรื่องนี้ไว้ เพราะการเรนเดอร์ข้อความแบบแบนราบของตารางเปิดตัวได้กำหนดแถวหนึ่งผิดไปแล้วในการรายงานข่าวระดับรอง

ทำไมค่าถ่วงน้ำหนักถึงอยู่หลังประตู — และประตูนั้นคืออะไร

Cognition มองน้ำหนักที่ไม่ได้เปิดเผยว่าเป็นการแลกเปลี่ยนระหว่างความโปร่งใสกับความเสี่ยง และโพสต์นั้นตรงไปตรงมาเกี่ยวกับด้านความเสี่ยงอย่างผิดปกติ บริษัทกล่าวว่าได้ฝึกโมเดลโดยเจตนาเพื่องานด้านความปลอดภัย และยกระดับคะแนน ExploitBench จาก 11.3 ในระหว่างการฝึกพื้นฐานเป็น 34.8 หลังการฝึกเพิ่มเติม การเผยแพร่น้ำหนักเหล่านั้นจะทำให้โมเดลที่เขียน exploit ได้อย่างมีความสามารถออกสู่การหมุนเวียนทั่วไป

ดังนั้นแทนที่จะเป็นเช่นนั้น จึงมีโครงการหนึ่งขึ้นมา น้ำหนักโมเดลจะถูกแชร์อย่าง "ปลอดภัย" ให้กับพาร์ตเนอร์และนักวิจัย และโพสต์ดังกล่าวสัญญาว่าจะมีรายละเอียด "ในอีกไม่กี่สัปดาห์" ณ เวลาที่เขียนนี้ ยังไม่มีแบบฟอร์มสมัคร เกณฑ์คุณสมบัติ ใบอนุญาต วันที่ หรือข้อความใด ๆ เกี่ยวกับว่าน้ำหนักที่แชร์นั้นอาจถูกเผยแพร่ต่อหรือใช้ในเชิงพาณิชย์ได้หรือไม่ โครงการพาร์ตเนอร์ไม่ใช่ open weights และความแตกต่างนี้สำคัญสำหรับใครก็ตามที่วางแผนจะโฮสต์เอง: จนกว่าจะมีข้อกำหนดออกมา สมมติฐานที่ถูกต้องในการวางแผนคือ SWE-2 Flash จะไม่สามารถดาวน์โหลดได้เลย

ฟรีถึง 30 พฤศจิกายน จากนั้นยังไม่ระบุราคา

ข้อเสนอเชิงพาณิชย์คือการเข้าถึงฟรีหนึ่งเดือนภายใน Devin หลังจากนั้น ไม่มีใครนอก Cognition ที่รู้ว่ามันมีค่าใช้จ่ายเท่าไร เพราะไม่มีการเผยแพร่อัตราค่าบริการต่อโทเค็นออกมา ประโยคที่ว่า "ราคาหนึ่งในห้าของ SWE-2" เป็นการเทียบอัตราส่วนกับผลิตภัณฑ์ที่มีโครงสร้างราคาแบบเหมารวมของตัวเอง ไม่ใช่ตารางอัตราค่าบริการ

นั่นเป็นความเสี่ยงด้านการวางแผนที่แท้จริง หากคุณกำลังพิจารณาสร้างเวิร์กโฟลว์โดยมีสิ่งนั้นเป็นแกนหลัก dependency ที่ยังไม่มีการกำหนดราคานั้นแย่กว่า dependency ที่มีราคาแพง เพราะคุณไม่สามารถจำลองมันได้ สิ่งที่สมเหตุสมผลระหว่างนี้ถึง 30 พฤศจิกายน คือการวัดสิ่งที่คุณวัดได้ — คุณภาพเอาต์พุตของโมเดลในรีโพซิทอรีของคุณเองสมเหตุสมผลพอที่จะเปลี่ยนการกำหนดค่า Devin ของคุณหรือไม่ — และถือว่าคำถามเรื่องต้นทุนยังเปิดอยู่จนกว่า Cognition จะเผยแพร่ตัวเลข

สิ่งที่คุณสามารถโทรหาได้จริงในวันนี้

SWE-2 Flash ไม่ได้อยู่บน OrcaRouter และจะยังไม่เกิดขึ้นจนกว่า Cognition จะปล่อยเอนด์พอยต์หรือการเผยแพร่น้ำหนักโมเดลภายใต้สัญญาอนุญาต เราจะไม่แกล้งทำเป็นว่าเป็นอย่างอื่น สิ่งที่เรียกใช้งานได้ในขณะนี้คือกลุ่มอื่น ๆ ในวงการที่การเปิดตัวครั้งนี้กำลังแข่งขันด้วยโดยปริยาย — รวมถึง Muse Spark 1.2 และ 1.1 ของ Meta ซึ่งทั้งสองเปิดให้ใช้งานในแคตตาล็อกแล้ว และทั้งสองเป็นโมเดลที่ทำให้คะแนน DeepSWE 1.1 ของ SWE-2 Flash อยู่ห่างกันเพียงหนึ่งในสิบของคะแนน

หากเหตุผลที่คุณอ่านสิ่งนี้คือคุณต้องการโมเดลเขียนโค้ดที่ราคาถูกและเร็วในลูปเอเจนต์ภายในสัปดาห์นี้ ไม่ใช่ในเดือนธันวาคม นั่นคือทางแยกที่ใช้ได้จริง: รอการกำหนดราคาและโปรแกรมพันธมิตรของ Cognition หรือชี้ไคลเอนต์ที่มีอยู่ของคุณไปที่ API เดียวสำหรับโมเดลมากกว่า 200 โมเดล และทดสอบ A/B ทางเลือกต่างๆ เทียบกับชุดทดสอบของคุณเอง OrcaRouter ส่งผ่านราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม 0% ดังนั้นหากในที่สุด Cognition ประกาศราคาออกมา ราคานั้นคือสิ่งที่คุณจะเห็นที่นี่ในวันแรก ไม่ใช่ตัวเลขจากตัวแทนจำหน่ายที่บวกเพิ่ม

สิ่งที่โพสต์เปิดตัวไม่ได้กล่าวถึง

มีการละเว้นสี่จุดที่ควรค่าแก่การชี้ให้เห็น เพราะสิ่งเหล่านี้คือสิ่งที่ตัดสินว่าตัวเลขเหล่านั้นจะมีความหมายหรือไม่:

• ไม่มีฮาร์เนส โพสต์ SWE-2 ฉบับเดือนกันยายนเปิดเผยสแคฟโฟลด์และการตั้งค่าระดับความพยายาม ส่วนโพสต์นี้ไม่เปิดเผย ทำให้คะแนนเอเจนต์ทุกตัวกลายเป็นกล่องดำ

• ไม่มีการเปิดเผย best-of-N เราไม่ทราบว่าค่าเหล่านี้เป็น pass@1 หรือ best-of-five

• ไม่มีหน้าต่างบริบท สำหรับโมเดลที่ถูกวางตำแหน่งให้เป็นตัวเลือกราคาถูกภายในเอเจนต์ งบประมาณบริบทไม่ใช่แค่หมายเหตุเล็ก ๆ

• ไม่มีการทดสอบโดยอิสระ ตัวเลขทุกตัวที่นี่เป็นข้อมูลที่ผู้ขายรายงานเองและยังไม่มีการทำซ้ำยืนยัน รวมถึงคะแนน FrontierCode 2.0 ที่ 24.0 — และ FrontierCode ก็เป็น benchmark ของ Cognition เอง ซึ่งควรจดจำไว้เมื่อแถวนั้นเป็นแถวที่แสดงว่าชนะ

สิ่งที่ต้องจับตาดูไม่ใช่แถวผล benchmark อีกแถวหนึ่ง แต่คือหน้าโปรแกรมพันธมิตร ซึ่งประกอบด้วยวันที่ สัญญาอนุญาต และราคา เมื่อทั้งสามอย่างนี้มีอยู่ SWE-2 Flash จะกลายเป็นโมเดลที่คุณประเมินได้ จนกว่าจะถึงตอนนั้น มันเป็นเพียงเดโมที่มีเอกสารประกอบครบถ้วนพร้อมเดือนทดลองใช้ฟรีแนบมาด้วย