SWE-2 Flash กับ SWE-2: ชัยชนะ 0.2 คะแนนมีค่าจริงแค่ไหน

ตารางเปรียบเทียบของ Cognition เองให้ SWE-2 FlashชนะSWE-2เพียงครั้งเดียวเท่านั้น: 24.0 เทียบกับ 23.8 บน FrontierCode 2.0 สองในสิบของจุด บนเบนช์มาร์กของ Cognition เอง ในตารางที่ Cognition สร้างขึ้นเพื่อแสดงรุ่นที่เล็กกว่าให้ดูดีที่สุด นอกจากนี้ยังเป็นตัวเลขที่มีประโยชน์ที่สุดในการเปิดตัว เพราะสิ่งที่แถวด้านล่างทำ — และเพราะสิ่งที่แถวเดียวที่อยู่เหนือส่วนที่มองเห็นได้โดยไม่ต้องเลื่อนละไว้อย่างเงียบ ๆ

ฉบับสั้นสำหรับคนที่ต้องตัดสินใจอยู่ที่โต๊ะทำงานมากกว่าจะอ่านจนจบ: Flash ไม่ใช่ SWE-2 ที่เล็กกว่า แต่เป็นโมเดลที่แตกต่างจากฐานที่แตกต่างกัน ปรับแต่งมาสำหรับงานช่วงปลายที่มีขอบเขตจำกัด และตั้งราคาไว้ที่หนึ่งในห้าภายในผลิตภัณฑ์เดียวกัน การชนะ 0.2 คะแนนเป็นเรื่องจริง และมันมีความหมายน้อยกว่าที่ดูเหมือน

สองฉบับของเกณฑ์วัดเดียวกันให้ผลไม่ตรงกัน และนั่นคือข้อค้นพบแรก

วางสองแถว FrontierCode ไว้ติดกัน แล้วตารางจะไม่ใช่เรื่องราวของโมเดลเล็กที่กำลังไล่ตามอีกต่อไป

• FrontierCode 2.0 — SWE-2 Flash 24.0 เทียบกับ SWE-2 23.8

• FrontierCode 1.1 Main — 45.5 เทียบกับ 50.0

เครื่องมือเดียวกัน สองฉบับ คำตัดสินตรงกันข้าม ในฉบับที่ใหม่กว่า Flash นำอยู่เพียงเสี้ยว ในฉบับที่เก่ากว่า มันตามหลังอยู่ 4.5 คะแนน หนึ่งในแถวนั้นจะไปจบในสไลด์เปิดตัว และอีกแถวจะไม่ และการเลือกว่าอันไหนบอกคุณเกี่ยวกับผู้นำเสนอได้มากกว่าตัวโมเดล

มีการตีความที่มีเหตุผลรองรับซึ่งแถวทั้งสองเป็นจริงและไม่ขัดแย้งกัน: ฉบับ 2.0 นั้นยากกว่า คะแนนสัมบูรณ์ถูกบีบอัด และชุดงานที่ใหม่กว่าอาจให้ผลตอบแทนกับสิ่งที่ Flash ถูกฝึกหลังการฝึกมาเพื่อทำ ที่ยังมีการตีความอีกแบบที่ดูดีน้อยกว่า: การแกว่ง 4.5 จุดระหว่างสองฉบับของเบนช์มาร์กเดียวกันเป็นตัววัดว่าเครื่องมือวัดไวต่อความแตกต่างเพียงใด และช่องว่าง 0.2 จุดนั้นอยู่ภายในความไวนั้น Cognition ไม่เผยช่วงความเชื่อมั่นและไม่มีการรันซ้ำ ดังนั้นความแตกต่างระหว่าง 24.0 กับ 23.8 จึงแยกจากนอยซ์ไม่ได้ด้วยข้อมูลที่มีอยู่ สิ่งที่พูดได้นั้นแคบกว่าแต่ยังมีประโยชน์ — บนเบนช์มาร์กใหม่ล่าสุดของ Cognition ทั้งสองโมเดลอยู่ในระดับเดียวกัน ไม่ได้แยกออกจากกัน

จุดทั้งสิบสามจุดไปที่ไหน

ส่วนที่เหลือของตารางไม่ได้ใกล้กัน และรูปร่างของช่องว่างคือส่วนที่ให้ข้อมูล

• DeepSWE 1.1 — SWE-2 Flash 60.1 เทียบกับ SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 เทียบกับ 27.3

• SWE-Atlas QA — 50.0 เทียบกับ 56.3

• Terminal-Bench 2.1 — 89.2 เทียบกับ 92.8

• SWE-Bench Pro v2 Hard — 89.9 เทียบกับ 90.6

• ExploitBench — 34.8 เทียบกับ 36.1

จัดเรียงสิ่งเหล่านี้ตามปริมาณอิสระที่งานมอบให้เอเจนต์ แล้วรูปแบบหนึ่งจะปรากฏขึ้น บน SWE-Bench Pro v2 Hard — ปัญหาที่ระบุไว้อย่างชัดเจนพร้อมวิธีแก้ที่กำหนดไว้ — Flash ตามอยู่หลัง 0.7 คะแนน บน Terminal-Bench 2.1 ตามอยู่หลัง 3.6 บน Terminal-Bench 4.0 ช่องว่างคือ 7.3 และบน DeepSWE 1.1 ซึ่งเป็นแถวระยะยาว ช่องว่างคือ 12.9 ยิ่งงานกำหนดให้โมเดลต้องตัดสินใจว่าต้องทำอะไรต่อไปมากเท่าใด ช่องว่างก็ยิ่งกว้างขึ้นเท่านั้น

นั่นเป็นกลไกที่เป็นไปได้ แต่ยังไม่ได้รับการพิสูจน์ โมเดลที่มีพารามิเตอร์ที่ใช้งานอยู่เพียงหนึ่งในสิบมีความสามารถในการยึดแผนระยะยาวไว้ด้วยกันน้อยกว่า และ benchmark ระยะยาวคือจุดที่สิ่งนี้จะปรากฏให้เห็นก่อน แต่ Cognition ไม่ได้เผยแพร่จำนวนเทิร์น จำนวนโทเคน หรือรายละเอียดแยกตามงานสำหรับ Flash อย่างที่เคยทำกับ SWE-2 — ซึ่งรายงานว่าจำนวนสเต็ปเฉลี่ยลดลงจาก 127 เหลือ 53 ที่ระดับความพยายามปานกลาง — ดังนั้นกลไกนี้จึงอนุมานได้จากรูปร่างของตาราง มากกว่าจะได้รับการสาธิตให้เห็น ให้ถือเป็นสมมติฐานที่สอดคล้องกับประสบการณ์ของคุณเองหรือไม่สอดคล้อง

ราคาและความเร็ว ในสกุลเงินเดียวที่ Cognition ระบุ

ไม่มีโมเดลใดมีราคาต่อโทเค็น เพราะทั้งคู่ยังไม่มีเอนด์พอยต์ สิ่งที่ Cognition เผยแพร่คืออัตราส่วน: SWE-2 Flash มีต้นทุนหนึ่งในห้าของ SWE-2 และทำงานด้วยความเร็วสามเท่า คือ 200 tok/s เทียบกับ 60 ตัวเลขทั้งสองมาจากระเบียบวิธีรีเพลย์เดียวกัน — การรันของแต่ละโมเดลบนงาน gsea-proteomics ของ Terminal-Bench 4.0 ซึ่งรีเพลย์ด้วยอัตราจำลองโดยย่อบทถอดความให้มีความยาวเท่ากัน — ดังนั้นทั้งสองจึงอธิบายโปรไฟล์การให้บริการที่ตั้งใจไว้ มากกว่าค่าที่วัดได้จริง

อัตราส่วนยังคงเป็นตัวเลขที่เกี่ยวข้องกับการตัดสินใจมากที่สุดในการเปิดตัว โดยมีเงื่อนไขว่าคุณต้องทำขั้นตอนถัดไป ราคาต่อหน่วยงานไม่เหมือนกับต้นทุนต่องานที่แก้ไขได้ และตัวที่สองคือสิ่งที่ทีมจ่ายจริง หากหนึ่งส่วนห้าเป็นหนึ่งส่วนห้าของต้นทุนของงานหนึ่งงาน — การตีความเดียวที่ทำให้ข้อกล่าวอ้างนี้มีความหมายภายในผลิตภัณฑ์แบบสมัครสมาชิก — การคำนวณก็ตรงไปตรงมา

{{1}}บน DeepSWE 1.1{{/1}} — Flash แก้โจทย์ได้ 82% ของจำนวนงาน ด้วยต้นทุนเพียงหนึ่งในห้า ซึ่งถูกกว่าประมาณ 4.1 เท่าต่องานที่แก้ได้ แม้ในแถวที่มันแพ้หนักที่สุด

• บน FrontierCode 2.0 — แก้โจทย์ได้มากขึ้นเล็กน้อยด้วยต้นทุนเพียงหนึ่งในห้า ซึ่งคิดเป็นถูกกว่าราว 5 เท่าต่อโจทย์หนึ่งข้อที่แก้ได้

• บน Terminal-Bench 4.0 — มันแก้ได้ 73% ของจำนวนนั้น ด้วยต้นทุนเพียงหนึ่งในห้า หรือถูกกว่าประมาณ 3.7 เท่าต่องานที่แก้ได้

ตัวเลขทุกตัวเหล่านั้นตั้งสมมติฐานว่าตัวที่ห้าใช้กับต้นทุนของงานหนึ่งงาน ไม่ใช่ต่อโทเค็น และอัตราการแก้ปัญหาสามารถถ่ายโอนไปยังคิวของคุณได้ Cognition ไม่ได้ระบุว่าเป็นแบบไหน และสมมติฐานนี้มีบทบาทสำคัญมาก หากตัวที่ห้าเป็นราคาต่อโทเค็นของโมเดลที่สร้างโทเค็นต่อหนึ่งงานมากกว่า ข้อได้เปรียบจะแคบลงและอาจกลับทิศบนแถวแบบระยะยาว การคำนวณนี้เป็นการตรวจสอบความอ่อนไหว ไม่ใช่การวัด และควรทำซ้ำกับบันทึกของคุณเอง

สิ่งที่ไม่ต้องสงสัยคือช่วงเวลาโปรโมชัน SWE-2 Flash ใช้งานฟรีใน Devin Desktop และ CLI ถึงวันที่ 30 พฤศจิกายน 2026 ช่วงฟรีของ SWE-2 เองสิ้นสุดเมื่อวันที่ 10 ตุลาคม สำหรับอีกไม่กี่สัปดาห์ข้างหน้า การเปรียบเทียบราคาภายใน Devin คือหนึ่งในห้าเทียบกับศูนย์ ซึ่งไม่ใช่การเปรียบเทียบเลย — มันคือช่วงทดลองใช้ที่มีกำหนดเส้นตาย

พวกมันไม่ได้อยู่ในสายเดียวกัน และช่องว่างด้านพารามิเตอร์เป็นสิ่งที่น่าสนใจน้อยที่สุดเกี่ยวกับพวกมัน

SWE-2 ได้รับการ post-train จาก Kimi K3: พารามิเตอร์ 2.8 ล้านล้าน เปิดใช้งาน 104B ต่อโทเค็น เป็นฐานที่ผ่าน RL อย่างเข้มข้นมาแล้วสำหรับการเขียนโค้ดแบบเอเจนต์ SWE-2 Flash ได้รับการ post-train จาก Inkling-Small: รวม 276B เปิดใช้งาน 12B, Apache 2.0 จาก Thinking Machines แผนภูมิขนาดของ Cognition เองจัดให้ Flash อยู่ที่ 1x และ SWE-2 อยู่ที่ 10.1x ในแง่พารามิเตอร์ที่เปิดใช้งาน อัตราส่วนใกล้เคียงเก้าต่อหนึ่ง

ตอนนี้ลองจับมาเทียบกับคะแนนดู ความแตกต่างของพารามิเตอร์ที่ใช้งานอยู่ถึงแปดเท่าครึ่งให้คะแนนเพิ่ม 4.5 คะแนนบน FrontierCode 1.1 Main และไม่ได้ให้อะไรเลยบน FrontierCode 2.0 ในขณะเดียวกัน ขั้นตอนหลังการฝึก (post-training) เองมีมูลค่ามากกว่าความแตกต่างของพารามิเตอร์มาก ตารางของ Cognition แสดงให้เห็นว่า Inkling-Small ได้ 21.5 บน FrontierCode 1.1 Main และ Flash ได้ 45.5 ซึ่งเพิ่มขึ้น 24 คะแนนจากการฝึกช่วงกลาง (mid-training) และ RL บนฐานเดียวกัน ความแปรปรวนที่เกิดจาก post-training นั้นประมาณห้าเท่าของความแปรปรวนที่เกิดจากช่องว่างพารามิเตอร์ทั้งหมดระหว่างสองโมเดล

ข้อค้นพบนั้นคือสิ่งที่ทั้งคู่สร้างขึ้นร่วมกัน และมันยิ่งใหญ่กว่าตัวแบบแต่ละตัว นอกจากนี้ยังอธิบายว่าทำไม Cognition จึงยินดีขายตัวที่เล็กกว่าในราคาหนึ่งในห้า: ส่วนที่แพงของ SWE-2 ไม่เคยเป็นโมเดลฐานเลย แต่เป็นข้อมูล ตัวตรวจสอบ และสภาพแวดล้อม RL ต่างหาก และ Flash นำการลงทุนนั้นกลับมาใช้ซ้ำบนฐานที่ถูกกว่า

มีข้อควรระวังสองประการที่ควรกล่าวถึงตรงนี้ การเปรียบเทียบนี้เป็นตารางของผู้ขายรายเดียวบน benchmark ที่ผู้ขายควบคุมเอง และไม่มีสิ่งใดในตารางนั้นได้รับการทำซ้ำอย่างอิสระ และโมเดลฐานไม่ใช่ข้อมูลนำเข้าที่เทียบเท่ากัน — Kimi K3 มาพร้อมบริบทหนึ่งล้านโทเค็นและความสามารถด้าน vision แบบ native ขณะที่ Inkling-Small เป็นสถาปัตยกรรมที่แตกต่างออกไปพร้อมการรองรับ multimodal ที่ต่างกัน — ดังนั้น "post-training เดียวกัน ฐานที่ถูกกว่า" จึงเป็นกรอบการนำเสนอของ Cognition มากกว่าจะเป็นตัวแปรที่แยกออกมาอย่างโดดเดี่ยว

ความไม่สมมาตรของการตั้งค่าความพยายาม

SWE-2 เปิดตัวพร้อมระดับความพยายามในการให้เหตุผลที่มีเอกสารระบุไว้สามระดับ ได้แก่ medium, high และ max และการเปิดตัวของ Cognition ในเดือนกันยายนได้อธิบายว่าแต่ละระดับมีไว้เพื่ออะไร: ระดับ medium ลงมือทำเร็วขึ้น ขณะที่ high และ max วางแผนมากขึ้น สำรวจโค้ดเบสมากขึ้น และใช้ทรัพยากรในการตรวจสอบมากขึ้น นอกจากนี้ยังระบุด้วยว่ามีการรายงานคะแนนที่ดีที่สุดของแต่ละโมเดลจากการตั้งค่าความพยายามทั้งหมด

SWE-2 Flash ไม่ได้ระบุการควบคุม effort ไว้เลย โพสต์เปิดตัวไม่ได้กล่าวถึงสิ่งนี้เลย และตาราง benchmark ก็ไม่มีคอลัมน์การตั้งค่าใด ๆ ดังนั้นการเปรียบเทียบตามที่เผยแพร่จึงเป็น SWE-2 ในสภาวะที่ดีที่สุดเทียบกับ Flash ในคอนฟิกูเรชันที่ไม่ระบุ ซึ่งจะเป็นการเปรียบเทียบที่เท่าเทียมกันก็ต่อเมื่อ Flash มีการตั้งค่าเพียงค่าเดียว และเป็นการเปรียบเทียบที่ไม่เป็นธรรมในทิศทางที่ไม่ทราบหาก它具有การตั้งค่าหลายค่า

หาก Flash ไม่มีการควบคุมระดับ effort จริง ๆ นั่นก็เป็นความแตกต่างของผลิตภัณฑ์ที่ควรระบุให้ชัด มากกว่าจะมองว่าเป็นช่องว่างของเอกสาร effort คือวิธีที่คุณแลกต้นทุนกับความลึกในการทำงานเป็นรายงานต่อแต่ละงาน และโมเดลที่ไม่มีสิ่งนี้จะให้คุณเพียงการตั้งค่าเดียวสำหรับคิวงานที่มีทั้งงานง่ายและงานยาก นี่คือการแลกเปลี่ยนที่อัตราส่วนนี้ควรทำให้คุณเลือกทำได้อย่างแม่นยำ

แต่ละรายการอยู่ในคิวไหน

การวางกรอบของ Cognition เองเป็นแนวทางที่ซื่อตรงที่สุดในที่นี้ โดยระบุว่าโมเดลขนาดเล็ก “มีความสามารถมากขึ้นในการรับมือกับงานส่วนสำคัญที่เอเจนต์ซอฟต์แวร์ทำ เช่น ระบบอัตโนมัติ การรีวิวโค้ด การพัฒนาฟีเจอร์ และการอัปเดตเอกสาร” และระบุว่า SWE-2 Flash ถูกพัฒนาขึ้นสำหรับงานนั้น เมื่ออ่านรายการนั้นเทียบกับรูปแบบของ benchmark แล้ว ทั้งสองสอดคล้องกัน: งานที่มีขอบเขตจำกัด มีนิยามของความสำเร็จที่ชัดเจน มีปริมาณสูง และมีความอดทนต่อความหน่วงต่ำ

• หากงานนั้นพอดีกับพรอมต์และคำจำกัดความของความสำเร็จชัดเจน — การตรวจทานหนึ่งรอบ การอัปเดตเอกสาร ฟีเจอร์เล็ก ๆ ระบบอัตโนมัติตามกำหนดเวลา — Flash คือค่าเริ่มต้นที่เหมาะสม และการคำนวณต้นทุนต่องานที่แก้ไขได้ข้างต้นบอกว่ามันถูกกว่าหลายเท่า แม้ในกรณีที่มันแก้ไขงานได้น้อยกว่า

• หากเอเจนต์ต้องตัดสินใจว่าจะทำอะไรต่อไปมากกว่าสองสามครั้ง — การย้ายระบบ (migration), การรีแฟกเตอร์ข้ามรีโป (cross-repo refactor), เซสชันดีบักที่สมมติฐานแรกมักผิด — ช่องว่าง 13 คะแนนของ DeepSWE คือสิ่งที่คุณกำลังซื้อด้วย SWE-2 พอดี และอัตราส่วนนั้นไม่ได้ชดเชยให้กับสิ่งนั้น

• หากคุณระบุไม่ได้ว่างานนั้นเป็นประเภทใดในบรรดาตัวเลือกเหล่านั้น ให้เริ่มต้นด้วย Flash แล้วจึง escalate นั่นคือการตัดสินใจที่ Cognition สร้างระดับความพยายาม (effort levels) ขึ้นมาสำหรับ SWE-2 และการที่ Flash ไม่มีการควบคุมระดับความพยายามทำให้การ escalate กลายเป็นการตัดสินใจด้านการกำหนดเส้นทาง (routing) มากกว่าที่จะเป็นพารามิเตอร์

ข้อผิดพลาดที่ต้องหลีกเลี่ยงคือการใช้ชัยชนะ 0.2 คะแนนเป็นใบอนุญาตให้เลื่อนคิวที่ยากออกไป มันเป็นเพียงเบนช์มาร์กหนึ่งรายการ หนึ่งฉบับ หนึ่งผู้ขาย และมันอยู่ในช่วงความไวของเครื่องมือนั้นเอง

นอกเหนือจาก Devin แล้ว ทั้งสองคนไม่ใช่ผู้สมัคร

โมเดลทั้งสองไม่มี API ทั้งคู่ไม่มีเวตส์แบบสาธารณะ หากฮาร์เนสของคุณเป็นของคุณเอง คู่นี้ก็ไม่ใช่ตัวเลือกที่คุณจะกำหนดได้ และช่วงใช้ฟรีก็ไม่ได้ช่วยอะไรคุณเลย — มันเป็นเพียงการทดลองใช้ภายในผลิตภัณฑ์ที่คุณต้องซื้อ

ครึ่งที่เข้าถึงได้ของสแตกนี้คือส่วนฐาน Kimi K3 ถูกกำหนดเส้นทางบน OrcaRouter ในชื่อ kimi/kimi-k3 ในราคา $3.00 ต่อหนึ่งล้านโทเค็นอินพุต และ $15.00 ต่อหนึ่งล้านโทเค็นเอาต์พุต พร้อมหน้าต่างบริบทขนาด 1M โทเค็น และการเรียกใช้เครื่องมือแบบเนทีฟ ในราคาตามรายการของผู้ให้บริการโดยไม่มีการบวกราคาเพิ่ม API เดียวครอบคลุมโมเดลมากกว่า 200 โมเดล ซึ่งทำให้การแยกคิวข้างต้นสามารถนำไปปฏิบัติได้นอก Devin: กฎการกำหนดเส้นทางสามารถส่งงานที่มีขอบเขตจำกัดไปยังโมเดลราคาถูก และยกระดับงานระยะยาวไปยังโมเดลที่แข็งแกร่งกว่า โดยที่ไคลเอนต์ไม่รู้ว่าโมเดลใดเป็นผู้ตอบ การสลับไปใช้ระบบสำรองอัตโนมัติควรอยู่เบื้องหลังเส้นทางที่ถูกยกระดับ เพราะโมเดลที่คุณยกระดับไปใช้นั้นคือโมเดลที่คุณไม่อาจปล่อยให้ใช้งานไม่ได้

นั่นเป็นผลิตภัณฑ์ที่แตกต่างจาก SWE-2 Flash และไม่ใช่สิ่งที่ใช้แทนกันได้ มันคือสิ่งที่คุณทำเมื่อสิ่งที่คุณต้องการประเมินไม่มีเอนด์พอยต์

อะไรจะทำให้เรื่องนี้ยุติลง

การเปิดเผยสามอย่างจะเปลี่ยนการเปรียบเทียบนี้จากตารางของผู้จำหน่ายให้กลายเป็นหลักฐาน การรัน DeepSWE 1.1 และ Terminal-Bench 4.0 บนทั้งสองโมเดลอย่างอิสระ โดยผู้ที่ไม่ใช่ Cognition และไม่ได้ใช้ฮาร์เนสของ Cognition คำแถลงเกี่ยวกับการตั้งค่าระดับความพยายามและสแคฟโฟลด์เบื้องหลังแต่ละแถวในตาราง Flash ให้สอดคล้องกับสิ่งที่การเปิดตัว SWE-2 มอบให้ และการรันซ้ำ เพื่อให้สามารถแยกส่วนต่าง 0.2 คะแนนออกจากความแปรปรวนระหว่างการรันได้

จนถึงตอนนั้น การตีความที่สมเหตุสมผลที่สุดคือการตีความแบบแคบ ๆ SWE-2 Flash เป็นรุ่นพี่น้องที่ปรับต้นทุนให้เหมาะสม ซึ่งสร้างบนฐานที่เล็กกว่ามาก อยู่ในระดับเดียวกับ SWE-2 บนเบนช์มาร์กล่าสุด และตามหลังอย่างชัดเจนในงานระยะยาว วางขายในอัตราส่วนที่ทำให้มีต้นทุนถูกกว่าหลายเท่าต่องานที่แก้ได้ จากหลักฐานที่มีอยู่ นั่นเป็นการตัดสินใจด้านผลิตภัณฑ์ที่ดีและเป็นข้อกล่าวอ้างเชิงเทคนิคที่พอประมาณ การชนะ 0.2 คะแนนไม่ใช่หลักฐานว่ามันเข้าแทนที่สิ่งใด — แต่เป็นหลักฐานว่าในเครื่องมือวัดหนึ่งชิ้น ในวันหนึ่ง ช่องว่างแคบลงมากพอที่จะหายไปในสัญญาณรบกวน