SWE-2 Flash vs Flint v1.0: หนึ่งแถวเบนช์มาร์กที่ซื่อตรงและเสียงรบกวนอีกมากมาย

โมเดลเขียนโค้ดแบบ mixture-of-experts ที่มีพารามิเตอร์ทำงานจำนวนน้อยสองโมเดล เปิดตัวห่างกันสิบห้าวัน ทั้งคู่กล่าวอ้างประสิทธิภาพระดับเดียวกันในต้นทุนเพียงเศษเสี้ยวของโมเดลเรือธง SWE-2 Flash จาก Cognition เมื่อวันที่ 4 พฤศจิกายน 2026 มีพารามิเตอร์รวม 276B และมีพารามิเตอร์ทำงาน 12B ส่วน Flint v1.0 จาก Recursive เมื่อวันที่ 21 ตุลาคม 2026 มีพารามิเตอร์รวม 39.8B และมีพารามิเตอร์ทำงานประมาณ 2.5B ทั้งสองเป็นการเดิมพันสถาปัตยกรรมแบบเดียวกันในขนาดที่ต่างกันมาก — และวิธีเปรียบเทียบอย่างซื่อตรงคือต้องยอมรับตั้งแต่แรกว่าตารางที่เผยแพร่ของทั้งสองซ้ำกันเพียงแถวเดียวเท่านั้น

แถวนั้นคือ Terminal-Bench 2.1: 89.2 สำหรับ SWE-2 Flash เทียบกับ 54.9 สำหรับ Flint v1.0 เป็นช่องว่าง 34 จุด เป็นตัวเลขที่แข็งแกร่งที่สุดเพียงตัวเดียวที่บริษัทใดบริษัทหนึ่งในสองแห่งนี้เคยทำได้ในการจับคู่นี้ และมาพร้อมข้อแม้สองข้อที่ใหญ่พอจะเปลี่ยนวิธีที่คุณตีความมัน ทุกอย่างอื่นที่คุณอาจอยากนำมาเปรียบเทียบล้วนเป็นเบนช์มาร์กคนละเวอร์ชันหรือเป็นชุดย่อยคนละชุดของเบนช์มาร์กเดียวกัน

เดิมพันเดียวกัน แต่ทิศทางใบอนุญาตตรงกันข้าม

สมมติฐานร่วมคือ พารามิเตอร์ที่ใช้งานจริง — ไม่ใช่พารามิเตอร์ทั้งหมด — เป็นตัวขับเคลื่อนต้นทุนการอนุมาน ดังนั้นคุณจึงสร้างโมเดลขนาดใหญ่แบบ sparse ได้ และจ่ายเฉพาะส่วนที่ทำงานเท่านั้น Flint ใช้ผู้เชี่ยวชาญแบบ routed 6 จาก 256 ตัว บวกผู้เชี่ยวชาญแบบ shared หนึ่งตัวทำงานต่อโทเคน ครอบคลุม 49 เลเยอร์ โดย 35 เลเยอร์เป็น sliding-window ที่มีหน้าต่าง 513 โทเคน และอีก 14 เลเยอร์เป็น full attention SWE-2 Flash สืบทอดโครงสร้างนั้นมาจากฐาน Inkling-Small: พารามิเตอร์ทั้งหมด 276B ใช้งานจริง 12B ผ่าน post-training ด้วยขั้น mid-training ที่ Cognition ไม่เคยใช้มาก่อน

ความแตกต่างที่สำคัญยิ่งกว่ารายละเอียดใด ๆ ของสถาปัตยกรรม ก็คือสิ่งที่คุณได้รับอนุญาตให้ทำกับผลลัพธ์:

• ค่าน้ำหนัก — Flint v1.0 ใช้สัญญาอนุญาต Apache 2.0 บน Hugging Face ในรูปแบบ BF16, FP8 และรูปแบบที่ผ่านการควอนไทซ์ ส่วน SWE-2 Flash ไม่เปิดเผยเลย โดยมีโครงการแบ่งปันกับพันธมิตรที่ให้สัญญาไว้แต่ยังไม่ระบุรายละเอียด

• การกระจาย — Flint ทำงานภายใต้ llama.cpp, Ollama, LM Studio, vLLM และ SGLang บนฮาร์ดแวร์ที่คุณเป็นเจ้าของ ส่วน SWE-2 Flash ทำงานภายใน Devin Desktop และ Devin CLI เท่านั้น และไม่มีที่อื่นอีก

• ราคา — ต้นทุนส่วนเพิ่มของ Flint ก็คือ GPU ของคุณ SWE-2 Flash ใช้งานฟรีถึงวันที่ 30 พฤศจิกายน 2026 และหลังจากนั้นไม่มีอัตราค่าบริการต่อโทเคนที่ประกาศไว้

• บริบท — Flint เผยแพร่ 262,144 โทเคน ซึ่งกำหนดค่าได้ถึงประมาณ 512K ขณะที่ SWE-2 Flash ไม่เผยแพร่สิ่งใด

นั่นไม่ใช่ความแตกต่างเล็ก ๆ ในแง่จุดยืน สิ่งหนึ่งเป็นอาร์ติแฟกต์ที่คุณตรวจสอบ ควอนไทซ์ ไฟน์ทูน และรันบนแล็ปท็อปได้ อีกสิ่งหนึ่งเป็นผลิตภัณฑ์ที่มีให้ใช้ฟรีหนึ่งเดือน

แถวเดียวที่คุณสามารถเปรียบเทียบได้

Terminal-Bench 2.1 เป็นเบนช์มาร์กเดียวที่ทั้งสองบริษัทรายงานตัวเลขบนเวอร์ชันเดียวกัน ค่า 54.9 ของ Flint ผลิตผ่าน Terminus 2 โดยใช้ pass@1 เฉลี่ยจากการพยายามอย่างน้อยห้าครั้ง ส่วนค่า 89.2 ของ SWE-2 Flash ผลิตบนฮาร์เนสที่ Cognition ไม่ระบุชื่อ ในการตั้งค่าความพยายามที่ไม่เปิดเผย จากโพสต์เปิดตัวที่ละเว้นภาคผนวกด้านระเบียบวิธีซึ่งรุ่นก่อนหน้าในเดือนกันยายนมีอยู่

ดังนั้นช่องว่าง 34 คะแนนจึงเป็นของจริงในแง่ที่ว่าตัวเลขทั้งสองรายงานบนชุดงานเดียวกัน และเป็นแบบอ่อนในแง่ที่ว่าฝ่ายหนึ่งบอกคุณว่ามันไปถึงจุดนั้นได้อย่างไร แต่อีกฝ่ายไม่ได้บอก โมเดลที่ถูกให้คะแนนภายในโครงสร้างเอเจนต์ที่ออกแบบร่วมกัน — ซึ่ง Devin ก็เป็นเช่นนั้น — โดยทั่วไปจะชนะโมเดลเดียวกันที่ถูกให้คะแนนผ่านฮาร์เนสทั่วไป ตัวเลขของ Flint เป็นตัวเลขที่อนุรักษ์นิยมก็เพราะ Recursive เผยแพร่วิธีการ

ถ้าต้องการเป็นประโยคเดียว: ในแถวเดียวที่มีร่วมกัน SWE-2 Flash นำอยู่มาก และทั้งสองบริษัทไม่ได้ให้บุคคลภายนอกที่เป็นอิสระสามารถตรวจสอบได้

สองคะแนน Pro ที่ดูเหมือนจะเหมือนกันแต่จริง ๆ ไม่เหมือนกัน

นี่คือกับดักในการเทียบกันครั้งนี้ และมันคุ้มค่าที่จะหยุดคิดให้ช้าลง Recursive รายงานว่า Flint v1.0 ได้ 89.7 บน SWE-bench Pro v2 ส่วน Cognition รายงานว่า SWE-2 Flash ได้ 89.9 บน SWE-Bench Pro v2 Hard ตัวเลขสองตัวนี้ห่างกัน 0.2 คะแนน และวางอยู่ติดกันในทุกการรวบรวมผลลัพธ์ที่คุณจะพบ

พวกมันไม่ใช่การวัดค่าเดียวกัน “Hard” เป็นเพียงชุดย่อย — เป็นส่วนที่ถูกกรองมาจากชุดงาน ไม่ใช่ทั้งหมดของชุดงาน ตัวเลขของ Flint คือการรัน Pro v2 แบบเต็มภายใต้ mini-swe-agent โดยนับโซลูชันที่ดึงมาจากเว็บเป็นความล้มเหลว ซึ่งเป็นหลักเกณฑ์การให้คะแนนที่เข้มงวดกว่าที่ผู้จำหน่ายส่วนใหญ่ใช้ การนำ 89.9 ไปวางเทียบกับ 89.7 แล้วเรียกว่าเสมอกัน เป็นการเปรียบเทียบแบบที่ก่อให้เกิดข้อสรุปที่มั่นใจแต่ผิด

ข้อควรระวังเดียวกันนี้ใช้กับแถวที่ทั้งสองตารางไม่ได้มีร่วมกัน Flint รายงาน SWE-bench Verified ที่ 74.2 ส่วน SWE-2 Flash ไม่ได้รายงาน Verified เลย — แต่รายงาน Pro v2 Hard, DeepSWE 1.1 และ SWE-Atlas QA แทน ดังนั้น benchmark ที่ทีมส่วนใหญ่มีสัญชาตญาณต่อมันจึงไม่มีข้อมูลสำหรับโมเดลใหม่ ซึ่งทำให้ “Flint ตามหลังใน SWE-bench” เป็นข้อกล่าวอ้างที่ไม่มีหลักฐานรองรับ มากกว่าจะเป็นข้อค้นพบ

บริบทคือข้อกำหนดที่ตัดสิน

สำหรับการเขียนโค้ดแบบเอเจนต์ หน้าต่างบริบทไม่ใช่เพียงหมายเหตุประกอบ—มันเป็นตัวกำหนดว่าโมเดลจะถือพื้นที่ที่เกี่ยวข้องของรีโพซิทอรีไว้ได้ในขั้นตอนการวางแผนเดียว หรือต้องป้อนให้ทีละส่วน Flint เปิดเผย 262,144 โทเคน ส่วน SWE-2 Flash ไม่เปิดเผยสิ่งใดเลย และหลังจากมีการรายงานข่าวมาสามวัน ก็ยังไม่มีสื่อใดยืนยันเรื่องนี้ได้

คอนเท็กซ์ของ Flint มาพร้อมข้อแม้ในตัวของมันเอง การวัดจากชุมชนแสดงให้เห็นว่าทรูพุตทรุดตัวลงเมื่อคอนเท็กซ์ยาว — ประมาณ 110 โทเคนต่อวินาทีเมื่อพรอมป์ต์สั้น และลดลงสู่ราว 9 โทเคนต่อวินาทีเมื่อใกล้ 115,000 โทเคน หน้าต่าง 262K ที่ทำงานได้ 9 โทเคน/วินาที คือหน้าต่างที่คุณต้องใช้อย่างจงใจ สำหรับการอ่านครั้งใหญ่เพียงครั้งเดียว ไม่ใช่หน้าต่างที่คุณเปิดค้างไว้ตลอดเซสชันยาว การทำควอนไทเซชันช่วยบรรเทาต้นทุนการคำนวณได้บ้าง แต่ไม่ได้ช่วยให้เส้นโค้งนั้นดีขึ้น

หน้าต่างที่ยังไม่เปิดเผยของ SWE-2 Flash เป็นตัวแปรที่ไม่รู้ที่ใหญ่กว่า เพราะ Devin เป็นผลิตภัณฑ์สำหรับเซสชันยาว หากคุณกำลังเลือกระหว่างทั้งสองโดยตั้งสมมติฐานว่าโมเดลแบบปิดจัดการรีโพซิทอรีขนาดใหญ่ได้ดีกว่า คุณกำลังเลือกโดยอิงจากตัวเลขที่ยังไม่มีใครเผยแพร่

ความเร็วที่คุณตรวจสอบได้ เทียบกับความเร็วที่คุณตรวจสอบไม่ได้

Cognition กล่าวว่า SWE-2 Flash ทำงานที่ประมาณ 200 โทเคนต่อวินาที เทียบกับ 60 ของ SWE-2 ตัวเลขนี้ได้มาจากการเล่นซ้ำทรานสคริปต์เซสชันที่ถูกย่อให้สั้นลงในอัตราที่จำลองขึ้น ไม่ได้มาจากการจับเวลาปลายทางที่ทำงานจริง มันเป็นการสาธิต ไม่ใช่การวัด และในปัจจุบันไม่มีทางใดที่คนนอก Cognition จะตรวจสอบได้

คำอ้างเรื่องทรูพุตของ Flint นั้นไม่สูงนักเมื่อเทียบกัน และพิสูจน์ว่าเป็นเท็จได้ง่ายกว่ามาก: ประมาณ 125 ถึง 131 โทเคนต่อวินาทีบน M4 Pro MacBook Pro และสูงกว่า 150 บน RTX Spark ที่มี 64 GB ค่าเหล่านี้วัดบนฮาร์ดแวร์ที่คุณซื้อได้ โดยผู้ที่เผยแพร่การกำหนดค่าไว้ มีรายงานว่าบิลด์ที่ควอนไทซ์ด้วย NVFP4 ให้ผลต่างภายในประมาณ 0.7 คะแนนจาก BF16 บนเบนช์มาร์ก ซึ่งเป็นคำอ้างแบบที่ชุมชนสามารถและจะทดสอบได้

จุดด้อยจริง ๆ หนึ่งอย่างที่ควรรู้: เส้นทาง GGUF เคยมีบั๊กเทมเพลตแชตใน llama.cpp และโมเดลนี้มีประวัติการใช้งานในชุมชนค่อนข้างน้อยเมื่อเทียบกับสิ่งใดก็ตามจากแล็บใหญ่ ผู้ใช้กลุ่มแรก ๆ กำลังช่วยกันดีบักอยู่

แต่ละตัวเลือกต้องแลกมาด้วยอะไรจริง ๆ

Flint v1.0 ดาวน์โหลดได้ฟรี และมีค่าใช้จ่ายเท่ากับต้นทุนการทำ inference ของคุณ โมเดลขนาด 39.8B ที่มีพารามิเตอร์ทำงาน 2.5B จะรันบนแล็ปท็อปสเปกดีได้ด้วยความเร็วที่ใช้งานได้จริง ซึ่งนั่นคือจุดประสงค์ทั้งหมดของสถาปัตยกรรมนี้ ต้นทุนในการนำไปใช้คือด้านปฏิบัติการ: คุณต้องดูแลสแตกการให้บริการ การเลือกใช้ควอนไทเซชัน และโหมดความล้มเหลวต่าง ๆ ด้วยตนเอง

SWE-2 Flash ไม่มีค่าใช้จ่ายจนถึงวันที่ 30 พฤศจิกายน 2026 และหลังจากนั้นจะมีค่าใช้จ่ายเป็นจำนวนที่ไม่ทราบ เนื่องจาก Cognition เผยแพร่เป็นอัตราส่วน — หนึ่งในห้าของราคา SWE-2 — แทนที่จะเป็นอัตราค่าบริการ หากกระบวนการวางแผนของทีมคุณต้องการตัวเลขสำหรับใส่ในสเปรดชีต นั่นคือประเด็นที่ขัดขวาง ไม่ใช่ช่องว่างของ benchmark

วันนี้ยังไม่มีโมเดลใดในสองโมเดลนี้อยู่ในแคตตาล็อกของ OrcaRouter และเราจะไม่เสนอเป็นอย่างอื่น สิ่งที่มีประโยชน์ในการเปรียบเทียบครั้งนี้ไม่ใช่การเลือกเส้นทางระหว่างสองโมเดลนี้ แต่เป็นการวัดประสิทธิภาพของตัวเลือกอื่น ๆ ที่อยู่รอบ ๆ: มีโมเดลมากกว่า 200 โมเดลอยู่หลังคีย์ OrcaRouter เพียงคีย์เดียวโดยมีมาร์กอัป 0% เหนือราคาลิสต์ของผู้ให้บริการ ซึ่งทำให้การรันงานในรีโพซิทอรีเดียวกันผ่านผู้สมัครหลายสิบตัวเป็นเพียงการเปลี่ยนสตริงเพียงหนึ่งค่า เมื่อคุณกำลังตัดสินใจเลือกระหว่างสองโมเดลที่ฝ่ายหนึ่งเผยแพร่ฮาร์เนสของตนแล้ว แต่อีกฝ่ายยังไม่ได้เผยแพร่ การประเมินของคุณเองมีค่ามากกว่าตารางของผู้ขายไม่ว่าจะฝ่ายใด

ใครควรเลือกอันไหน

เลือก Flint v1.0 หากคุณต้องการweights หากข้อจำกัดของคุณคือการเก็บข้อมูลในประเทศ การทำงานแบบออฟไลน์ การfine-tuning หรือค่าใช้จ่ายต่อโทเคนที่ไม่ขึ้นอยู่กับการตัดสินใจด้านราคาของบริษัทอื่น ช่องว่าง 34 คะแนนใน Terminal-Bench ก็เป็นราคาที่คุณอาจยินดีจ่าย และบริบท 262K ของ Flint พร้อมฮาร์เนสที่เผยแพร่แล้วทำให้คุณได้โมเดลที่สามารถใช้เหตุผลวิเคราะห์ได้ แทนที่จะเป็นกล่องดำ

เลือก SWE-2 Flash หากคุณอยู่ใน Devin อยู่แล้วและช่วงเวลาฟรีนั้นเพียงพอที่จะตอบคำถามของคุณ มันเป็นโมเดลที่ทำงานได้ดีกว่าในแถวเดียวที่ทั้งสองบริษัทวัด โดยมีส่วนต่างที่ชัดเจน และลองได้ฟรีจนถึงสิ้นเดือนพฤศจิกายน

สิ่งที่ไม่มีใครควรทำคือเลือกอันใดอันหนึ่งโดยอาศัยตัวเลข SWE-bench Pro เพียงอย่างเดียว 89.7 กับ 89.9 ไม่ใช่การทดสอบเดียวกัน และความแตกต่างระหว่างสองตัวเลขนั้นเล็กกว่าความแตกต่างระหว่างตัวเลขใดตัวเลขหนึ่งกับสิ่งที่รีโพซิทอรีของคุณจะสร้างออกมา�จริง