
MAI Code 2 กับ SWE-2: สองเบนช์มาร์กชุดเดียวกัน แต่มีเพียงฝ่ายเดียวเท่านั้นที่เผยแพร่
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 180 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 223 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 89 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 98 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
MAI Code 2 และ SWE-2 ระบุชื่อ benchmark เกือบจะเหมือนกันทุกประการในเอกสารเปิดตัว และมีเพียงตัวเดียวเท่านั้นที่บอกคุณว่ามันได้คะแนนเท่าไร โพสต์ของ Microsoft เมื่อวันที่ 17 พฤศจิกายน 2026 ระบุรายชื่อ DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas และ FrontierCode v1.1 แล้วรายงานเป็นอัตราส่วน: 96% ของประสิทธิภาพของ Claude Opus 5.5 ในต้นทุน 5% โพสต์ SWE-2 ของ Cognition ซึ่งเผยแพร่เมื่อวันที่ 10 กันยายน 2026 ระบุรายชื่อสอง benchmark แรกเดียวกันและพิมพ์ตัวเลขสำหรับแต่ละตัว: 73.0% บน DeepSWE 1.1, 92.8% บน Terminal-Bench 2.1, 27.3% บน Terminal-Bench 4.0 ตัวเลขตัวที่สามนั้นคือสิ่งที่ควรจดจำ เพราะเป็นฉบับที่ Microsoft ไม่ได้รายงาน — และมันแสดงให้เห็นว่าเกิดอะไรขึ้นกับโมเดลเขียนโค้ดเมื่อ benchmark ด้าน terminal ยากขึ้น
ทั้งสองโมเดลยังมีข้อจำกัดด้านการเผยแพร่ร่วมกันซึ่งทำให้ทั้งคู่ผิดปกติในกลุ่มนี้: ไม่มีโมเดลใดมี API แบบคิดตามโทเค็นสาธารณะ MAI Code 2 เข้าถึงได้โดยเลือกในไคลเอนต์ GitHub Copilot SWE-2 ทำงานภายใน Devin สองโมเดลที่คุณไม่สามารถเรียกใช้จากโค้ดของคุณเองได้ โดยหนึ่งในนั้นเผยแพร่ตัวเลขของตน
รุ่นมาตรฐานที่ไม่มีใครหยิบมาเป็นจุดนำเสนอ
ตารางของ Cognition คือชิ้นงานที่มีประโยชน์ที่สุดที่ผู้จำหน่ายทั้งสองรายได้เผยแพร่ออกมา และไม่ใช่เพราะ SWE-2 ชนะอะไรบนตารางนั้น มันมีประโยชน์เพราะมันแสดงให้เห็นโมเดลเดียวกันที่ถูกวัดบนสองฉบับของ benchmark เดียวกัน
• Terminal-Bench 2.1 — SWE-2 อยู่ที่ 92.8% เทียบกับ 91.4% ของ Claude Fable 5.1, 89.9% ของ GPT-6 Astra และ 88.3% ของ Kimi K3
• Terminal-Bench 4.0 — SWE-2 อยู่ที่ 27.3% เทียบกับ 55.8% สำหรับ Claude Fable 5.1, 57.9% สำหรับ GPT-6 Astra และ 21.5% สำหรับ Kimi K3
• DeepSWE 1.1 — SWE-2 ที่ 73.0% เทียบกับ 74.1% สำหรับ GPT-6 Astra, 72.7% สำหรับ GPT-5.6 Sol และ 67.4% สำหรับ Claude Fable 5.1
• FrontierCode 1.1 Main — SWE-2 ที่ 50.0% เทียบกับ 53.3% สำหรับ GPT-6 Astra และ 50.9% สำหรับ Claude Fable 5.1
อ่านสองบรรทัดแรกควบคู่กัน SWE-2 อยู่อันดับสองบน 2.1 และเป็นรองสุดท้ายบน 4.0 ซึ่งลดลงราว 65 คะแนน และไม่ใช่แค่ตัวเดียว: Kimi K3 ลดลง 67 คะแนนในคู่เดียวกัน โมเดลที่ยังทำได้ดีคือโมเดลที่ปรับแต่งมาเพื่องานระยะยาว นี่ไม่ใช่ความแปลกประหลาดของฮาร์เนสของแล็บใดแล็บหนึ่ง — แต่เป็นเพราะฉบับของเบนช์มาร์กยากขึ้น และนี่คือเหตุผลที่ว่า "เราได้รัน Terminal Bench 2.1" เป็นข้อกล่าวอ้างที่หนักแน่นน้อยกว่าในเดือนพฤศจิกายน 2026 เมื่อเทียบกับเดือนกันยายน
Microsoft รัน Terminal Bench 2.1 แต่ไม่ได้เผยแพร่คะแนนใด ๆ สำหรับการทดสอบนี้ Microsoft ไม่ได้เผยแพร่ข้อมูลใด ๆ เกี่ยวกับ 4.0 ข้อเท็จจริงทั้งสามนี้เมื่อรวมกันหมายความว่าผู้ซื้อไม่สามารถระบุได้ว่า MAI Code 2 เป็นโมเดลเขียนโค้ดประเภทใด: ประเภทที่ยังคงทำได้ดีเมื่องานในเทอร์มินัลยาวขึ้น หรือประเภทที่ไม่ได้เป็นเช่นนั้น
สิ่งที่ผู้ขายแต่ละรายเปิดเผยจริง ๆ
ช่องว่างด้านการเปิดเผยข้อมูลกว้างยิ่งกว่าราคาของโมเดลเสียอีก ดังนั้นจึงควรกล่าวให้ชัดเจน
Cognition เผยแพร่ตารางเจ็ดโมเดลพร้อมเบนช์มาร์กสี่รายการ ชุดการเปรียบเทียบที่ระบุไว้อย่างชัดเจน หมายเหตุว่าโมเดลคู่แข่งถูกทดสอบใน CLI ของ Cognition เองที่ความพยายามด้านการให้เหตุผลสูงสุดของแต่ละโมเดล และการเปิดเผยอย่างตรงไปตรงมาเกี่ยวกับสิ่งหนึ่งที่ถูกตัดออก: Claude Fable 5.1 ที่ความพยายามสูงสุดทำคะแนนได้ 50.3% บน FrontierCode ด้วยต้นทุน $12.83 ต่องาน ซึ่งต่ำกว่าผลลัพธ์ที่ความพยายามระดับปานกลางของตัวเอง จึงถูกตัดออกจากแผนภูมิ ผู้ขายที่บอกคุณว่าจุดข้อมูลใดถูกนำออกไปคือผู้ขายที่มอบเครื่องมือให้คุณใช้ลดความน่าเชื่อถือของตารางนั้น
Microsoft เผยแพร่ชื่อแบบทดสอบมาตรฐาน ฮาร์เนสอย่าง MSBench ซึ่งเป็นแพลตฟอร์มประเมินภายในของบริษัท ผ่าน GitHub Copilot CLI โดยปิดใช้งานเอเจนต์ย่อยและตั้งทุกโมเดลให้ใช้ความพยายามในการใช้เหตุผลสูงสุด พร้อมทั้งเผยแพร่อัตราส่วนที่แบบทดสอบมาตรฐานเหล่านั้นเฉลี่ยออกมา แต่ไม่ได้เผยแพร่อัตราการผ่านของ MAI Code 2 ในแบบทดสอบทั้งสี่รายการใดเลย ไม่ได้ระบุจำนวนพารามิเตอร์ ไม่ได้ระบุเพดานเอาต์พุต และไม่มีตารางเปรียบเทียบกับคู่แข่งที่ระบุชื่อ นอกเหนือจากอัตราส่วนสองรายการนั้น ณ วันที่ 18 พฤศจิกายน 2026 Artificial Analysis ยังไม่มีแถวข้อมูลสำหรับโมเดลนี้ จึงไม่มีข้อมูลจากบุคคลที่สามมาใช้แทนได้
หนึ่งในการเปิดเผยเหล่านี้ช่วยให้คุณทำซ้ำกระบวนการให้เหตุผลได้ ส่วนอีกอันขอให้คุณยอมรับข้อสรุป
โมเดลทั้งสองไม่ใช่เอนด์พอยต์ และนั่นทำให้การตัดสินใจซื้อเปลี่ยนไป
SWE-2 ไม่มีราคาต่อโทเคนที่เผยแพร่ต่อสาธารณะ และไม่มี API สาธารณะ โพสต์ของ Cognition ระบุว่าพร้อมใช้งานใน Devin Desktop และ CLI โดยจะทยอยเปิดให้ใช้ใน Devin Web และ Fusion ต่อไป และตัวเลขด้านค่าใช้จ่ายเดียวที่มีอยู่ในโพสต์นั้นคือต้นทุนการทดสอบ benchmark ต่องาน — เป็นตัวเลขประเภทที่คุณยกมาอ้างเพื่อแสดงว่าคู่แข่งมีราคาแพง ไม่ใช่ตัวเลขประเภทที่คุณใช้เรียกเก็บเงิน
MAI Code 2 มีตารางราคาเผยแพร่โดย GitHub: $0.50 ต่อล้านโทเค็นอินพุต, $0.025 สำหรับแคช, $2.50 เอาต์พุต, โปรโมชันถึง 17 พฤษภาคม 2027 จากนั้น $1.00 / $0.05 / $5.00 โดยไม่มี API ของตัวเอง MAI Code 2 Flash ซึ่งเป็นรุ่นน้องที่เล็กกว่า เป็นโมเดลเดียวในตระกูลที่มี API ดังกล่าว — พรีวิวแบบจำกัดการเข้าถึงใน Microsoft Foundry ผ่าน Responses API ที่เข้ากันได้กับ OpenAI
• ราคา — MAI Code 2 อยู่ที่ $0.50 / $0.025 / $2.50 ต่อล้านโทเค็น โปรโมชันถึง 17 พฤษภาคม 2027 เทียบกับ SWE-2 ที่ไม่มีราคาต่อโทเค็นเผยแพร่
• การเข้าถึง — สิทธิ์การใช้งาน GitHub Copilot ครอบคลุม Pro, Pro+, Max, Business และ Enterprise เทียบกับการสมัครสมาชิก Devin ใน Desktop และ CLI
• น้ำหนัก — ไม่กระจายไปทั้งสองด้าน
• บริบท — ไม่มีตัวเลขบริบทที่เผยแพร่สำหรับ SWE-2 เมื่อเทียบกับ 1 ล้านโทเคนบน MAI Code 2 ซึ่งมีให้ใช้เฉพาะใน Visual Studio Code และ Copilot CLI
• คะแนน benchmark ที่เผยแพร่แล้ว — ไม่มีสำหรับ MAI Code 2 เทียบกับสี่รายการสำหรับ SWE-2
• แถวดัชนีอิสระ — ไม่มีโมเดลใดมีแถวดังกล่าว
ผลลัพธ์ในทางปฏิบัติคือ การซื้อทั้งสองแบบเป็นการซื้อแบบที่นั่ง (seat) ไม่ใช่การซื้อแบบโทเคน และมีเพียงแบบเดียวเท่านั้นที่มาพร้อมมิเตอร์ที่คุณนำไปสร้างแบบจำลองได้ หากทีมการเงินของคุณต้องการต้นทุนต่อหน่วย MAI Code 2 ให้ข้อมูลนั้นแก่คุณ แต่ SWE-2 ไม่ได้ให้ หากทีมวิศวกรรมของคุณต้องการทราบว่าโมเดลปรับปรุงบนรีโพซิทอรีของคุณหรือไม่ SWE-2 ให้ตารางเปรียบเทียบแก่คุณ และ MAI Code 2 ให้ค่าอัตราส่วนแก่คุณ

สิ่งที่แต่ละโมเดลถูกสร้างขึ้นมาเพื่อทำ
บรีฟของ Microsoft สำหรับ MAI Code 2 คืองานองค์กรในชีวิตประจำวัน ได้แก่ การนำโค้ดขึ้นสู่โปรดักชัน การดีบักเชิงลึก การพัฒนาหลายไฟล์ การให้เหตุผลครอบคลุมทั้งรีโป UI และแดชบอร์ด โพสต์เปิดตัวยอมรับตรงๆ ว่าโมเดลเหล่านี้ "ยังไม่ได้รับการปรับแต่งอย่างชัดเจนสำหรับปัญหาที่ยากขึ้น เช่น การวิจัยวิทยาศาสตร์พื้นฐานและงานแบบเอเจนต์ที่มีขอบเขตเวลายาวนานมาก" — ประโยคที่ดูขัดๆ เมื่ออยู่ข้างข้อกล่าวอ้าง Terminal Bench 2.1 เพราะ Terminal-Bench คือเบนช์มาร์กแบบเอเจนต์ที่มองขอบเขตเวลายาว การวางตำแหน่งของ Microsoft เองระบุว่าไม่ได้ปรับแต่งสำหรับสิ่งที่เบนช์มาร์กนั้นวัด
โจทย์ของ Cognition สำหรับ SWE-2 ไปในทิศทางตรงกันข้าม: ขั้นตอนน้อยลง, การ rollout ถูกกว่า, โมเดลที่ออกแบบร่วมกับเอเจนต์ที่รันมัน โพสต์รายงานว่าค่าเฉลี่ยขั้นตอนต่อการรันลดลงเหลือ 53 บน SWE-2 medium เทียบกับ 127 สำหรับ SWE-1.7, โดย medium มีต้นทุนต่ำกว่า SWE-1.7 ถึง 81% และค่ามัธยฐาน 18 ขั้นตอนถึงการแก้ไขจริงครั้งแรก เทียบกับ 48 สิ่งเหล่านี้เป็นข้อกล่าวอ้างเชิงวิศวกรรมเกี่ยวกับประสิทธิภาพของเอเจนต์ และมีความสำคัญต่อผู้สมัครใช้บริการ Devin มากกว่าแถวผล benchmark ใด ๆ เพราะมันกำหนดว่าภารกิจหนึ่งจะใช้โควตารายเดือนไปมากเพียงใด
ดังนั้นโมเดลทั้งสองจึงถูกปรับแต่งให้สอดคล้องกับวัตถุประสงค์ที่แตกต่างกันอีกครั้ง: ตัวหนึ่งสำหรับงานในชีวิตประจำวันภายใน IDE อีกตัวหนึ่งสำหรับจำนวนขั้นตอนภายในเอเจนต์อัตโนมัติ ทั้งสองไม่ได้เป็นเวอร์ชันที่ดีกว่าของกันและกัน
จุดที่เราเตอร์พิสูจน์คุณค่าของตน เมื่อไม่มีโมเดลใดสามารถกำหนดเส้นทางได้
ทั้ง MAI Code 2 และ SWE-2 ไม่ได้อยู่ในแค็ตตาล็อกของ OrcaRouter และไม่มีวิธีใดที่ซื่อตรงจะบอกเป็นนัยเป็นอย่างอื่นได้: ตัวหนึ่งเป็นรายการในตัวเลือกโมเดลของ Copilot ส่วนอีกตัวอยู่ใน Devin สิ่งที่เลเยอร์การกำหนดเส้นทางเปลี่ยนไม่ใช่การเข้าถึงสองตัวนั้น แต่เป็นต้นทุนในการสร้างการเปรียบเทียบ ตัวควบคุมในการประเมินใด ๆ เกี่ยวกับสองตัวนั้นต้องเป็นโมเดลที่คุณเรียกใช้และวัดผลได้ — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — และ โมเดลเหล่านี้อยู่เบื้องหลังคีย์เดียวในราคาตามรายการของผู้ให้บริการ โดยมีมาร์กอัป 0% ดังนั้นการรันเบนช์มาร์กกับโมเดลเหล่านี้จึงคิดค่าบริการในอัตราของผู้ขายพอดี
สิ่งนี้สำคัญตรงนี้มากกว่าในการเปรียบเทียบส่วนใหญ่ เพราะคำถามที่น่าสนใจเกี่ยวกับทั้งสองโมเดลเป็นการเปรียบเทียบ: โมเดลเขียนโค้ดทั่วไปจะชนะโมเดลระดับแนวหน้าในเรื่องต้นทุนต่อการ merge บนโค้ดของคุณหรือไม่? คุณตอบคำถามนี้ไม่ได้ด้วยการอ่านตารางของผู้ขายสองตารางที่สร้างจากฮาร์เนสสองตัว คุณตอบได้ด้วยการรันโมเดลที่สามารถวัดผลได้เคียงข้างกับตัวใดตัวหนึ่งในสองตัวนี้ที่ทีมของคุณเข้าถึงได้จริง และนับงานที่เสร็จสิ้นแทนการนับโทเค็น การ failover อัตโนมัติคือสิ่งที่ทำให้การเปรียบเทียบนั้นดำเนินต่อไปได้เมื่อผู้ให้บริการจำกัดอัตราการใช้งานระหว่างการรัน และเนื่องจากราคาถูกส่งต่อในราคาตามรายการ ต้นทุนต่องานของกลุ่มควบคุมจึงไม่ถูกทำให้สูงเกินจริงโดยเลเยอร์ที่คุณใช้ในการวัด
ควรเลือกอันไหน โดยพิจารณาจากสิ่งที่คุณตรวจสอบได้
• ทีมของคุณใช้งาน Devin อยู่ และต้องการให้แต่ละ rollout มีจำนวนขั้นตอนน้อยลง — SWE-2 และตัวเลขจำนวนขั้นตอนและการลดต้นทุนในโพสต์ของ Cognition คือปัจจัยที่ใช้ตัดสินใจ
• ทีมของคุณใช้ Copilot และต้องการโทเคนราคาถูกสำหรับงานซ่อมตามปกติ — MAI Code 2 ในราคา $0.50 และ $2.50 โดยคำนวณจากอัตราเดือนพฤษภาคม 2027 ที่เพิ่มเป็นสองเท่า รวมถึงอัตราโปรโมชันด้วย
• คุณต้องอธิบายเหตุผลของตัวเลือกด้วยตัวเลข — SWE-2 เพราะมันเผยแพร่สี่รายการ ส่วนอีกโมเดลไม่เผยแพร่เลย
• คุณต้องทำงานแบบเอเจนต์ระยะยาว — ไม่ใช่ทั้งสองอย่าง เมื่อพิจารณาจากหลักฐานที่มีอยู่ Microsoft กล่าวว่าไม่ได้ปรับแต่งเพื่อสิ่งนั้น ตารางของ SWE-2 เองแสดงให้เห็นการทรุดตัว 65 จุดเมื่อ benchmark ยากขึ้น
• คุณจำเป็นต้องมีแบบจำลองต้นทุนต่อโทเคน — MAI Code 2 เนื่องจาก SWE-2 ไม่มีอัตราที่เผยแพร่สำหรับใช้สร้างแบบจำลอง

สิ่งที่ต้องจับตาคือ Microsoft จะเผยแพร่ตัวเลขที่ทำให้การเปรียบเทียบนี้เป็นจริงสักครั้งหรือไม่ อัตราการผ่าน Terminal Bench 2.1 ก็เพียงพอแล้ว อัตรา Terminal Bench 4.0 จะชี้ขาดได้ เพราะนั่นคือฉบับที่ตารางของ SWE-2 เองแสดงให้เห็นว่าโมเดลเขียนโค้ดมีหน้าตาอย่างไรเมื่องานยาวขึ้น จนกว่าจะมีสักตัวหนึ่ง MAI Code 2 ก็เป็นเพียงการ์ดอัตราที่แนบคำสัญญาไว้ และ SWE-2 ก็เป็นตารางที่แนบจำนวนสเต็ปไว้ และมีเพียงหนึ่งเดียวในสองสิ่งนี้เท่านั้นที่ตรวจสอบได้จากภายนอกผู้ขาย

การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
