AlphaProof Code กับ SWE-2: สองระบบเอเจนต์ สองแนวคิดเรื่องการพิสูจน์ที่แตกต่างกันโดยสิ้นเชิง

ทั้ง AlphaProof Code และ Cognition SWE-2 ต่างเป็นระบบเอเจนต์ที่เขียนซอฟต์แวร์โดยอัตโนมัติ และทั้งคู่ถูกวางขายต่อสาธารณะบนคำว่า "agent" นอกเหนือจากนั้น การเปิดตัวทั้งสองแทบจะไม่ได้อยู่ในจักรวาลเดียวกันเลย Cognition SWE-2 ซึ่งประกาศเมื่อกันยายน 2026 และมีให้ใช้เฉพาะภายใน Devin Desktop และ CLI นั้นเขียนแพตช์ โดยทำคะแนนได้ 50.0% บน FrontierCode 1.1 Main ห่างจาก Claude Fable 5.1 ที่ 50.9% อยู่ภายในหนึ่งจุด โดยใช้เงินน้อยลง 64% ตามตัวเลขของ Cognition เอง ส่วน AlphaProof Code ซึ่ง G​oogle DeepMind ประกาศเมื่อวันที่ 10 พฤศจิกายน 2026 นั้นเขียนบทพิสูจน์ นั่นคือโค้ด Lean ราว 6.5 ล้านบรรทัดที่ยืนยันว่าไบนารี AArch64 ที่คอมไพล์แล้วของ Signal เป็นไปตามทฤษฎีบทด้านความปลอดภัยสิบข้อ โดยตรวจสอบด้วยเคอร์เนลของ Lean แทนที่จะใช้เกณฑ์การให้คะแนน ผลลัพธ์ของระบบหนึ่งอาจผิดพลาดในลักษณะที่ผู้ตรวจสอบที่เป็นมนุษย์อาจจับได้ ส่วนผลลัพธ์ของอีกระบบหนึ่งผิดไม่ได้เลย — หรือไม่ก็เคอร์เนลปฏิเสธมันแล้วงานก็ดำเนินต่อไป

"ถูกต้อง" มีความหมายที่แตกต่างกันสองอย่าง

เริ่มจากคำนั้นก่อน เพราะนี่คือจุดที่การเปรียบเทียบระหว่างสองสิ่งนี้ผิดพลาด เมื่อ Cognition รายงานว่า SWE-2 resolved งานใน FrontierCode 1.1 Main ได้ 50.0% คำว่า "resolved" หมายความว่ามีการสร้างแพตช์ที่กระบวนการให้คะแนนยอมรับว่าสามารถ merge ได้ งานของ FrontierCode ถูกเขียนขึ้นโดยผู้ดูแลโอเพนซอร์สมากกว่า 20 คน โดยใช้เวลามากกว่า 40 ชั่วโมงต่องาน และผู้ดูแลแต่ละคนเป็นผู้กำหนดว่า "mergeable" หมายถึงอะไรในรีโพซิทอรีของตนเอง นั่นคือการออกแบบการประเมินที่จริงจัง และยังคงเป็นการตัดสินของมนุษย์เกี่ยวกับ diff อยู่ดี

เมื่อ DeepMind รายงานว่ามีการพิสูจน์ทฤษฎีบทหนึ่งสำหรับ libsignal v0.105.4 คำว่า "พิสูจน์แล้ว" หมายความว่าเคอร์เนลของ Lean ยอมรับการอนุมานจากข้อกำหนด ไม่มีผู้ตรวจสอบที่มีความเห็นส่วนตัว เอเจนต์ผู้เฝ้าประตูตรวจสอบแต่ละผลงานที่ส่งเข้ามาด้วยตัวเปรียบเทียบเทียบกับสำเนาข้อกำหนดที่เก็บแยกไว้ และ Lean ตรวจสอบส่วนที่เหลือ ซึ่งเป็นเหตุผลว่าทำไมทีมนักวิจัยห้าคนจึงสามารถปล่อยให้ 99% ของฐานโค้ดไม่ได้รับการตรวจสอบจากมนุษย์ และยังคงกล่าวอ้างเกี่ยวกับมันทั้งหมดได้

ความแตกต่างนั้นเป็นตัวกำหนดว่าแต่ละระบบเก่งด้านใด SWE-2 เขียนโค้ดได้ ส่วน AlphaProof Code ไม่สามารถเขียนโค้ดสำหรับใช้งานจริงและไม่ได้พยายามทำเช่นนั้น มันแสดงให้เห็นว่าโค้ดที่คนอื่นเขียนทำงานตามที่กำหนดไว้ และยังแสดงให้เห็นว่าเวอร์ชันที่จงใจทำให้เสียไม่ได้ทำตามที่กำหนด — บั๊ก Signal ที่ถูกนำกลับมาสองตัว คือบั๊กสถานะอ่อนแอและบั๊กกลุ่มย่อยขนาดเล็ก ทั้งคู่สร้างบทพิสูจน์ความไม่ปลอดภัยที่เครื่องตรวจสอบแล้ว

ในจุดที่ทั้งสองเหมือนกันอย่างแท้จริง

มากกว่าที่คุณคาดไว้ และส่วนที่น่าสนใจคือความคล้ายคลึงกัน ทั้งสองอย่างมีค่าใช้จ่ายสูงในการรัน AlphaProof Code ใช้ทีมเอเจนต์ 40 ถึง 80 ตัว ซึ่งทำงาน 24 ถึง 72 ชั่วโมงบนเครื่องเดียวต่อทีม ตลอดสี่สัปดาห์ โดยมีเอเจนต์ผู้กำกับดูแลอยู่เหนือตัวจัดการทีม และมีเอเจนต์ที่ตรวจสอบเอาต์พุตของตนเองเพื่อตั้งค่าสถานะประมาณ 1% สำหรับการตรวจทานโดยมนุษย์ ต้นทุนของ SWE-2 ไม่ได้เผยแพร่ต่อโทเคนเพราะ Cognition ไม่ได้ขายโทเคน ราคาคือการสมัครสมาชิก Devin และข้อกล่าวอ้างว่าถูกกว่า 64% เป็นการเปรียบเทียบกับ Claude Fable 5.1 ในราคาตามรายการ

ทั้งสองใช้โมเดลฐานประเภทเดียวกัน SWE-2 เป็นโมเดลที่ผ่านการฝึกหลังการฝึก (post-train) ของ Kimi K3 จาก Moonshot AI ซึ่งเป็นสถาปัตยกรรม mixture-of-experts ขนาด 2.8 ล้านล้านพารามิเตอร์ โดยมีพารามิเตอร์ที่ใช้งานราว 104B ต่อโทเคน และ Cognition กล่าวว่าการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ของตนเพิ่มคะแนน 5 ถึง 6 คะแนนในหลายเบนช์มาร์ก เอเจนต์พิสูจน์ของ AlphaProof Code ขับเคลื่อนด้วย Gemini 4 Carbon และ Claude Opus 5.5 เป็นหนึ่งในโมเดลที่ใช้ร่างและตรวจทานข้อกำหนด Lean ของ Signal ทั้งสองห้องแล็บไม่ได้สร้างเอเจนต์ของตนขึ้นมาทั้งหมดตั้งแต่ต้น

ทั้งสองระบบต้องอาศัยตัวตรวจสอบ (verifier) เพื่อรู้ว่างานเสร็จแล้วหรือไม่ ตัวตรวจสอบของ Cognition คือชุดการทดสอบและวิจารณญาณของผู้ดูแลที่ถูกฝังไว้ใน FrontierCode ส่วนตัวตรวจสอบของ DeepMind คือแกนพิสูจน์ ตัวตรวจสอบคือจุดที่กำหนดเพดานของแต่ละระบบ และนั่นคือประโยคที่ควรค่าที่จะจดจำจากบทความทั้งสองฉบับ

ปัญหาความซื่อตรงของ benchmark แบบวางเทียบกัน

AlphaProof Code ไม่มีตาราง benchmark ดังนั้นข้อควรระวังตามปกติเกี่ยวกับตัวเลขจากผู้จำหน่ายจึงใช้ไม่ได้กับมัน — มันมีทฤษฎีบทแทน และทฤษฎีบทก็เป็นไบนารี สิ่งที่มันมีคือชุดการยกเว้นเชิงโครงสร้าง ไม่มีการรับประกันแบบหลังควอนตัมสำหรับคุณสมบัติการฟื้นตัวของ SPQR เพราะทฤษฎีบทแรตเช็ตสมมติว่าผู้โจมตีเป็นผู้เลือกคีย์ SPQR ไม่มีความเป็นส่วนตัวของเพย์โหลด ไม่มีการยืนยันตัวตนของผู้ตอบสำหรับข้อความแรกของแฮนด์เชกที่ไม่เคยถูกเลื่อนระดับ หนึ่งเซสชันต่อการเลื่อนระดับหนึ่งครั้ง ความยาวข้อความคงที่ ไม่มีสถานะหลายอุปกรณ์ คีย์ระบุตัวตนแบบ trust-on-first-use พจน์การปลอมแปลง MAC ขนาด 8 ไบต์ ซึ่งเติบโตแบบกำลังสองและกลายเป็นไม่มีความหมายที่ประมาณ 25,000 ข้อความภายในเซสชันเดียว รูทีน 37 รายการที่ใช้ข้อกำหนดแบบสัญญาแทนการตรวจสอบยืนยัน รวมถึง AES-256-CBC, X25519, Kyber1024 และ ML-KEM-768 และหัวข้อคือบิลด์ libsignal-cli ของทีมในฐานะโปรเซสใหม่ ไม่ใช่แอป Signal

ข้อควรระวังของ SWE-2 เป็นเรื่องเชิงสถิติมากกว่าเชิงโครงสร้าง และข้อที่คมชัดที่สุดคือความสามารถในการขยายตัวตามความยาวของงาน เมื่อเปลี่ยนจาก Terminal-Bench 2.1 เป็น Terminal-Bench 4 Claude Fable 5.1 สูญเสียไปประมาณ 35.6 คะแนน และ GPT-6 Astra ประมาณ 32.0 ส่วน SWE-2 สูญเสียประมาณ 65.5 และฐาน Kimi K3 ของมันประมาณ 66.8 — ดังนั้นในงานระยะยาว มันเสื่อมประสิทธิภาพลงเร็วราวสองเท่าของโมเดลแนวหน้าทั้งหลายที่ถูกนำมาเปรียบเทียบด้วย Terminal-Bench 4 คือฉบับปัจจุบัน และ 2.1 คือฉบับที่ถูกแทนที่แล้ว ซึ่งหมายความว่าแถวที่ SWE-2 นำอยู่คือเบนช์มาร์กที่เลิกใช้แล้ว ส่วนแถวที่มันตามหลังอยู่คือฉบับที่ยังใช้งานอยู่

รายงานทั้งสองฉบับตรงไปตรงมาอย่างผิดปกติเมื่อเทียบกับมาตรฐานของโพสต์เปิดตัว ความแตกต่างอยู่ที่ความตรงไปตรงมานั้นมีต้นทุนเท่าใด การตัดออกของ DeepMind ทำให้ข้อกล่าวอ้างแคบลงแต่ยังคงเป็นจริง การตัดออกของ Cognition จำกัดขอบเขตการนำข้อกล่าวอ้างไปใช้ และผู้อ่านต้องตัดสินใจว่าคะแนน 27.3% บนเกณฑ์วัดระยะยาวปัจจุบันมีความสำคัญต่อภาระงานของตนหรือไม่

ปริมาณที่เสิร์ฟ ราคา และสิ่งที่ทั้งสองรายไม่ได้ขายให้คุณ

• AlphaProof Code — เฟรมเวิร์กสำหรับงานวิจัย ไม่มี endpoint ให้เรียกใช้ ไม่มี weights ไม่มีราคา ไม่มีรายชื่อผู้รอ (waitlist) สิ่งที่เผยแพร่ออกมาคืองานพัฒนาในภาษา Lean ที่ github.com/google-deepmind/code-verification โดยไม่ได้ระบุสัญญาอนุญาตไว้บนหน้าแลนดิ้งเพจ

• Cognition SWE-2 — เป็นซอฟต์แวร์เฉพาะทาง (proprietary) ที่ใช้ได้เฉพาะกับ Devin เท่านั้น ไม่มีตารางอัตราค่าบริการต่อโทเคนที่เผยแพร่ ไม่มี ID โมเดลให้เรียกใช้ และไม่มีน้ำหนักโมเดล หากคุณต้องการ SWE-2 คุณต้องซื้อ Devin

• โมเดลพื้นฐาน — Kimi K3 อยู่ในแคตตาล็อกของ OrcaRouter ในราคา 3 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 15 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต โดยราคาตามรายการของผู้ให้บริการถูกส่งผ่านโดยมีมาร์กอัป 0% Claude Opus 5.5 ซึ่งเป็นหนึ่งในโมเดลที่ใช้ร่างข้อกำหนดของ Signal อยู่ที่ 4 และ 20 ดอลลาร์ Gemini 4 Carbon ซึ่งขับเคลื่อนเอเจนต์พิสูจน์ของ AlphaProof Code ไม่ใช่สิ่งที่เราให้บริการ และไม่มีข้อมูลใดในที่นี้ที่บ่งชี้ว่าเราโฮสต์ AlphaProof Code เอง

บรรทัดที่สามเป็นส่วนเดียวของการเปรียบเทียบนี้ที่มีบิลแนบมาซึ่งคุณสามารถจ่ายได้วันนี้ หากคุณกำลังสร้างเวิร์กโฟลว์การเขียนโค้ดแบบเอเจนต์ ตัวเลือกในทางปฏิบัติไม่ใช่ระหว่างสองระบบนี้ — แต่เป็นระหว่างโมเดลที่อยู่เบื้องหลัง และทั้ง Kimi K3 และ Claude Opus 5.5 ห่างเพียงคีย์เดียวด้วยการสลับไปใช้ระบบสำรองอัตโนมัติหากผู้ให้บริการเกิดปัญหาขัดข้องชั่วคราว DSL สำหรับกำหนดเส้นทางช่วยให้คุณส่งงานเดียวกันไปยังสองโมเดลนั้นและเปรียบเทียบ diff ก่อนที่ตัวใดตัวหนึ่งจะแตะต้องรีโพซิทอรี

โหมดความล้มเหลวแบบใดที่คุณรับได้

SWE-2 ล้มเหลวโดยสร้างแพตช์ที่คอมไพล์ไม่ได้ หรือคอมไพล์ได้แต่ผิด หรือถูกต้องแต่ merge ไม่ได้ ความล้มเหลวแต่ละกรณีเหล่านี้ตรวจพบได้โดยการอ่าน diff หรือรันเทสต์ และแต่ละกรณีทำให้คุณเสียรอบการรีวิวไปหนึ่งรอบ ระบบถูกออกแบบโดยยึดสิ่งนี้: Cognition รายงาน best-of-N ในการตั้งค่าระดับความพยายามในการใช้เหตุผลต่าง ๆ ซึ่งเป็นสิ่งที่คุณทำเมื่อเอาต์พุตมีความเป็นไปได้เชิงความน่าจะเป็น

AlphaProof Code ล้มเหลวโดยไม่สร้างบทพิสูจน์ ณ จุดนั้นเอเจนต์ยังคงทำงานต่อไป — เป็นชั่วโมง บางครั้งหลายวัน โดยมีการบิลด์ที่สะอาดซึ่งอาจใช้เวลาหลายชั่วโมง และการซ่อมแซมบทพิสูจน์ที่ถูกกระตุ้นด้วยการเปลี่ยนแปลงซอร์สโค้ดเพียงบรรทัดเดียว บทความกล่าวว่ามี "ช่องว่างมากมายสำหรับการปรับให้เหมาะสม" ทั้งในบทพิสูจน์ที่สร้างขึ้นและในเทคนิค ซึ่งเป็นวิธีพูดแบบสุภาพว่ากระบวนการนี้ช้าและเปราะบาง แต่เมื่อมันสำเร็จ กลับไม่มีรอบการตรวจสอบเลย เพราะไม่มีอะไรให้ตรวจสอบ Lean ตรวจสอบและยอมรับแล้ว

สำหรับทีมที่ต้องส่งฟีเจอร์ในวันพฤหัสบดี การแลกเปลี่ยนนั้นชัดเจน และ SWE-2 ชนะในเรื่องนี้ สำหรับทีมที่ต้องส่งโปรโตคอลการเข้ารหัสที่จะปกป้องบทสนทนาไปอีกทศวรรษ หมวดหมู่ทั้งหมดของ SWE-2 ถือเป็นเครื่องมือที่ผิด และข้อเท็จจริงที่ว่ามันได้คะแนน 92.8% บน Terminal-Bench 2.1 ก็ไม่เกี่ยวข้อง

อะไรจะทำให้สิ่งเหล่านี้เปรียบเทียบกันได้จริง ๆ

ประการหนึ่ง: เกณฑ์วัดผลที่วัดว่าผลลัพธ์ของเอเจนต์เป็นถูกต้องหรือไม่ แทนที่จะวัดว่ามันเป็นที่ได้รับการยอมรับหรือไม่ FrontierCode ประมาณค่านี้ด้วยความสามารถในการ merge ที่ผู้ดูแลกำหนด ซึ่งใกล้เคียงที่สุดเท่าที่การสร้างโค้ดเคยทำได้ AlphaProof Code หลีกเลี่ยงเรื่องนี้ทั้งหมดโดยเลือกโดเมนที่เคอร์เนลสามารถตัดสินได้ หากมีคนสร้างชุดงานที่คำตอบที่ถูกต้องตรวจสอบได้เชิงกลไกเทียบกับข้อกำหนด — ไม่ใช่ชุดทดสอบ แต่เป็นข้อกำหนด — ระบบทั้งสองก็จะถูกให้คะแนนบนแกนเดียวกันได้ และการเปรียบเทียบก็จะมีความหมาย

จนถึงตอนนั้น การตีความที่มีประโยชน์ก็แคบลง AlphaProof Code บอกคุณว่าทีมห้าคนที่มีเครื่องมือแบบเอเจนต์สามารถสร้างชุดพิสูจน์ที่เคยใช้เวลาหลายปี ซึ่งเป็นข้อความเกี่ยวกับต้นทุนของการตรวจสอบ SWE-2 บอกคุณว่าโมเดลฐานแบบ open-weight ที่ผ่านการฝึกเพิ่มเติมสามารถทำคะแนนได้ห่างจากแนวหน้าไม่เกินหนึ่งจุดบนเบนช์มาร์กการเขียนโค้ด ด้วยต้นทุนที่ต่ำลง 64% ซึ่งเป็นข้อความเกี่ยวกับต้นทุนของการเขียนโค้ด ต้นทุนทั้งสองกำลังลดลง พวกมันลดลงในอัตราที่ต่างกัน ด้วยเหตุผลที่ต่างกัน และบอร์ดจัดอันดับที่นำมันมาไว้ในตารางเดียวกันจะโกหกคุณ

ถ้าต้องการข้อสรุปที่นำไปใช้ได้จริง: ให้ใช้ระบบที่มีโครงแบบ SWE-2 กับโค้ดที่ชุดทดสอบใช้เป็นเกณฑ์ตัดสินได้ และเริ่มอ่านที่เก็บอาร์ติแฟกต์ AlphaProof Code หากคุณมีโค้ดที่ชุดทดสอบใช้เป็นเกณฑ์ตัดสินไม่ได้ หมวดที่สองมีขนาดเล็กกว่าที่ทีมส่วนใหญ่คิด และมีนัยสำคัญมากกว่าที่ทีมเหล่านั้นยอมรับ