AlphaProof Code לעומת SWE-2: שתי מערכות סוכניות, שתי תפיסות שונות לחלוטין של הוכחה

גם AlphaProof Code וגם Cognition SWE-2 הן מערכות סוכנים שכותבות תוכנה באופן אוטומטי, ושתיהן נמכרו לציבור על בסיס המילה "agent". מעבר לכך, שתי ההשקות בקושי מתקיימות באותו יקום. Cognition SWE-2, שהוכרז בספטמבר 2026 וזמין רק בתוך Devin Desktop וה-CLI, כותב טלאי קוד: הוא השיג 50.0% ב-FrontierCode 1.1 Main, בפער של פחות מנקודה מ-Claude Fable 5.1 עם 50.9%, תמורת 64% פחות כסף, לפי המספרים של Cognition עצמה. AlphaProof Code, שהוכרז על ידי Google DeepMind ב-10 בנובמבר 2026, כותב הוכחות: כ-6.5 מיליון שורות של Lean המוכיחות שהבינארי AArch64 המקומפל של Signal מקיים עשרה משפטי אבטחה, שנבדקו על ידי ה-kernel של Lean ולא לפי רובריקה. הפלט של מערכת אחת יכול להיות שגוי באופן שמבקר אנושי עשוי לתפוס. הפלט של האחרת לא יכול להיות שגוי כלל — או שה-kernel דוחה אותו והעבודה נמשכת.

"נכון" פירושו שני דברים שונים

התחילו מהמילה, כי שם ההשוואה בין השניים משתבשת. כאשר Cognition מדווחת ש-SWE-2 פתר 50.0% ממשימות FrontierCode 1.1 Main, פירושו של „פתר” הוא שנוצר פאץ’ שאותו תהליך הדירוג קיבל ככשיר למיזוג. המשימות של FrontierCode נכתבו עם יותר מ-20 מתחזקי קוד פתוח, ביותר מ-40 שעות לכל משימה, כאשר כל מתחזק מגדיר מה פירוש „כשיר למיזוג” במאגר שלו. זהו תכנון הערכה רציני, ועדיין מדובר בשיפוט אנושי לגבי diff.

כאשר DeepMind מדווחת שמשפט הוכח עבור libsignal v0.105.4, "הוכח" פירושו שהליבה של Lean קיבלה גזירה מהמפרט. אין מבקר בעל דעה. סוכן שומר הסף בודק כל הגשה עם משווה מול עותק מופרד של המפרט, ו-Lean בודקת את השאר — וכך צוות של חמישה חוקרים יכל להשאיר 99% מבסיס קוד ללא סקירה אנושית ועדיין לטעון טענה לגבי כולו.

ההבדל הזה קובע במה כל מערכת טובה. SWE-2 יכול לכתוב קוד. AlphaProof Code לא יכול לכתוב קוד פרודקשן ואינו מנסה; הוא מדגים שקוד שמישהו אחר כתב עושה את מה שהוגדר, והוא יכול גם להדגים שגרסה שנשברה בכוונה לא עושה זאת — שני באגי Signal שהוחזרו, באג מצב חלש ובאג תת-קבוצה קטנה, הניבו שניהם הוכחות אי-בטיחות שנבדקו במכונה.

כאשר השניים דומים באמת

יותר ממה שהייתם מצפים, וההקבלות הן החלק המעניין. הפעלת שניהם יקרה. AlphaProof Code השתמשה בצוותים של 40 עד 80 סוכנים שפעלו 24 עד 72 שעות על מכונה אחת לכל צוות, לאורך ארבעה שבועות, עם סוכן מפקח מעל מתאם הצוות וסוכנים שבודקים את הפלט של עצמם כדי לסמן כ-1% לבדיקה אנושית. העלות של SWE-2 אינה מפורסמת לפי טוקן משום ש-Cognition אינה מוכרת טוקנים; המחיר הוא מנוי Devin, והטענה על מחיר זול ב-64% היא השוואה מול Claude Fable 5.1 במחירי מחירון.

שתי המעבדות נשענות על אותו סוג של מודל בסיס. SWE-2 הוא מודל שעבר אימון המשך של Kimi K3 מבית Moonshot AI — מודל תערובת מומחים עם 2.8 טריליון פרמטרים, שבו כ-104 מיליארד פרמטרים פעילים לכל טוקן — וחברת Cognition אומרת שלמידת החיזוק שלו הוסיפה 5 עד 6 נקודות בכמה מבחני ייחוס. סוכני ההוכחה של AlphaProof Code הופעלו באמצעות Gemini 4 Carbon, ו-Claude Opus 5.5 היה בין המודלים ששימשו לניסוח ולבדיקה של מפרטי ה-Lean של Signal. אף אחת מהמעבדות לא בנתה את הסוכנים שלה מאפס.

שניהם תלויים במאמת כדי לדעת אם העבודה הושלמה. המאמתים של Cognition הם חבילות הבדיקות ושיקולי המתחזקים המקודדים ב-FrontierCode. המאמת של DeepMind הוא גרעין הוכחה. המאמת הוא המקום שבו נקבעת התקרה של כל מערכת, וזה המשפט שכדאי לזכור משני המאמרים.

בעיית היושר של הבנצ'מרק, זה לצד זה

ל-AlphaProof Code אין טבלת בנצ'מרק, ולכן ההסתייגויות הרגילות לגבי מספרי ספקים אינן חלות עליו — יש לו במקום זאת משפט, ומשפט הוא בינארי. מה שכן יש לו הוא קבוצה של החרגות מבניות. אין הבטחה פוסט-קוונטית לתכונת הריפוי של SPQR, משום שמשפטי הראצ'ט מניחים שהתוקף בוחר את מפתחות SPQR. אין פרטיות מטען. אין אימות משיב להודעה הראשונה של לחיצת יד שלעולם אינה מקודמת. סשן אחד לכל קידום, אורכי הודעה קבועים, אין מצב ריבוי-מכשירים, מפתחות זהות של trust-on-first-use. איבר זיוף MAC בגודל 8 בתים שגדל ריבועית והופך חסר משמעות בערך ב-25,000 הודעות בסשן בודד. שלושים ושבע שגרות שנקבעו בחוזה ולא אומתו, כולל AES-256-CBC, X25519, Kyber1024 ו-ML-KEM-768. והנושא הוא הבנייה של הצוות של libsignal-cli כתהליך חדש, לא אפליקציית Signal.

ההסתייגויות של SWE-2 הן סטטיסטיות ולא מבניות, והחדה שבהן היא המדרגיות לאורך המשימה. במעבר מ-Terminal-Bench 2.1 ל-Terminal-Bench 4, Claude Fable 5.1 מאבד כ-35.6 נקודות ו-GPT-6 Astra כ-32.0. SWE-2 מאבד כ-65.5, ובסיס Kimi K3 שלו כ-66.8 — כך שבעבודה באופק ארוך הוא מתדרדר בערך פי שניים מהר יותר ממודלי החזית שאיתם הוא מושווה. Terminal-Bench 4 הוא המהדורה הנוכחית ו-2.1 הוא זה שהוחלף, כלומר השורה שבה SWE-2 מוביל היא המבחן שהוצא משימוש, והשורה שבה הוא מפגר היא המבחן הפעיל.

שני הדוחות גלויים באופן יוצא דופן לפי אמות המידה של פוסטי השקה. ההבדל הוא במחיר של גילוי הלב. ההחרגות של DeepMind מצמצמות את הטענה אך משאירות אותה נכונה. ההחרגות של Cognition תוחמות את תחולת הטענה, והקורא צריך להחליט אם ציון של 27.3% במבחן האופק הארוך הנוכחי רלוונטי לעומס העבודה שלו.

הגשה, מחיר, והדבר שאף אחד מהשניים לא מוכר לך

• AlphaProof Code — מסגרת מחקר. אין נקודת קצה, אין משקלים, אין מחיר, אין רשימת המתנה. הארטיפקטים הם פיתוח Lean ב-github.com/google-deepmind/code-verification ללא רישיון שנקוב בעמוד הנחיתה.

• Cognition SWE-2 — קנייני, בלעדי ל-Devin. אין מחירון מפורסם לכל טוקן, אין מזהה מודל לפנות אליו, אין משקלים. אם רוצים את SWE-2 קונים את Devin.

• דגמי הבסיס — Kimi K3 נמצא בקטלוג של OrcaRouter במחיר של 3 דולר למיליון טוקני קלט ו-15 דולר למיליון טוקני פלט, ומחיר המחירון של הספק מועבר הלאה ללא תוספת מרווח של 0%. Claude Opus 5.5, אחד מהמודלים ששימשו לניסוח המפרטים של Signal, עומד על 4 ו-20 דולר. G​emini 4 Carbon, שהפעיל את סוכני ההוכחה של AlphaProof Code, אינו משהו שאנו מספקים, ואין כאן שום דבר שמרמז שאנו מארחים את AlphaProof Code עצמו.

השורה השלישית היא החלק היחיד בהשוואה הזו שכרוך בחשבון שאפשר לשלם היום. אם אתם בונים תהליך עבודה של קידוד סוכני, הבחירה המעשית אינה בין שתי המערכות האלה — היא בין המודלים שמתחתיהן, וגם Kimi K3 וגם Claude Opus 5.5 נמצאים במרחק מפתח אחד עם מעבר אוטומטי לגיבוי אם לספק יש יום רע. DSL לניתוב מאפשר לכם לשלוח את אותה משימה לשניים מהם ולהשוות את ה-diffs לפני שמי מהם נוגע במאגר קוד.

עם איזה מצב כשל אתה יכול לחיות

SWE-2 נכשל בכך שהוא מייצר patch שלא מתקמפל, או שמתקמפל אך שגוי, או שנכון אך לא ניתן למיזוג. כל אחד מהכשלים האלה ניתן לגלות על ידי קריאת ה-diff או הרצת הבדיקות, וכל אחד מהם עולה לך מחזור סקירה. המערכת מתוכננת סביב זה: Cognition מדווחת best-of-N על פני הגדרות מאמץ חשיבה, וזה מה שעושים כשהפלט הוא הסתברותי.

AlphaProof Code נכשל בכך שאינו מפיק הוכחה, ואז הסוכנים ממשיכים לעבוד — במשך שעות, לעיתים ימים, עם בנייה נקייה שיכולה להימשך כמה שעות ותיקוני הוכחות שנגרמים משינוי של שורה אחת בקוד המקור. המאמר אומר שיש "מרחב ניכר לאופטימיזציה" גם בהוכחות שנוצרות וגם בטכניקות, וזו דרך מנומסת לומר שהתהליך איטי ושביר. אבל כשזה מצליח אין כלל מחזור סקירה, כי אין מה לסקור. Lean כבר הסכים.

עבור צוות שמשחרר פיצ'ר ביום חמישי, ה-trade-off הזה ברור ו-SWE-2 מנצח בו. עבור צוות שמשחרר פרוטוקול קריפטוגרפי שיגן על שיחות במשך עשור, כל הקטגוריה של SWE-2 היא הכלי הלא נכון, והעובדה שהוא השיג 92.8% ב-Terminal-Bench 2.1 אינה רלוונטית.

מה יהפוך את אלה לברי השוואה בפועל?

דבר אחד: מדד שבוחן אם הפלט של סוכן הוא נכון ולא אם הוא מקובל. ‏FrontierCode מקרב לכך באמצעות יכולת מיזוג מוגדרת על ידי המתחזקים, וזה הקרוב ביותר שאליו הגיעה יצירת קוד. ‏AlphaProof Code עוקף זאת לחלוטין על ידי בחירת תחום שבו קרנל יכול להכריע. אם מישהו יבנה מערך משימות שבו ניתן לבדוק את התשובה הנכונה מכנית מול מפרט — לא חבילת בדיקות, אלא מפרט — אפשר היה לדרג את שתי המערכות על ציר אחד וההשוואה הייתה בעלת משמעות.

עד אז, הקריאה השימושית צרה יותר. AlphaProof Code אומר לך שצוות של חמישה אנשים עם כלי עבודה מבוססי סוכנים יכול לייצר מאגר הוכחות שבעבר היה דורש שנים, וזו אמירה על מהי עלות האימות. SWE-2 אומר לך שמודל בסיס עם משקולות פתוחות שעבר אימון-על יכול להיות במרחק נקודה אחת מהחזית במבחן קידוד, בעלות נמוכה ב־64%, וזו אמירה על עלות הקידוד. שתי העלויות יורדות. הן יורדות בקצבים שונים, מסיבות שונות, ולוח דירוג שמציב אותן באותה טבלה היה משקר לך.

אם אתם רוצים את השורה התחתונה המעשית: השתמשו במערכות בעלות צורה של SWE-2 עבור קוד שחבילת בדיקות יכולה לשמש עבורו כשער, והתחילו לקרוא את מאגר הארטיפקטים של AlphaProof Code אם יש לכם קוד שחבילת בדיקות אינה יכולה לשמש עבורו כשער. הקטגוריה השנייה קטנה ממה שרוב הצוותים חושבים, ובעלת השלכות כבדות משקל ממה שכל אחד מהם מוכן להודות.