SWE-2 Flash לעומת SWE-2: כמה באמת שווה ניצחון של 0.2 נקודות

טבלת ההשוואה של Cognition עצמה מעניקה ל-SWE-2 Flash ניצחון אחד בדיוק על SWE-2: 24.0 מול 23.8 ב-FrontierCode 2.0. שתי עשיריות של נקודה, במדד של Cognition עצמה, בטבלה ש-Cognition בנתה כדי להציג את המודל הקטן במיטבו. זהו גם המספר השימושי ביותר בפרסום, בגלל מה שהשורות שמתחתיו עושות — ובגלל מה שהשורה האחת שמעל הקפל משמיטה בשקט.

הגרסה הקצרה למי שמחליט ליד השולחן במקום לקרוא עד הסוף: ה-Flash אינו SWE-2 קטן יותר. זה מודל שונה מבסיס שונה, שמכוון לקצה המוגבל של העבודה, ותומחר בחמישית בתוך אותו מוצר. הניצחון של 0.2 נקודות הוא אמיתי, והוא אומר פחות ממה שזה נראה.

שתי מהדורות של אותו בנצ'מרק אינן מסכימות זו עם זו, וזהו הממצא הראשון.

הצב את שתי שורות ה-FrontierCode זו לצד זו, והטבלה תפסיק להיות סיפור על מודל קטן שמדביק את הפער.

• FrontierCode 2.0 — SWE-2 Flash 24.0 מול SWE-2 23.8

• FrontierCode 1.1 Main — 45.5 לעומת 50.0

אותו מכשיר, שתי מהדורות, הכרעות הפוכות. במהדורה החדשה יותר ה-Flash ביתרון זעיר; במהדורה הישנה יותר הוא מפגר ב-4.5 נקודות. אחת מהשורות האלה תגיע בסופו של דבר לשקופית השקה והאחרת לא, והבחירה באיזו מהן תעשה מלמדת יותר על המציג מאשר על המודל.

יש פרשנות סבירה שלפיה שתי השורות נכונות ואינן סותרות זו את זו: מהדורת 2.0 קשה יותר, הציונים המוחלטים מצטמצמים, וייתכן שסט משימות חדש יותר מתגמל את הדבר שעבורו Flash עבר אימון-המשך. יש גם פרשנות פחות מחמיאה: תנודה של 4.5 נקודות בין שתי מהדורות של אותו מבחן היא מדד למידת הרגישות של הכלי, ומרווח של 0.2 נקודות נמצא בתוך הרגישות הזו. Cognition אינה מפרסמת רווחי סמך ואינה מפרסמת הרצות חוזרות, ולכן לא ניתן להבחין בין ההבדל שבין 24.0 ל-23.8 לבין רעש בהינתן המידע. מה שניתן לומר הוא צר יותר ועדיין שימושי — במבחן החדש ביותר של Cognition שני המודלים באותה רמה, לא מופרדים.

לאן הולכות שלוש עשרה הנקודות

שאר הטבלה אינו צמוד, וצורת הפער היא החלק המאלף.

• DeepSWE 1.1 — SWE-2 Flash 60.1 לעומת SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 לעומת 27.3

• SWE-Atlas QA — 50.0 לעומת 56.3

• Terminal-Bench 2.1 — 89.2 לעומת 92.8

• SWE-Bench Pro v2 Hard — 89.9 לעומת 90.6

ExploitBench — 34.8 לעומת 36.1

סדרו אותם לפי מידת החופש שהמשימה נותנת לסוכן, ותתגלה תבנית. ב-SWE-Bench Pro v2 Hard — בעיה מוגדרת היטב עם תיקון מוגדר — ה-Flash מפגר ב-0.7 נקודות. ב-Terminal-Bench 2.1 הוא מפגר ב-3.6. ב-Terminal-Bench 4.0 הפער הוא 7.3, וב-DeepSWE 1.1, שורת האופק הארוך, הוא 12.9. ככל שהמשימה מחייבת את המודל להחליט מה לעשות הלאה, כך הפער גדל.

זהו מנגנון סביר, לא מנגנון מוכח. למודל עם עשירית מהפרמטרים הפעילים יש פחות יכולת להחזיק תוכנית ארוכה לכידות, ובנצ'מרקים לטווח ארוך זה מה שמתגלה ראשון. אך Cognition אינה מפרסמת מספרי תורות, מספרי טוקנים או פילוחים לפי משימה עבור Flash כפי שעשתה עבור SWE-2 — שם דיווחה שמספר הצעדים הממוצע יורד מ-127 ל-53 במאמץ בינוני — ולכן המנגנון מוסק מצורת הטבלה ולא מודגם. התייחסו לזה כאל השערה שמתאימה לניסיון שלכם או שלא.

מחיר ומהירות, במטבע היחיד ש-Cognition נוקבת בו

לאף אחד מהמודלים אין מחיר לפי טוקן, מפני שלאף אחד מהם אין נקודת קצה. מה ש-Cognition מפרסמת הוא יחס: SWE-2 Flash עולה חמישית מ-SWE-2 ופועל במהירות גבוהה פי שלושה, 200 tok/s לעומת 60. שני הנתונים מגיעים מאותה מתודולוגיית שחזור — ההרצה של כל מודל על משימת gsea-proteomics של Terminal-Bench 4.0, משוחזרת בקצבים מדומים עם תמלילים מקוצרים לאורך שווה — ולכן שניהם מתארים פרופיל שירות מיועד ולא פרופיל נמדד.

היחס הוא עדיין המספר הרלוונטי ביותר להחלטה בגרסה, בתנאי שתבצעו את הצעד הבא. מחיר ליחידת עבודה אינו זהה לעלות של משימה שנפתרה, והשני הוא מה שצוות משלם בפועל. אם החמישי הוא חמישית מעלותה של משימה — הפירוש היחיד שהופך את הטענה למשמעותית בתוך מוצר מנוי — אז החשבון פשוט.

ב-DeepSWE 1.1 — ה-Flash פותר 82% ממספר המשימות בחמישית מהעלות, כלומר בערך פי 4.1 זול יותר לכל משימה שנפתרת, אפילו בשורה שבה הוא מפסיד הכי הרבה.

• ב־FrontierCode 2.0 — הוא פותר מעט יותר משימות בחמישית מהעלות, שזה בערך פי 5 זול יותר לכל משימה שנפתרה.

• ב-Terminal-Bench 4.0 — הוא פותר 73% מכמות המשימות בחמישית מהעלות, בערך פי 3.7 זול יותר לכל משימה שנפתרה.

כל אחד מהנתונים האלה מניח שהחמישי חל על עלות של משימה ולא על טוקן, וששיעורי הפתרון עוברים לתור שלך. Cognition לא אומרת איזה מהם, וההנחה הזאת נושאת משקל רב. אם החמישי הוא מחיר טוקן במודל שפולט יותר טוקנים לכל משימה, היתרון מצטמצם ועלול להתהפך בשורות של אופק ארוך. החשבון הוא בדיקת רגישות, לא מדידה, ויש להריץ אותו שוב מול הלוגים שלך.

מה שאינו מוטל בספק הוא חלון המבצע. SWE-2 Flash חינם ב-Devin Desktop וב-CLI עד 30 בנובמבר 2026. חלון החינם של SWE-2 עצמו הסתיים ב-10 באוקטובר. בשבועות הקרובים, השוואת המחירים בתוך Devin היא חמישית מול אפס, וזו בכלל לא השוואה — זהו תקופת הערכה עם דדליין.

הם אינם מאותה שושלת, ופער הפרמטרים הוא הדבר הפחות מעניין בהם.

SWE-2 עבר אימון-המשך מ-Kimi K3: 2.8 טריליון פרמטרים, 104B פעילים לכל טוקן, בסיס שכבר עבר RL נרחב לקידוד אגנטי. SWE-2 Flash עבר אימון-המשך מ-Inkling-Small: 276B בסך הכול, 12B פעילים, Apache 2.0, מבית Thinking Machines. תרשים הגדלים של Cognition עצמה מציב את Flash ב-1x ואת SWE-2 ב-10.1x. בפרמטרים פעילים היחס קרוב יותר לתשעה לאחד.

עכשיו השוו את זה לציונים. הבדל של פי שמונה וחצי בפרמטרים פעילים מניב 4.5 נקודות ב-FrontierCode 1.1 Main ולא כלום ב-FrontierCode 2.0. בינתיים, שלב ה-post-training עצמו שווה הרבה יותר מהבדל הפרמטרים: הטבלה של Cognition מראה את Inkling-Small ב-21.5 ב-FrontierCode 1.1 Main ואת ה-Flash ב-45.5, עלייה של 24 נקודות מ-mid-training ו-RL על אותו בסיס. השונות המיוחסת ל-post-training גדולה בערך פי חמישה מהשונות המיוחסת לפער הפרמטרים כולו בין שני המודלים.

זו המסקנה שהצמד מפיק יחד, והיא גדולה יותר מכל אחד מהמודלים בנפרד. זה גם מסביר מדוע Cognition מוכנה למכור את הקטן בחמישית מהמחיר: החלק היקר ב-SWE-2 מעולם לא היה מודל הבסיס. אלה היו הנתונים, המאמתים וסביבות ה-RL, וה-Flash עושה שימוש חוזר בהשקעה הזו על בסיס זול יותר.

יש כאן שתי הסתייגויות. ההשוואה היא של טבלה של ספק אחד על מדדי ביצועים שהספק שולט בהם, ושום דבר בה לא שוחזר באופן בלתי תלוי. בנוסף, מודלי הבסיס אינם קלטים שקולים — Kimi K3 מגיע עם הקשר של מיליון טוקנים וראייה מקורית, בעוד ש-Inkling-Small הוא ארכיטקטורה אחרת עם תמיכה מולטימודלית שונה — ולכן "אותו post-training, בסיס זול יותר" הוא המסגור של Cognition ולא משתנה מבודד.

אי-הסימטריה בקביעת המאמץ

SWE-2 הושק עם שלוש רמות מתועדות של מאמץ חשיבה — medium, high ו-max — וההשקה של Cognition בספטמבר הסבירה למה נועדה כל אחת: medium יוצאת לפעולה מוקדם יותר, בעוד ש-high ו-max מתכננות יותר, חוקרות יותר מבסיס הקוד ומשקיעות יותר באימות. היא גם ציינה שדווח הציון הטוב ביותר של כל מודל על פני הגדרות המאמץ השונות.

SWE-2 Flash אינו מתעד בקרת מאמץ כלל. פוסט ההשקה אינו מזכיר אותה, וטבלת הבנצ'מרקים אינה כוללת עמודת הגדרה. לכן ההשוואה כפי שפורסמה היא בין SWE-2 במיטבו לבין ה-Flash בתצורה שלא צוינה — השוואה הוגנת רק אם ל-Flash יש הגדרה אחת, ולא הוגנת בכיוון לא ידוע אם יש לו כמה.

אם ל-Flash באמת אין שליטה ברמת המאמץ, זהו הבדל מוצרי שראוי לציין אותו בשמו ולא פער בתיעוד. רמת המאמץ היא הדרך שבה מחליפים עלות בעומק ברמת המשימה הבודדת, ומודל בלי יכולת כזו נותן הגדרה אחת לתור שמכיל גם עבודה טריוויאלית וגם עבודה קשה. זה בדיוק ההחלפה�היחס אמור לאפשר לך לבצע.

לאיזה תור כל אחד שייך

ההצגה של Cognition עצמה היא המדריך הכנה ביותר כאן. היא אומרת שמודלים קטנים יותר "מסוגלים יותר ויותר להתמודד עם חלק משמעותי מהעבודה שסוכני תוכנה עושים, כגון אוטומציות, סקירת קוד, פיתוח תכונות ועדכון תיעוד", ושה-SWE-2 Flash פותח לעבודה הזו. קראו את הרשימה הזו מול מבנה הבנצ'מרק ותראו ששניהם מסכימים: משימות תחומות, הגדרה ברורה של "הושלם", נפח גבוה, סובלנות נמוכה להשהיה.

• אם המשימה נכנסת לפרומפט והגדרת ה"הושלם" היא חד-משמעית — סבב סקירה, עדכון תיעוד, פיצ'ר קטן, אוטומציה מתוזמנת — ה-Flash הוא ברירת המחדל הנכונה, וחשבון העלות-לכל-משימה-שנפתרה שלמעלה מלמד שהוא זול פי כמה גם במקום שבו הוא פותר פחות משימות.

• אם הסוכן צריך להחליט מה לעשות הלאה יותר מקומץ פעמים — מיגרציה, רפקטור בין מאגרים, סשן דיבוג שבו ההשערה הראשונה שגויה בדרך כלל — פער ה-13 נקודות של DeepSWE הוא בדיוק מה שאתם קונים עם SWE-2, והיחס אינו מפצה על כך.

• אם אינך יכול לדעת לאיזה מאלה שייכת משימה, התחל אותה ב-Flash והסלם. זו ההחלטה שעבורה בנתה Cognition את רמות המאמץ ב-SWE-2, והיעדר בקרת המאמץ ב-Flash הופך את ההסלמה להחלטת ניתוב ולא לפרמטר.

הטעות שיש להימנע ממנה היא להשתמש בניצחון של 0.2 נקודות כהיתר להזיז את התור הקשה. זהו מדד אחד, מהדורה אחת, ספק אחד, והוא נמצא בתוך רגישות המכשיר עצמו.

מחוץ לדווין, אף אחד מהם אינו מועמד

לאף אחד מהמודלים אין API. ולאף אחד מהם אין משקלים ציבוריים. אם ההרנס שלך הוא משלך, הזוג אינו בחירה שבידיך, וחלון החינם לא עוזר לך — זהו ניסיון בתוך מוצר שעליך לקנות.

החצי הנגיש של המערך הזה הוא הבסיס. Kimi K3 מנותב ב-OrcaRouter בתור kimi/kimi-k3 במחיר של 3.00 דולר למיליון טוקני קלט ו-15.00 דולר למיליון טוקני פלט, עם חלון הקשר של מיליון טוקנים וקריאה לכלים מקורית, במחיר המחירון של הספק ללא תוספת מחיר. API אחד מכסה יותר מ-200 מודלים, מה שהופך את פיצול התור שלמעלה לבר-יישום גם מחוץ ל-Devin: כלל ניתוב יכול לשלוח עבודה מוגבלת בהיקפה למודל זול ולהסלים את המשימות ארוכות הטווח למודל חזק יותר, בלי שהלקוח ידע מי ענה. מעבר אוטומטי לגיבוי שייך מאחורי המסלול המוסלם, כי המודל שאליו מסלימים הוא זה שאין לך אפשרות להרשות לעצמך שיהיה לא זמין.

זהו מוצר שונה מ-SWE-2 Flash, והוא אינו תחליף לו. זה מה שעושים כאשר לדבר שברצונך להעריך אין נקודת קצה.

מה יפתור את זה

שלושה גילויים היו הופכים את ההשוואה הזו מטבלה של ספק לראיה. הרצה עצמאית של DeepSWE 1.1 ו-Terminal-Bench 4.0 על שני המודלים, על ידי מי שאינו Cognition ואינו משתמש בהרנס של Cognition. הצהרה של הגדרת המאמץ והשלד העומדים מאחורי כל שורה בטבלת Flash, בהתאם למה שסיפקה השקת SWE-2. והרצה חוזרת, כדי שאפשר יהיה להבחין בין מרווח של 0.2 נקודות לשונות בין הרצות.

עד אז, הפרשנות הניתנת להגנה היא הצרה. SWE-2 Flash הוא גרסה אחות מותאמת-עלות הבנויה על בסיס קטן בהרבה, ברמה של SWE-2 במבחן החדש ביותר וברור שהוא מאחור בעבודות ארוכות-טווח, ונמכר ביחס שהופך אותו לזול פי כמה למשימה שנפתרה על פי הראיות הזמינות. זו החלטת מוצר טובה וטענה טכנית צנועה. הניצחון של 0.2 נקודות אינו ראיה לכך שהוא החליף משהו — הוא ראיה לכך שבכלי מדידה אחד, ביום אחד, הפער נסגר מספיק כדי להיעלם ברעש.