כרטיס כותרת עבור MAI Code 2 לעומת SWE-2. MAI Code 2 מוצג כמודל של Microsoft בתוך GitHub Copilot ללא API, במחיר של 0.50 דולר לקלט ו-2.50 דולר לפלט למיליון טוקנים, ללא שיעור מעבר מפורסם וללא משקלות. SWE-2 מוצג כמודל של Cognition בתוך Devin ללא מחיר לפי טוקן, עם ציון של 73.0 אחוז ב-DeepSWE 1.1, 92.8 אחוז ב-Terminal-Bench 2.1 ו-27.3 אחוז ב-Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 לעומת SWE-2: אותם שני מדדים בדיוק, שפורסמו על ידי אחד מהם בלבד

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

MAI Code 2ו-SWE-2 מציינים כמעט בדיוק את אותם מבחני בנצ'מרק בחומרי ההשקה שלהם, ורק אחד מהם מספר לך מה הציון שהוא השיג. הפוסט של מיקרוסופט מ-17 בנובמבר 2026 מפרט את DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas ו-FrontierCode v1.1 ואז מדווח על יחסים: 96% מהביצועים של Claude Opus 5.5 ב-5% מהעלות. הפוסט של Cognition על SWE-2, שפורסם ב-10 בספטמבר 2026, מפרט את אותם שני הבנצ'מרקים הראשונים ומציין מספר לכל אחד: 73.0% ב-DeepSWE 1.1, 92.8% ב-Terminal-Bench 2.1, 27.3% ב-Terminal-Bench 4.0. המספר השלישי הזה הוא זה שכדאי לזכור, כי זו המהדורה שמיקרוסופט לא דיווחה עליה — והוא מראה מה קורה למודל קידוד כאשר מבחן הטרמינל נהיה קשה יותר.

שני המודלים גם חולקים אילוץ הפצה שהופך אותם ליוצאי דופן בקטגוריה הזו: לאף אחד מהם אין API ציבורי לפי טוקן. ניתן להגיע אל MAI Code 2 על ידי בחירתו בלקוח GitHub Copilot. SWE-2 פועל בתוך Devin. שני מודלים שאינכם יכולים לקרוא להם מהקוד שלכם, שאחד מהם מפרסם את המספרים שלו.

מהדורת הבנצ'מרק שאיש לא פותח בה

הטבלה של Cognition היא התוצר השימושי ביותר שמי מהספקים פרסם, ולא משום ש-SWE-2 מנצח בה במשהו. היא שימושית משום שהיא מציגה את אותו מודל כשהוא נמדד על שתי מהדורות של אותו בנצ'מרק.

• Terminal-Bench 2.1 — SWE-2 ב-92.8%, לעומת 91.4% עבור Claude Fable 5.1, 89.9% עבור GPT-6 Astra ו-88.3% עבור Kimi K3

• Terminal-Bench 4.0 — SWE-2 ב-27.3%, לעומת 55.8% עבור Claude Fable 5.1, 57.9% עבור GPT-6 Astra ו-21.5% עבור Kimi K3

• DeepSWE 1.1 — SWE-2 ב-73.0%, לעומת 74.1% עבור GPT-6 Astra, ‏72.7% עבור GPT-5.6 Sol ו-67.4% עבור Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 עומד על 50.0%, לעומת 53.3% של GPT-6 Astra ו-50.9% של Claude Fable 5.1

קראו את שתי השורות הראשונות יחד. SWE-2 הוא השני ב-2.1 והלפני־אחרון ב-4.0, ירידה של כ-65 נקודות, והוא לא לבד: Kimi K3 יורד ב-67 נקודות בין אותו זוג גרסאות. המודלים שמחזיקים מעמד הם אלה שמכווננים לעבודה באופק ארוך. זו אינה מוזרות של מערכת ההרצה של מעבדה אחת — מהדורת הבנצ'מרק נעשית קשה יותר, וזו בדיוק הסיבה לכך ש"הרצנו את Terminal Bench 2.1" היא טענה חלשה יותר בנובמבר 2026 מאשר הייתה בספטמבר.

מיקרוסופט הריצה את {{1}}Terminal Bench 2.1{{/1}}. מיקרוסופט לא פרסמה עליו שום ציון. מיקרוסופט לא פרסמה דבר על 4.0. שלוש העובדות הללו יחד משמעותן שקונה אינו יכול לדעת איזה סוג של מודל קידוד הוא {{2}}MAI Code 2{{/2}}: הסוג שמחזיק מעמד כשמשימות הטרמינל מתארכות, או הסוג שלא.

מה כל ספק חשף בפועל

פער הגילוי רחב יותר ממחירי המודלים, ולכן כדאי לומר זאת בבירור.

Cognition פרסמה טבלה של שבעה מודלים עם ארבעה מבחני בנצ'מרק, מערך השוואה מוצהר, הערה שלפיה מודלים מתחרים הורצו ב-CLI של Cognition עצמה ברמת מאמץ החשיבה הגבוהה ביותר שלהם, וגילוי כן של משהו שהיא הסירה: Claude Fable 5.1 במאמץ מקסימלי השיג 50.3% ב-FrontierCode בעלות של $12.83 למשימה, מתחת לתוצאה שלו במאמץ בינוני, ולכן הוא הוסר מהתרשים. ספק שמודיע לך איזו נקודת נתונים הוא הסיר הוא ספק שנותן לך את הכלים להפחית מערכה של הטבלה שלו.

מיקרוסופט פרסמה את שמות הבנצ'מרקים, את ההארנס — MSBench, פלטפורמת ההערכה הפנימית שלה, דרך GitHub Copilot CLI כשסוכני משנה מושבתים וכל מודל פועל במאמץ חשיבה מרבי — ואת היחסים שאותם מניבים הבנצ'מרקים הללו בממוצע. היא לא פרסמה שיעור הצלחה עבור MAI Code 2 באף אחד מארבעתם, לא מספר פרמטרים, לא תקרת פלט, ולא טבלת השוואה מול מתחרים בשמם מעבר לשני היחסים. נכון ל-18 בנובמבר 2026 אין ל-Artificial Analysis שורה עבור המודל, ולכן אין קריאה של צד שלישי שתשמש כתחליף.

אחת מהחשיפות הללו מאפשרת לך לשחזר את ההיגיון. האחרת מבקשת ממך לקבל מסקנה.

אף אחד מהשניים אינו נקודת קצה, וזה משנה את הרכישה.

ל-SWE-2 אין מחיר מפורסם לכל טוקן ואין API ציבורי. בפוסט של Cognition נאמר שהוא זמין ב-Devin Desktop וב-CLI, עם פריסה הדרגתית ל-Devin Web ול-Fusion, ונתוני העלות היחידים בו הם עלויות בנצ'מרק לכל משימה — מסוג המספרים שמצטטים כדי להראות שמתחרה יקר, ולא מסוג המספרים שמחייבים לפיהם.

ל-MAI Code 2 אכן יש כרטיס מחירים, שפורסם על ידי GitHub:‏ $0.50 למיליון טוקני קלט, $0.025 לקלט שמור במטמון, $2.50 לפלט, במחיר מבצע עד 17 במאי 2027, ולאחר מכן $1.00 / $0.05 / $5.00. אין לה ממשק API משלה. MAI Code 2 Flash, האח הקטן יותר במשפחה, הוא המודל היחיד במשפחה שיש לו ממשק כזה — תצוגה מקדימה בגישה מוגבלת ב-Microsoft Foundry דרך Responses API תואם OpenAI.

• מחיר — MAI Code 2 במחיר $0.50 / $0.025 / $2.50 למיליון טוקנים, במחיר מבצע עד 17 במאי 2027, לעומת היעדר מחיר מפורסם לכל טוקן עבור SWE-2

• גישה — מושב GitHub Copilot בכל התוכניות Pro, Pro+, Max, Business ו-Enterprise, לעומת מנוי Devin ב-Desktop וב-CLI

• משקלים — אינם מחולקים באף אחד מהצדדים

• הקשר — אין נתון מפורסם לגבי חלון הקשר של SWE-2, לעומת מיליון טוקנים ב-MAI Code 2, שזמין רק ב-Visual Studio Code וב-Copilot CLI

• ציוני בנצ'מרק שפורסמו — אין עבור MAI Code 2, לעומת ארבעה עבור SWE-2

• שורת אינדקס עצמאית — לאף אחד מהמודלים אין כזו

התוצאה המעשית היא ששתי הרכישות הן רכישות לפי מושבים ולא לפי טוקנים, ורק אחת מהן מגיעה עם מדד שאפשר למדל. אם צוות הפיננסים שלכם צריך עלות ליחידה, MAI Code 2 נותן לכם אחת כזו ו-SWE-2 לא. אם צוות ההנדסה שלכם צריך לדעת אם המודל משפר את מאגרי הקוד שלכם, SWE-2 נותן לכם טבלת השוואה ו-MAI Code 2 נותן לכם יחס.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

מה כל מודל נועד לעשות

התדריך של Microsoft ל-MAI Code 2 עוסק בעבודה ארגונית יומיומית: העברת קוד לפרודקשן, דיבוג מעמיק, מימוש רב-קבצים, הסקה ברמת המאגר, ממשקי משתמש ולוחות מחוונים. פוסט ההשקה אומר בכנות שהמודלים "עדיין לא כווננו במפורש לבעיות קשות יותר, כמו מחקר מדעי יסודי ועבודת סוכנים בטווח ארוך מאוד" — משפט שיושב באופן לא נוח לצד טענה של Terminal Bench 2.1, מפני ש-Terminal-Bench הוא מדד סוכנים לטווח ארוך. המיצוב של Microsoft עצמה אומר שהיא לא כיווננה לדבר שהמדד הזה מודד.

התדריך של Cognition ל-SWE-2 הולך בכיוון ההפוך: פחות צעדים, הרצות זולות יותר, ומודל שתוכנן במשותף עם הסוכן שמריץ אותו. הפוסט מדווח שמספר הצעדים הממוצע לכל הרצה יורד ל-53 ב-SWE-2 medium לעומת 127 ב-SWE-1.7, ש-medium עולה 81% פחות מ-SWE-1.7, ושחציון של 18 צעדים עד לעריכה אמיתית ראשונה לעומת 48. אלה טענות הנדסיות לגבי יעילות הסוכן, והן חשובות למנוי Devin יותר מכל שורת בנצ'מרק, כי הן קובעות כמה מהמכסה החודשית משימה צורכת.

אז שני המודלים מכווננים שוב לפי מטרות שונות: האחד למשימה היומיומית בתוך IDE, והשני למספר הצעדים בתוך סוכן אוטונומי. אף אחד מהם אינו גרסה טובה יותר של האחר.

היכן שראוטר מצדיק את מקומו כאשר אף אחד מהמודלים אינו ניתן לניתוב

לא MAI Code 2 ולא SWE-2 נמצאים בקטלוג של OrcaRouter, ואין דרך ישרה לרמוז אחרת: האחד הוא רשומה בבורר המודלים של Copilot, והשני נמצא בתוך Devin. מה ששכבת ניתוב משנה הוא לא הגישה לשניים האלה אלא העלות של בניית ההשוואה. הבקרה בכל הערכה שלהם חייבת להיות מודל שאפשר לקרוא לו ולמדוד — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — וההם עומדים מאחורי מפתח אחד במחיר המחירון של הספק עם 0% תוספת, כך שהרצת בנצ'מרק מולם תחויב בדיוק בתעריף של הספק.

זה חשוב כאן יותר מאשר ברוב ההשוואות, משום שהשאלה המעניינת לגבי שני המודלים היא השוואתית: האם מתכנת יומיומי מנצח מודל חזית בעלות לכל מיזוג, על הקוד שלך? אי אפשר לענות על כך על ידי קריאת שני טבלאות ספקים שהופקו בשני מערכי בדיקה. אפשר לענות על כך על ידי הרצת המודל שניתן למדוד לצד מי מבין השניים שהצוות שלך יכול בפועל להגיע אליו, וספירת משימות שהושלמו ולא אסימונים. מעבר אוטומטי לגיבוי הוא מה שמאפשר להשוואה הזו להמשיך לרוץ כאשר מגבלת קצב של ספק מופיעה באמצע הריצה, ומכיוון שהתמחור מועבר הלאה במחיר מחירון, העלות לכל משימה של הבקרה אינה מנופחת על ידי השכבה שבה אתה משתמש כדי למדוד אותה.

איזה מהם כדאי לבחור, בהתחשב במה שאתה יכול לאמת

• הצוות שלך עובד על Devin ואתם רוצים פחות שלבים בכל הרצה — SWE-2, ונתוני מספר השלבים והפחתת העלויות בפוסט של Cognition הם אלה שמכריעים.

• הצוות שלך נמצא ב-Copilot ואתה רוצה טוקנים זולים לתיקון שגרתי — MAI Code 2 במחיר של $0.50 ו-$2.50, במודל של התעריף הכפול של מאי 2027 וגם של התעריף המבצעי.

• עליך להגן על הבחירה בעזרת מספר — SWE-2, כי הוא מפרסם ארבעה והמודל האחר לא מפרסם אף אחד.

• אתה זקוק לעבודה אג'נטית לטווח ארוך — אף אחד מהם, על פי הראיות הזמינות. מיקרוסופט אומרת שהיא לא כיווננה לכך; הטבלה של SWE-2 עצמה מראה את הצניחה של 65 נקודות כשהבנצ'מרק נעשה קשה יותר.

• אתה זקוק למודל עלות לפי טוקן — MAI Code 2, מכיוון של-SWE-2 אין תעריף מפורסם שעליו אפשר לבסס מודל.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

הדבר שכדאי לעקוב אחריו הוא האם מיקרוסופט אי־פעם תפרסם את המספר שיהפוך את ההשוואה הזו לממשית. שיעור מעבר ב־Terminal Bench 2.1 יעשה זאת; שיעור ב־Terminal Bench 4.0 יכריע את העניין, מפני שזו המהדורה שבה הטבלה של SWE-2 עצמה מראה איך נראה מודל קידוד כשהמשימות נעשות ארוכות יותר. עד שאחד מאלה קיים, MAI Code 2 הוא מחירון עם הבטחה מצורפת ו־SWE-2 הוא טבלה עם מספר צעדים מצורף, ורק אחד מהם ניתן לבדיקה מחוץ לספק.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית