SWE-2 Flash לעומת North Mini Code: הבנצ'מרק שבתוך הבנצ'מרק

הנה ציוות לא נוח. SWE-2 Flash הוא מודל post-train עם 276 מיליארד פרמטרים ששוחרר ב-4 בנובמבר 2026, עם שמונה שורות בנצ'מרק ואין שום דרך להפעיל אותו. North Mini Code הוא מודל עם 30 מיליארד פרמטרים ש-Cohere השיקה ביוני 2026 תחת Apache 2.0, עם טבלת בנצ'מרקים שחופפת ל-SWE-2 Flash בדיוק באפס שורות — וציון בלתי-תלוי של-SWE-2 Flash אין בכלל. על הנייר, המודל החדש והגדול יותר מנצח בכל. מבחינת הראיות, המודל הישן והקטן יותר הוא היחיד מבין השניים שצד שלישי מדד.

ההיפוך הזה הוא כל המאמר, והוא שימושי יותר מהשוואת ציונים, מפני שלמעשה אי אפשר לערוך את השוואת הציונים.

שני MoEs עם תקציבי פרמטרים מנוגדים

שניהם מודלים של תערובת מומחים דלילים הבנויים סביב אותו טיעון עלות: משלמים על פרמטרים פעילים, לא על סך הפרמטרים. הם נמצאים כמעט בשני הקצוות המנוגדים של הטווח.

• סך הפרמטרים — SWE-2 Flash 276B לעומת North Mini Code 30B

• פעיל לכל טוקן — SWE-2 Flash 12B לעומת North Mini Code 3B

• פריסת מומחים — SWE-2 Flash יורש את המבנה של Inkling-Small; North Mini Code מנתב ל-8 מתוך 128 מומחים

• הקשר — SWE-2 Flash שלא פורסם לעומת North Mini Code 256K, עם פלט מקסימלי של 64K

• פלט מקסימלי — SWE-2 Flash שלא פורסם לעומת North Mini Code 64K

• רישיון — SWE-2 Flash לא פורסם לעומת North Mini Code Apache 2.0 ב-BF16, FP8 ו-W4A16

ההבדל פי תשעה בפרמטרים פעילים הוא המספר שמסביר את כל השאר. SWE-2 Flash יכול להרשות לעצמו להיות מודל גדול יותר שאימונו איטי יותר אך פועל בזול לכל טוקן, מפני שרק 12B ממנו מופעלים. North Mini Code פועל על שבריר מזה, ולכן Cohere יכול להציב אותו בפריסה ברמת מחשב נייד, ולכן גם תקרת הבנצ'מרק שלו נמוכה יותר.

למה אתה לא יכול לשים 89.2 ליד 36.0

ההשוואה שתופץ היא Terminal-Bench: SWE-2 Flash עם 89.2, North Mini Code עם 36.0. פער של 53 נקודות שהיה הופך את זה ללא-כתבה. זה אינו חיסור תקף, מסיבה שקל להחמיץ.

North Mini Code מדווח על "Terminal-Bench v2" בתוצאה 36.0 ועל "Terminal-Bench Hard" בתוצאה 31.1. ‏SWE-2 Flash מדווח על "Terminal-Bench 2.1" בתוצאה 89.2 ועל "Terminal-Bench 4.0" בתוצאה 20.0. "v2" ו-"2.1" הן תוויות סמוכות על מה שעשוי להיות — או לא להיות — אותו סט משימות, ואף אחד מהספקים לא מציין את מספר המשימות, את ה-harness או את מוסכמת הניקוד בחומר המשמש להשוואה.

הראיה הפנימית היא שאלה גרסאות הן מכשירי מדידה שונים בתכלית. שתי השורות של SWE-2 Flash עצמו ב-Terminal-Bench רחוקות זו מזו ב-69 נקודות — 20.0 ב-4.0, 89.2 ב-2.1. כשדגם אחד מקבל 20 ו-89 בשני מבחנים עם אותו שם ומספרים שונים, הגרסה היא המדידה. להציב ציון 2.x מול ציון v2 ולקרוא להפרש פער ביכולות זו השגיאה הנפוצה ביותר במרחב ההשוואה הזה.

שורות אחרות נראות משותפות, אך הן אינן. North Mini Code מדווח על SWE-bench Pro בתוצאה 40.2; SWE-2 Flash מדווח על SWE-Bench Pro v2 Hard בתוצאה 89.9. מדובר בדור שונה של benchmark ובתת-קבוצה מסוננת. North מדווח על SWE-bench Verified בתוצאה 67.6; SWE-2 Flash אינו מדווח על Verified כלל. North מדווח על SciCode 38.2 ועל LiveCodeBench v6 70.3; SWE-2 Flash אינו מדווח על אף אחד מהם.

זה משאיר את DeepSWE 1.1, שבו SWE-2 Flash מדווח על 60.1 ו-North Mini Code לא מדווח דבר.

המספר העצמאי שרק לאחד מהם יש

ל-North Mini Code יש ציון של 27.6 ב-Artificial Analysis Intelligence Index וציון של 33.4 ב-Coding Index. אלו מדידות של צד שלישי לפי מתודולוגיה עקבית, שנערכו על מודל שכל אחד יכול להוריד ולהריץ מחדש.

ל-SWE-2 Flash אין ערך ב-Artificial Analysis, משום ש-Artificial Analysis מודדת מודלים דרך API ול-SWE-2 Flash אין API. כל נתון המיוחס לו — ה-60.1, ה-89.2, ה-20.0, ה-24.0 ב-FrontierCode 2.0 — הוא של Cognition עצמה, והופק על גבי הרנס שלא נחשף, ו-FrontierCode הוא בעצמו benchmark של Cognition. אין כאן שום דבר שאומר שהמספרים האלה שגויים. המשמעות היא שלקורא אין דרך להבחין בין יכולת אמיתית לבין scaffold נדיב.

עבור מודל פתוח-משקלים של 30B מיוני, מדד AA Coding של 33.4 הוא ציון צנוע — גבוה מ-25.9 של GLM-4.7-Flash, ונמוך מ-35.2 של Qwen3.6 35B-A3B. זה גם ציון שאפשר לאמת, וזה שווה יותר משורת ספק שאי אפשר לאמת.

מהירות, ואיזו טענה ניתנת לבדיקה

Cohere מדווחת על כ-199 טוקני פלט לשנייה ב-API שלה, בערך פי 2.8 מהתפוקה של Devstral Small 2. זו מדידה של נקודת קצה משרתת: בקשה נכנסת, טוקנים יוצאים, וכל מי שיש לו גישה יכול לשחזר אותה.

Cognition מדווחת על כ-200 טוקנים לשנייה עבור SWE-2 Flash לעומת 60 של SWE-2, שנוצרו על ידי השמעה חוזרת של תמלולי סשנים מקוצרים בקצבים מדומים. שני המספרים נמצאים בטווח של טוקן אחד לשנייה זה מזה, אך משמעותם שונה לחלוטין. האחד הוא מדידת תפוקה; האחר הוא הדגמה של איך המודל ייראה במהירות הזו.

זהו הדפוס לאורך כל ההשוואה. המודל הוותיק יותר מפרסם טענות פחות מרשימות עם יותר מתודולוגיה מצורפת. המודל החדש יותר מפרסם טענות יפות יותר בלי שום מתודולוגיה.

היכן ש-North Mini Code חלש באמת

לא הכול מטיב עם Cohere. North Mini Code הוא מומחה לקוד ומתנהג ככזה: הוא משיג 14% ב-GDPval-AA ו-37% ב-τ²-Bench Telecom, שתיהן הערכות אג'נטיות שאינן עוסקות בקוד, שבהן מודל כללי יצליח הרבה יותר. אם הסוכן שלך צריך לעשות משהו מלבד לכתוב ולבדוק קוד — לטפל בתהליך עבודה של לקוח, לבצע היסק על תהליך עסקי — North Mini Code הוא הכלי הלא נכון, והבסיס הרחב יותר של SWE-2 Flash הוא כנראה ההימור הטוב יותר.

חלון ההקשר שלו מפורסם וגדול — 256,000 טוקנים עם תקרת פלט של 64,000 טוקנים — אם כי החלון השמיש עדיין תלוי במערך ההגשה. ולמודל 30B עם 3B פעילים יש תקרה נמוכה יותר מאשר למודל 276B עם 12B פעילים; שום מידה של שקיפות מתודולוגית לא סוגרת את הפער הזה.

עלות, והטיעון בעד שכבת ניתוב

North Mini Code ניתן להורדה בחינם תחת Apache 2.0, עם תעריף מאוחסן ב-API של Cohere עצמה וזמינות דרך כמה פלטפורמות צד-שלישי. SWE-2 Flash הוא בחינם בתוך Devin עד 30 בנובמבר 2026 וללא תמחור לאחר מכן, ללא אפשרות הורדה באופק כלשהו.

אף אחד מהם אינו בקטלוג של OrcaRouter. המודל של Cohere ניתן לאירוח עצמי על ידי כל מי שיש לו החומרה, ולמודל של Cognition אין נקודת קצה לנתב אליה — אז הניסוח הכנה הוא שההחלטה הזו מתקבלת מחוץ לקטלוג שלנו בכל מקרה. מה ששכבת ניתוב כן משנה הוא המחיר של טעות. OrcaRouter מעבירה את מחיר המחירון של הספק הלאה בתוספת של 0% ומבצעת מעבר אוטומטי במקרה כשל, כך שאפליקציה שנכתבה מול מזהה מודל אחד אינה אפליקציה שנכתבה מול זמינות של ספק אחד. עבור זוג שבו צד אחד עשוי להתומחר מחדש ב-1 בדצמבר והצד האחר אולי לעולם לא יהיה ניתן לקריאה, הניידות הזו היא החלק ששווה להנדס עבורו.

איך להחליט

אם אתה רוצה מודל שתוכל להריץ, לבדוק, לכמת ולבצע בנצ'מרק בעצמך, North Mini Code הוא האפשרות היחידה בזוג הזה, וחלון ההקשר שפורסם שלו ותקציב 3B פעיל הופכים אותו למעשי על חומרה צנועה. קבל את תקרת היכולת הנמוכה יותר ואת המיקוד הצר בקידוד.

אם אתם נמצאים בתוך Devin והחלון החינמי הוא העיקר, SWE-2 Flash הוא המודל החזק יותר לפי הנתונים של עצמו בפער גדול, והעלות של לנסות אותו עד 30 בנובמבר היא אפס.

מה שאסור לעשות הוא להציב את 89.2 לצד 36.0 ולהסיק מכך משהו. המספרים האלה מגיעים ממכשירים שונים, שדווחו על ידי חברות שונות, במשפחת מבחני ביצועים שמספר הגרסה שלה הוא המדידה עצמה. ההצהרה היחידה שאפשר להגן עליה לגבי הצמד הזה היא זו שנשמעת הכי פחות כמו פסק דין: אחד מהם דורג באופן עצמאי והשני לא, וזה הבדל גדול יותר מכל שורה בכל אחת מהטבלאות.