SWE-2 Flash לעומת Flint v1.0: שורת בנצ'מרק כנה אחת והרבה רעש

שני מודלי קידוד מסוג תערובת מומחים עם מעט פרמטרים פעילים, שיצאו בהפרש של חמישה עשר יום זה מזה, ושניהם טוענים לאותה רמת ביצועים בשבריר מהעלות של מודלי הדגל. SWE-2 Flash, מבית Cognition, מ-4 בנובמבר 2026, הוא בעל 276B פרמטרים בסך הכול, עם 12B פעילים. Flint v1.0, מבית Recursive, מ-21 באוקטובר 2026, הוא 39.8B בסך הכול עם כ-2.5B פעילים. הם אותו הימור ארכיטקטוני בקני מידה שונים מאוד — והדרך ההוגנת להשוות ביניהם היא להודות מראש שהטבלאות שפרסמו חופפות בשורה אחת בדיוק.

השורה הזו היא Terminal-Bench 2.1: 89.2 עבור SWE-2 Flash לעומת 54.9 עבור Flint v1.0. זהו פער של 34 נקודות, זה המספר החזק ביותר שכל אחת מהחברות הפיקה בהיתקלות הזו, והוא מגיע עם שתי הסתייגויות גדולות מספיק כדי לשנות את האופן שבו תפרשו אותו. כל דבר אחר שאולי תתפתו להשוות הוא או גרסה אחרת של הבנצ'מרק או תת-קבוצה אחרת של אותו בנצ'מרק.

אותו הימור, רישיון הפוך

התזה המשותפת היא שפרמטרים פעילים, ולא פרמטרים כוללים, מכתיבים את עלות ההסקה — כך אפשר לבנות מודל דליל גדול ולשלם רק על החלק שמופעל. Flint מפעיל לכל טוקן 6 מתוך 256 מומחים מנותבים ועוד מומחה משותף, על פני 49 שכבות, 35 מהן עם חלון הזזה בגודל 513 טוקנים ו-14 עם תשומת לב מלאה. SWE-2 Flash יורש את המבנה הזה מבסיס Inkling-Small שלו: 276B סך הכול, 12B פעילים, לאחר אימון-על שכלל שלב אימון-ביניים ש-Cognition לא השתמשה בו קודם.

ההבדל שחשוב יותר מכל פרט ארכיטקטוני הוא מה שמותר לך לעשות עם הפלט:

• משקלים — Flint v1.0 הוא Apache 2.0 ב-Hugging Face בפורמטים BF16, FP8 וצורות מכומתות. SWE-2 Flash לא פורסמה כלל, עם הבטחה לתוכנית שיתוף עם שותפים שטרם פורטה.

הפצה — Flint פועל תחת llama.cpp, Ollama, LM Studio, vLLM ו-SGLang על חומרה שבבעלותך. SWE-2 Flash פועל בתוך Devin Desktop וה-CLI של Devin, ולא בשום מקום אחר.

• מחיר — העלות השולית של Flint היא ה-GPU שלך. SWE-2 Flash הוא חינמי עד 30 בנובמבר 2026, ולאחר מכן אין לו תעריף מפורסם לפי טוקן.

• הקשר — Flint מפרסמת 262,144 טוקנים, הניתנים להגדרה לבערך 512K. SWE-2 Flash לא מפרסמת דבר.

זה לא הבדל קטן בעמדה. האחד הוא ארטיפקט שאפשר לבדוק, לכמת, לכוונן ולהריץ על מחשב נייד. האחר הוא מוצר עם חודש חינם.

השורה היחידה שאפשר להשוות

Terminal-Bench 2.1 הוא הבנצ'מרק היחיד שבו שתי החברות מדווחות על מספר באותה גרסה. ה-54.9 של Flint הופק באמצעות Terminus 2, כאשר pass@1 מחושב כממוצע על פני לפחות חמישה ניסיונות. ה-89.2 של SWE-2 Flash הופק על גבי הרנס ש-Cognition אינה נוקבת בשמו, בהגדרת מאמץ שהיא אינה חושפת, מתוך פוסט השקה שמשמיט את נספח המתודולוגיה שנשא קודמו מספטמבר.

אז פער 34 הנקודות הוא אמיתי במובן ששני המספרים דווחו על אותה קבוצת משימות, ורך במובן שצד אחד סיפר לך איך הוא הגיע לשם והצד השני לא. מודל שקיבל ציון בתוך שלד סוכן שתוכנן במשותף — וזה מה ש-Devin הוא — בדרך כלל יגבר על אותו מודל שקיבל ציון דרך מסגרת הרצה גנרית. המספר של Flint הוא השמרני דווקא משום ש-Recursive פרסמה את השיטה.

אם אתה רוצה משפט אחד: בשורה המשותפת היחידה, SWE-2 Flash נמצא הרחק קדימה, ואף אחת מהחברות לא נתנה לצד שלישי בלתי תלוי את היכולת לבדוק.

שני ציוני ה-Pro שנראים זהים אך אינם כאלה

זו המלכודת בהתמודדות הזו, ושווה להאט בגללה. Recursive מדווחת ש-Flint v1.0 מקבל 89.7 ב-SWE-bench Pro v2. Cognition מדווחת ש-SWE-2 Flash מקבל 89.9 ב-SWE-Bench Pro v2 Hard. שני מספרים, בהפרש של 0.2 נקודות, שיושבים זה לצד זה בכל אגרגציה שתמצאו.

אלה לא אותה מדידה. "Hard" הוא תת-קבוצה — פרוסה מסוננת של מערך המשימות, לא כולו. הנתון של Flint הוא הריצה המלאה של Pro v2 תחת mini-swe-agent, כאשר פתרונות שאוחזרו מהאינטרנט נספרים ככשלים, מוסכמת ניקוד מחמירה מזו שרוב הספקים מאמצים. להעמיד את 89.9 לצד 89.7 ולקרוא לזה תיקו הוא מסוג ההשוואות שמייצרות מסקנות בטוחות ושגויות.

אותה זהירות חלה גם על שורה שאינה משותפת לשתי הטבלאות. Flint מדווח על SWE-bench Verified בתוצאה 74.2. SWE-2 Flash אינו מדווח כלל על Verified — במקום זאת הוא מדווח על Pro v2 Hard, DeepSWE 1.1 ו-SWE-Atlas QA. לכן המדד שרוב הצוותים מחזיקים לגביו אינטואיציה אינו זמין עבור המודל החדש יותר, מה שהופך את "Flint מפגר ב-SWE-bench" לטענה לא מבוססת ולא לממצא.

ההקשר הוא המפרט שקובע

בקידוד סוכני, חלון ההקשר אינו הערת שוליים — הוא קובע אם מודל יכול להחזיק את פני השטח הרלוונטיים של מאגר בצעד תכנון אחד, או שיש להאכיל אותו בחתיכות. Flint מפרסמת 262,144 אסימונים. SWE-2 Flash אינה מפרסמת דבר, ואחרי שלושה ימים של סיקור אף כלי תקשורת לא ביסס זאת.

להקשר של Flint יש הסתייגות משל עצמו. מדידות קהילתיות מראות שהתפוקה קורסת בהקשר ארוך — בערך 110 טוקנים לשנייה בפרומפטים קצרים, ויורדת לכ-9 טוקנים לשנייה סמוך ל-115,000 טוקנים. חלון של 262K שרץ ב-9 טוקנים לשנייה הוא חלון שמשתמשים בו במכוון, לקריאה גדולה אחת, ולא חלון שמשאירים פתוח לאורך סשן ארוך. כימות מרכך את עלות החישוב אבל לא את העקומה הזו.

החלון הלא-מפורסם של SWE-2 Flash הוא הנעלם הגדול יותר, מפני ש-Devin הוא מוצר לסשנים ארוכים. אם אתם בוחרים ביניהם מתוך הנחה שהמודל הסגור מתמודד טוב יותר עם מאגרי קוד גדולים יותר, אתם בוחרים על סמך מספר שאיש לא פרסם.

מהירות שאפשר לאמת לעומת מהירות שאי אפשר

Cognition אומרת ש{{1}}SWE-2 Flash{{/1}} פועל במהירות של כ-200 טוקנים לשנייה לעומת 60 של {{2}}SWE-2{{/2}}. הנתון מגיע מהרצה חוזרת של תמלולי סשנים מקוצרים בקצבים מדומים, ולא ממדידת זמן של נקודת קצה חיה. זו הדגמה, לא מדידה, וכרגע אין דרך לאף אחד מחוץ ל-Cognition לבדוק אותו.

הטענות של Flint לגבי תפוקה צנועות יחסית והרבה יותר קלות להפרכה: בערך 125 עד 131 טוקנים לשנייה על MacBook Pro עם M4 Pro, ומעל 150 על RTX Spark עם 64 GB. אלה נמדדו על חומרה שאפשר לקנות, על ידי אנשים שפרסמו את התצורה. דווח כי גרסת ה-NVFP4 המכומתת מגיעה לפער של כ-0.7 נקודות מ-BF16 במבחנים, וזה מסוג הטענות שק/קהילה יכולה ואף תבחן.

פגם אמיתי אחד שכדאי להכיר: במסלול ה-GGUF היה באג בתבנית הצ'אט ב-llama.cpp, ולמודל יש רקורד קהילתי מועט בהשוואה לכל דבר שמגיע ממעבדה גדולה. המאמצים המוקדמים הם אלה שעושים את ניפוי הבאגים.

כמה כל אפשרות באמת עולה לך

Flint v1.0 זמין להורדה בחינם, והעלות שלו היא בדיוק עלות ההסקה שלך. מודל של 39.8B עם 2.5B פעילים ירוץ על מחשב נייד עם מפרט טוב במהירות שמישה, וזו כל הנקודה של הארכיטקטורה. עלות האימוץ היא תפעולית: אתה הבעלים של סטאק ההגשה, של בחירת הקוונטיזציה ושל מצבי הכשל.

SWE-2 Flash לא עולה כלום עד 30 בנובמבר 2026, ולאחר מכן הוא עולה סכום לא ידוע, מפני ש-Cognition פרסמה יחס — חמישית ממחיר SWE-2 — ולא תעריף. אם תהליך התכנון של הצוות שלכם צריך מספר כדי להזין לגיליון אלקטרוני, זהו הגורם החוסם, ולא פער הבנצ'מרק.

אף אחד מהמודלים אינו נמצא היום בקטלוג של OrcaRouter, ואין בכוונתנו לרמוז אחרת. מה שמועיל בהשוואה הזו הוא לא הניתוב בין השניים אלא הבנצ'מרק של השדה סביבם: יותר מ-200 מודלים נמצאים מאחורי מפתח OrcaRouter אחד בתוספת של 0% על מחיר המחירון של הספק, מה שהופך את הרצת אותה משימת מאגר דרך תריסר מועמדים לעניין של החלפת מחרוזת אחת. כשאתם מתלבטים בין שני מודלים שאחד הצדדים פרסם את מערך הבדיקות שלו והשני לא, ההערכה שלכם עצמכם שווה יותר מהטבלה של מי מהספקים.

מי אמור לבחור מה

בחרו ב-Flint v1.0 אם אתם צריכים את המשקלים. אם האילוץ שלכם הוא ריבונות נתונים, פעולה במצב לא מקוון, כוונון עדין, או עלות לכל טוקן שאינה תלויה בהחלטת התמחור של חברה אחרת, הפער של 34 נקודות ב-Terminal-Bench הוא מחיר שאולי בהחלט תהיו מוכנים לשלם — וההקשר של 262K וההארנס שפורסם של Flint נותנים לכם מודל שאפשר לנמק עליו במקום קופסה שחורה.

בחר ב-SWE-2 Flash אם אתה כבר נמצא בתוך Devin וחלון הזמן החינמי מספיק כדי לענות על שאלתך. זה המודל בעל הביצועים הטובים יותר בשורה היחידה ששתי החברות מדדו, בפער גדול, והוא לא עולה דבר לנסות עד סוף נובמבר.

מה שאף אחד לא צריך לעשות הוא לבחור באחד מהם על סמך מספרי SWE-bench Pro. 89.7 ו-89.9 אינם אותו מבחן, וההבדל ביניהם קטן מההבדל בין כל אחד מהמספרים לבין מה שהמאגר שלך יפיק בפועל.