פלינט v1.0 לעומת Qwen3.8 27B: המודל ש-Recursive בחנה את עצמו מולו

Recursive פרסמה משפט אחד בחומר ההשקה של Recursive Flint v1.0שרוב הסיקור פספס: בממוצע ששת המבחנים של החברה עצמה, רק Qwen3.8 27Bקיבל ציון גבוה יותר מ-Flint. זה דבר יוצא דופן שספק מדפיס ביום ההשקה. זה גם המשפט השימושי ביותר בהודעה, כי הוא אומר לך איזו השוואה ללכת לבדוק. Qwen3.8 27B הוא מודל צפוף במשקלים פתוחים, שפורסם ב-14 באוגוסט 2026 תחת Apache 2.0, והוא המודל היחיד בקבוצת ההשוואה של Recursive שהביס את Flint במדד המצרפי שהספק עצמו בנה. אז השאלה המעניינת אינה אם Flint טוב. היא היכן בדיוק Qwen3.8 27B טוב יותר, והאם הפער שורד בחינה של מערכי הבדיקה המעורבים.

קרא את טענת הכיתה לפני שתקרא את הציון.

הטענה המרכזית של Flint תחומה בקפידה: הוא מוביל מבין מודלי תערובת מומחים בעלי פחות מ-50 מיליארד פרמטרים בסך הכול ב-SWE-bench Pro v2, ב-Terminal-Bench 2.1 וב-SWE-bench Verified. Qwen3.8 27B אינו מודל של תערובת מומחים. הוא צפוף — 27 מיליארד פרמטרים, כולם פעילים בכל טוקן, 28 מיליארד אם סופרים את מקודד הראייה, 64 שכבות עם ממד חבוי של 5,120. לכן הוא נמצא מחוץ לקבוצת ההשוואה של Flint מעצם הגדרתו, ול-Recursive היה חופש להשאיר אותו מחוץ לטענה לחלוטין.

כדאי להיות מדויקים לגבי מה ש"צפוף" עולה ומה הוא נותן. כל אחד מ-27 מיליארד הפרמטרים של Qwen משתתף בכל טוקן, ולכן הוא זקוק לכ-55.6 GB ב-BF16 ול-GPU אמיתי, ולכן טביעת הרגל של האקטיבציות שלו גדולה בערך פי אחד עשר מזו של Flint. זו גם הסיבה לכך שמודל צפוף של 27B יכול להשיג ביצועים טובים יותר ממודל דליל עם 2.5B פרמטרים פעילים מבחינת דיוק: הוא מבצע יותר אריתמטיקה לכל טוקן, והוא גובה ממך את המחיר על כך.

Terminal-Bench 2.1: הפער בן שמונה עשרה נקודות

זוהי ההשוואה הנקייה ביותר שאפשר, מפני ששתי המעבדות מדווחות על אותה גרסת בנצ׳מרק, והפער גדול מספיק כך שלא סביר שרעש של תשתית ההרצה יסביר את כולו.

• Flint — 54.9% ב-Terminal-Bench 2.1, הורץ על גבי מערך הבדיקות Terminus 2 עם אינטרנט מופעל, אך כל פתרון שהושג באמצעות אחזור מהאינטרנט נחשב לכישלון.

Qwen3.8 27B — 73.0% ב-Terminal-Bench 2.1, לפי כרטיס המודל של Alibaba.

זהו פער של 18.1 נקודות לטובת Qwen, במדד שהכי דומה לעבודת סוכן בטרמינל — שזה בדיוק התפקיד שלמענו נמכרים שני המודלים. שתי הסתייגויות פועלות בכיוונים מנוגדים ושתיהן צריכות להיאמר.

הראשון מעדיף את Flint. Recursive החילה מגבלה שייתכן שעמיתיה לא החילו: אם הסוכן מצא את התשובה ברשת, Recursive ספרה אותה כשגויה. מודל שמותר לו לחפש ולצטט היה זוכה לציון גבוה יותר באותו מערך בדיקות. לא ידוע בכמה גבוה יותר, ו-Recursive אינה מפרסמת את הנתון ללא המגבלה.

הנקודה השנייה חותרת תחת כל פרשנות נקייה. צד שלישי, PrismML, העניק ל-Qwen3.8 27B ציון 69.7 ב-Terminal-Bench 2.1 ולא 73.0 כפי שדיווחה Alibaba. פער של 3.3 נקודות על אותו מודל ואותו מבחן הוא כיול שימושי: הוא מלמד שפערים של כמה נקודות בטבלה הזו הם רעש, ושפער של 18 נקודות כנראה אינו כזה.

אפילו אם ניקח את הנתון הנמוך יותר של Qwen, 69.7 לעומת 54.9 מותיר 14.8 נקודות. הכיוון אינו מוטל בספק.

LiveCodeBench v6: פער שני, בבנצ'מרק נקי יותר

תכנות תחרותי הוא הפחות רגיש ל-harness מבין הבנצ'מרקים ששתי המעבדות מדווחות עליהם, מפני שהמודל מקבל בעיה ומפיק קוד, ושופט מריץ אותו. אין לולאת סוכן שיכולה להיות שונה.

• Flint — 80.3% ב־LiveCodeBench v6.

• Qwen3.8 27B — 90.3% ב-LiveCodeBench v6.

זהו פער של 10 נקודות, והוא זה שהייתי נותן לו את המשקל הגדול ביותר, בדיוק משום שהכי קשה להדוף אותו בהסבר. הציון 80.3 של Flint הוא מספר מכובד עבור מודל שמפעיל 2.5 מיליארד פרמטרים. הציון 90.3 של Qwen הוא מספר חזק עבור מודל שמפעיל 27 מיליארד. אף אחד מהם אינו מפתיע. הנקודה היא שיתרון היעילות ש-Flint משווק אינו מגיע בחינם, והבנצ'מרק הזה הוא המקום שבו המחיר נראה לעין.

הבנצ'מרק שנראה כמו ניצחון של Flint ושאינו כזה

הנה המקום שבו רוב דפי ההשוואה טועים, וכדאי להאט בגללו.

Flint מדווח על 89.7% ב-SWE-bench Pro v2. Qwen3.8 27B מדווח על 61.7% ב-SWE-bench Pro. בקריאה מהירה זה נראה כמו ניצחון של Flint ב-28 נקודות. זו בכלל לא השוואה. ה־"v2" הוא מבחן שונה מזה שאליבאבא מדווחת עליו, עם סט משימות שונה ופרוטוקול הערכה שונה, ואי אפשר להחסיר את שני המספרים זה מזה. כל עמוד שמציב אותם בעמודות סמוכות ומכריז על מנצח מספר לך משהו על המחבר שלו, לא על המודלים.

אותה מלכודת נמצאת שורה אחת למטה. Flint מדווחת על 74.2% ב-SWE-bench Verified. Qwen3.8 27B אינה מפרסמת ציון SWE-bench Verified — הכרטיס של Alibaba מדווח על SWE-bench Pro, QwenSWEBench ב-79.0, DeepSWE 1.1 ב-42.2, Terminal-Bench 2.1 ב-73.0, LiveCodeBench v6 ב-90.3 ו-NL2Repo-Bench ב-42.3. אין נתון Verified להשוואה. מספרים שמסתובבים עבור Qwen3.8 27B ב-Verified הם או כאלה שעברו בירושה מדגם קודם במשפחה, או כאלה שנלקחו ממקור משני שמתנגש עם כרטיס הדגם בכמה benchmarks אחרים בעת ובעונה אחת. התייחסו אליהם כלא מאומתים.

הסתייגות נוספת מצד Alibaba: ההרצות של SWE-bench Pro ו-QwenSWEBench שלה השתמשו ברתמת סוכן חיצונית ולא במודל חשוף, ולכן אפילו השוואות לנתון SWE-bench Pro של מעבדה אחרת הן רעועות. זה לא ייחודי ל-Alibaba. זהו מצבם של בנצ'מרקים לקידוד סוכני בכלל, ולכן שורות Terminal-Bench ו-LiveCodeBench נושאות כאן משקל רב יותר משורות SWE-bench.

היכן ש-Flint מנצח, וזה לא צמוד

הדיוק אינו הציר היחיד, ובשאר הצירים הסדר מתהפך בחדות.

• זיכרון — Flint פועל בכ-24 GB, עם בנייה של NVFP4 בנפח 22.86 GB בדיסק. Qwen3.8 27B זקוק לכ-55.6 GB ב-BF16. האחד נכנס למחשב נייד עוצמתי או לכרטיס צרכני בודד; האחר דורש הקצאת GPU ממשית.

• {{1}}חישוב פעיל לכל טוקן{{/1}} — Flint מפעיל כ-2.5 מיליארד פרמטרים. Qwen מפעיל את כל 27 המיליארד. היחס הזה הוא הסיבה לפער המהירות והסיבה ש{{2}}Flint זול יותר לשרת בהיקף{{/2}}.

• מהירות — Recursive טוענת ל־125 טוקנים ויותר לשנייה על M4 Pro MacBook Pro וליותר מ־150 על RTX Spark עם 64 GB בהקשר קצר. מודל dense 27B על אותו מחשב נייד אינו בטווח הזה. כמו כן מדווח ש־Qwen3.8 27B איטי באופן מקומי וצורך טוקנים באופן חריג — Artificial Analysis מדדה כ־160 מיליון טוקני פלט לאורך בדיקות האינדקס שלה, וזהו מכפיל עלות בכל לולאת סוכן.

הקשר — שניהם מגיעים ל-262,144 טוקנים באופן מקורי, ו-Qwen מרחיב עד 1,000,000 עם הרחבה באמצעות YaRN. ההכרזה של Flint מציינת עד 512K. על הנייר זהו תיקו בחלון המקורי; בפועל, התפוקה של Flint בהקשר ארוך היא הסיפור החלש יותר, כשבדיקות עצמאיות מדווחות על ירידה לכע 9 טוקנים בשנייה סמוך ל-115,000 טוקנים.

• רב-מודאליות — Qwen3.8 27B מקבל תמונות ווידאו כמו גם טקסט, עם פריסת קשב היברידית של 48 שכבות קשב לינאריות מסוג Gated DeltaNet מול 16 שכבות קשב מלא ביחס של 3:1, וזה מה שהופך חלון של 262K לאפשרי להגשה בעלות סבירה. Flint הוא טקסט בלבד.

מה שאתה באמת בוחר

• אם המטרה היא דיוק מרבי בקידוד ויש לך את החומרה, Qwen3.8 27B הוא המודל החזק יותר בכל מדד שבו ניתן להשוות בין השניים בצורה נקייה. זה גם מה שממוצע ששת המבחנים של Recursive עצמה אומר.

• אם המודל חייב לרוץ על מחשב נייד, להישאר לא מקוון, לשמור את קוד המקור על המחשב, או לשרת נפח מספיק גדול כך שהפרמטרים הפעילים יהוו את עיקר העלות — Flint מנצח בציר שמכריע את הפריסה. מודל עם 2.5B פרמטרים פעילים בקצב של 125 אסימונים לשנייה הוא מוצר שונה ממודל צפוף של 27B שזקוק לצומת GPU.

• אם אתם רוצים את שניהם, הם משתלבים היטב: המודל המקומי לעבודה שגרתית ורגישה, והמודל המתארח למשימות הקשות. הפיצול הזה הוא מה שרוב הצוותים מגיעים אליו, וזה המקום שבו שכבת הניתוב מפסיקה להיות פרט שולי.

Qwen3.8 27B הוא המודל היחיד בהשוואה הזו ש-OrcaRouter מגיש ישירות — המזהה הוא qwen/qwen3.8-27b ברשימת המודלים הפעילה שלנו, והוא מקבל טקסט, תמונות ווידאו עם חלון מלא של 262,144 עמדות. מכיוון שמחיר המחירון של הספק מועבר הלאה עם ללא תוספת מחיר, שינוי מחיר מצד Alibaba פעיל אצלנו באותו יום ולא בחידוש הבא. OrcaRouter לא מגיש את Flint; זהו הורדה. לכן ההיברידי שלמעלה הוא באמת היברידי: מסלול אחד למודל מתארח ברמת החזית, וקובץ מקומי לכל מה שאסור שיצא מהמכונה.

הניסוי שאיש לא ערך

כל מספר במאמר הזה הגיע ממעבדה שמודדת את המודל שלה בעצמה, למעט יוצא דופן אחד — הפער של 3.3 נקודות בין PrismML ל-Alibaba ב-Terminal-Bench, שהוא הרמז היחיד הזמין לכמה הנתונים האלה משתנים כשמישהו אחר מחזיק בשעון העצר.

מה שיכריע את זה הוא פשוט ולא קרה: שני המודלים, רתמה אחת, מערך משימות אחד, מכונה אחת, עקבות ריצה מפורסמות. עד אז, העמדה שאפשר להגן עליה היא המצומצמת. במבחני הביצועים ששתי המעבדות מדווחות עליהם ביושר, Qwen3.8 27B הוא מודל הקידוד המדויק יותר. בצירי הפריסה שמכריעים אם מודל יכול לפעול בכלל, Flint הוא היעיל יותר. Recursive אמרה זאת ראשונה, בפוסט ההשקה שלה עצמה, וזה הדבר המהימן ביותר בכל השחרור.