SubQ Snap 1.1 מתחלק במקום הראשון ב-Decision Index בזכות למידה להימנע מהכרעה

המודל החדש ביותר בראש Artificial Analysis Decision Index v1.0 אינו זה שנותן את המספר הרב ביותר של תשובות נכונות. SubQ Snap 1.1, שיצא על ידי Subquadratic ב-22 באוקטובר 2026, קיבל 65 והשתווה לd1-ultra ולElephant 9B במקום הראשון. Jev 1.14 עומד על 57. קראו את האותיות הקטנות מתחת לאינדקס והסיבה לתיקו אינה דיוק גולמי כלל: הכתיבה של Artificial Analysis מציבה את הדיוק של Snap 1.1 על 20%, לעומת 32% עבור d1-ultra ו-12% עבור Elephant 9B. מה ש-Snap 1.1 עושה טוב יותר משניהם הוא לסרב לענות.

זו תוצאה הנדסית אמיתית, לא תחבולת מדד ביצועים, אבל היא משנה את מי שצריך להתייחס לזה. מודל החלטה אינו מודל צ'אט. הוא מקבל מסמך וקבוצה קבועה של תשובות מותרות — לנתב לתור הזה או לזה, להפעיל את הכלי הזה או לסרב, כן או לא או להסלים — ומחזיר בחירה עם הסתברות מכוילת מצורפת. הטיעון של Subquadratic מאז שתצוגת התצוגה המקדימה שוחררה עשרה ימים קודם לכן היה שעומס העבודה הזה ראוי לארכיטקטורה משלו, ולא למודל LLM כללי ששורף אסימוני פלט כדי לייצר את המילה "refund". גרסה 1.1 היא המהדורה הראשונה שבה טענת הכיול ספציפית מספיק כדי לבדוק אותה.

מה בעצם השתנה בין Snap 1.0 ל-1.1?

זו מהדורת פוסט-אימון, לא מודל חדש. עמוד השדרה Subquadratic Sparse Attention, חלון של 384K טוקנים ומסלול הקלט של טקסט פלוס תמונה — כולם ללא שינוי מ-Snap 1.0, שעלה לאוויר ב-12 באוקטובר במחיר של $0.05 למיליון טוקני קלט. מה שהשתנה הוא האופן שבו המודל מתנהג כשהוא אינו בטוח: הספק אומר ש-1.1 מוסיף כיול אי-ודאות מפורש ומזקק הסקה רב-שלבית למעבר קדימה יחיד, במקום לייצר שרשרת מחשבות ואז להתחייב לתשובה.

המספרים ש-Subquadratic מדווחת על השינוי הזה ספציפיים באופן חריג, וזה גם טוב וגם ראוי לבחינה מדוקדקת. שגיאת הכיול הצפויה במבחני הסתברות שנשמרו בנפרד ירדה מ-0.108 ל-0.014. שגיאות עם ביטחון גבוה בשאלות שאין להן תשובה ירדו מ-294 מתוך 600 ל-57 מתוך 600 — הקיצוץ של 81% שסיקור ההשקה ממשיך לצטט. הזיות בביטחון יתר על קלטים מחוץ להתפלגות ירדו מ-99.3% ל-12.5%. ההתאמה לכלל החלטה אופטימלי לפי בייס עלתה מ-83% ל-90%. בחבילת הבנצ'מרקים הארגוניים בת 16 הבנצ'מרקים של הספק, 1.1 מגיע בממוצע ל-7.2 נקודות מעל Jev 1.14 עם רווח סמך של 95% של 6.5 עד 7.8, כשהוא זוכה ב-12, מסיים בתיקו ב-3 ומפסיד ב-1, ובממוצע 5.5 נקודות מעל Snap 1.0.

כל זה מדווח על ידי הספק. אף אחד מחוץ ל-Subquadratic טרם פרסם הרצה של 1.1; המאגרים העצמאיים שקיימים בדקו את מודל התצוגה המקדימה, והם נדונים בהמשך.

איך מודל עם דיוק של 20% מגיע לתיקו על המקום הראשון

מדד Decision Index אינו נותן ציון לדיוק בבידוד. הוא נותן ציון לתוצאה של החלטה תחת אי-ודאות, כלומר הימנעות ממענה על שאלה שהמודל אינו יכול לענות עליה נכון שווה יותר מניחוש בטוח — ושווה הרבה יותר מניחוש שגוי בטוח. ‏Artificial Analysis מדווח ששיעור אי-ההזיה של Snap 1.1, כלומר באיזו תדירות הוא אמר "אני לא יודע" בשאלות שהוא לא הצליח לענות עליהן נכון, הוא 86%. ‏Elephant 9B גבוה יותר עם 93% ו-d1-ultra נמוך מעט יותר עם 85%. הדיוק של Snap 1.1, 20%, הוא האמצעי בשלישייה הזו, וציון המדד שלו זהה לזה של שניהם.

האם זו הפשרה הנכונה תלוי לחלוטין במה שעולה לך תשובה שגויה בהמשך התהליך. במערכת ניתוב כרטיסי תמיכה, ניתוב שגוי שנעשה בביטחון עצמי שולח תלונת חיוב לתור ההנדסה ולקוח ממתין יומיים; הימנעות מתשובה שולחת אותה לשלב מיון אנושי שעולה שלושים שניות. במשימת סיווג תוכן בכמות גדולה שבה אין אדם בלולאה, הימנעות מתשובה היא רק שורה ללא תווית ומספר הדיוק הוא זה שקובע. המדד אומר לך ש-Snap 1.1 נבנה עבור המקרה הראשון. הוא לא אומר לך שהוא המסווג המדויק ביותר שאפשר לקנות, כי הוא לא.

הורדת המחיר, והמכנה שאיש אינו מצטט

השינוי הנוסף בגרסה 1.1 הוא המחיר: 0.04 דולר למיליון טוקני קלט, ירידה של 20% לעומת 0.05 דולר בתצוגה המקדימה, כאשר טוקני פלט בחינם. המחצית השנייה הזו היא החלק שמעצב מחדש את החשבון. מסווג שנבנה על מודל גנרטיבי משלם על התשובה — בדרך כלל קצרה, אבל מודלי חשיבה יכולים לבזבז מאות טוקנים כדי להחליט מה לפלוט. ל-Snap אין פלט שעבורו צריך לשלם, כך שקריאה שקוראת 100K טוקנים עולה כארבע עשיריות הסנט ולא יותר.

Artificial Analysis מציגה את אותו נתון לכל משימה ולא לכל טוקן: כ-30 דולר למיליון משימות עבור Snap 1.1, לעומת 32 דולר עבור d1-ultra ו-8.4 דולר עבור Elephant 9B. המספר לכל משימה הוא השימושי, והוא גם תזכורת לכך שמחיר מחירון לכל טוקן הוא דרך גרועה להשוות מודל החלטות לכל דבר אחר. החשבון משתנה עם אורך הקלט, כך שקריאת ניתוב של 4K טוקנים וסקירת חוזה של 300K טוקנים נופלות לקטגוריות עלות שונות לחלוטין למרות שהתעריף זהה.

מה שהמספרים של הספק לא מכריעים

שני דברים שכדאי להחזיק בנפרד מפוסט ההשקה. הראשון הוא ספקנות. הסיקור הקהילתי של ההשקות של Subquadratic — כולל הדיווח של BlockBeats שהופץ כ"איש כל-בו של AI" — העלה שאלות לגבי מידת היכולת לשחזר באופן עצמאי את מערך הטענות, ולמודל אין משקלים פתוחים, כך שאין checkpoint שמישהו מבחוץ יכול להריץ. השני הוא שהבדיקות העצמאיות שכן קיימות הורצו מול ה-preview, לא מול 1.1. השוואה משוחזרת של jcarlosrodicio מצאה ש-Snap מעט מאחורי Jev מתחת ל-30K טוקנים (93.9% לעומת 94.7%) וממש מאחור בלוגים של 360K טוקנים (58.8% לעומת 77.1% של Jev כשהחלקים של Jev חולקו). בנצ'מרק נפרד להנדסת תוכנה, snap-vs-jev-swe, מצא את Snap ב-87.5% באיתור קבצים ב-SWE-bench Verified לעומת בסיס אקראי של 10.6%, ומדד היפוכי תשובות ב-5.0% מהפריטים כשסדר האפשרויות הוחלף.

התוצאות האלה אינן סותרות את 1.1 — עבודת הכיול היא בדיוק סוג השינוי שהיה מזיז אותן — אך הן גם אינן מהוות ראיה לכך. קיימת גם אי-עקביות פנימית קטנה בנתונים שפורסמו: סיקור ההשקה מציין ציון When2Call של 96.2, בעוד שהגרסה הרב-ברירתית המתוקנת-סיכוי של Subquadratic עצמה לאותו מבחן מציגה 91.0. שני הציונים יכולים להיות נכונים עבור פורמטים שונים של משימה; קונה שמשווה את 96.2 למספר של מתחרה צריך לדעת איזו גרסה הוא מחזיק בידיו.

איפה זה נשבר

עמודת ההפסד במערך 16 מבחני הבנצ'מרק של הספק עצמו מלמדת. PhishNChips, סט לזיהוי פישינג, מגיע 22 נקודות מאחורי Jev 1.14, ו-Subquadratic מייחסת זאת לכיול סף ולא לאיכות דירוג — ROC-AUC בערך באותה רמה, 0.91 מול 0.92. זו בעיה ניתנת לתיקון עבור צוות שמוכן לכוונן סף, ובלתי ניתנת לתיקון עבור צוות שרצה פתרון מוכן להחלפה. תת-התחום של ידע והסקה הוא היחיד מבין חמישה שבו Jev מוביל באופן חד-משמעי, 55.1 מול 50.9. Snap 1.1 הוא החזק ביותר היכן שקבוצת התשובות מפורשת והראיות נמצאות במסמך: כלים ואוטומציה (85.3 מול 74.6), אחזור וסיווג (67.0 מול 63.1), הבנת שפה (71.6 מול 63.3).

מי צריך לזוז, ומי צריך לחכות

עברו לכך אם ההחלטה שלכם היא החלטת ניתוב, בחירת כלים, הסלמה או רלוונטיות שמתקבלת על מסמכים ארוכים, ותשובה שגויה שנאמרת בביטחון עולה יותר מהסלמה. חלון ה-384K הוא הסיבה התפעולית: מעבר יחיד על חוזה מלא, שרשור פניות או צרור לוגים, בלי שכבה לפיצול שצריך לבנות ובלי צינור אחזור שצריך לשמור מסונכרן. לצוותים שכבר מריצים את התצוגה המקדימה יש את המקרה הברור ביותר, מכיוון שהמחיר ירד והכיול השתפר בלי שינוי ב-API.

חכו אם אתם זקוקים לטקסט שנוצר, אם דיוק של 20% בתמהיל השאלות של הבנצ'מרק נמצא מתחת לרף שלכם, או אם אתם זקוקים להשהיה של מתחת ל-100 מילישניות בנתיב חם — Subquadratic אינה מפרסמת נתון השהיה עבור 1.1, ומדידת צד שלישי של התצוגה המקדימה העמידה קריאה של 8K טוקנים על כ-0.75 שניות. חכו גם אם אתם זקוקים לאחסון עצמי: אין משקולות.

הערה מעשית אחת לגבי המקום שבו זה נמצא בסטאק. SubQ Snap 1.1 מוגש דרך ה-API והקונסולה של Subquadratic עצמה; הוא אינו בקטלוג של OrcaRouter, ולא נעמיד פנים אחרת. מה שכן אנחנו מציעים הוא השכבה שמאחורי ההחלטה: כאשר Snap מפרש קריאה כ"להשתמש במודל", המודל הזה הוא אחד מ-200+ מודלים שנגישים דרך מפתח יחיד ב-OrcaRouter, במחיר המחירון של הספק עם 0% תוספת ועם מעבר אוטומטי בין ספקים במקרה של תקלה. שכבת ההחלטה ושכבת הביצוע נכשלות באופן בלתי תלוי, וכדאי שלא שתיהן יהיו מאחורי אותו ספק.

השאלה הפתוחה אינה אם מספרי הכיול של 1.1 אמיתיים — הם ספציפיים מספיק כדי שייבדקו — אלא אם הם שורדים הרנס אחר. ניסוח הפרומפט הזיז את הדיוק ב-11 עד 14 נקודות במבחני Snap הציבוריים, יותר מהפער בין כל שני מודלים באינדקס. שיפור כיול שמחזיק מעמד רק תחת תבנית הפרומפט של הספק עצמו יהיה דבר קטן בהרבה ממה שההשקה מרמזת.