Nanbeige4.3-33B קיבל את המספר החיצוני הראשון שלו: 20, בשווה ל-Qwen3.8-27B, ופטפטן כפליים

במשך שבועיים הראיה היחידה לכך ש-Nanbeige4.3-33B היה טוב במשהו הגיעה מטבלה בת עשרים שורות שהמעבדה כתבה על עצמה. ב-5 בנובמבר זה השתנה: Artificial Analysis הציבה את Nanbeige4.3-33B במדד Intelligence Index v5.0.1 שלה על 20, אותו ציון שהיא נותנת ל-Qwen3.8-27B בהגדרת החשיבה הגבוהה ביותר שלו — 20 במדד המשולב, 20.1 עבור מודל Qwen בהרצת v5.0 הבסיסית. עשירית נקודה קטנה מהרעש בין שתי הערכות של אותו צ'קפוינט, ולכן השניים בתיקו מוחלט במדד המשולב הציבורי היחיד שמודד את שניהם.

זהו המספר שהשחרור חיכה לו, והוא הדבר הכי פחות מעניין במדידה. הציון המשולב מסתיר מודל ששני חצאיו מצביעים בכיוונים מנוגדים: חצי סוכני שנמצא הרחק לפני מודל Qwen שנבנה כדי לנצח אותו, וחצי ידע שמפגר אחריו באופן מדיד. הוא גם מסתיר את העובדה ש-Nanbeige4.3-33B הוציא 160 מיליון טוקנים של פלט כדי להגיע ל-20 הזה — יותר מפי שניים ממה שמודל החציון במחלקת ההשוואה שלו שורף, ומספיק כדי לדרג אותו במקום האחרון ממש מבין שמונה במדד המילוליות של Artificial Analysis.

אז הקריאה הכנה של השחרור הזה כבר אינה "לא מאומתת". היא "מאומתת, ומוזרה יותר ממה שהציעה טבלת הספק." הנה מה שההרצה העצמאית למעשה אומרת, היכן שהיא מסכימה עם המספרים של Nanbeige עצמה, והמקום האחד שבו מדידה חיצונית הגיעה גבוהה יותר מהטענה של המעבדה עצמה.

מה המשמעות של 20, ומה היא לא

Artificial Analysis מציבה את Nanbeige4.3-33B במקום הראשון מתוך תשעה במחלקת ההשוואה שלה, מול חציון מחלקתי של 10. אותה מחלקה היא תשעת המודלים בעלי משקולות פתוחות בגודל דומה שאיתם היא משווה, והאתר אומר בנפרד שהיא כוללת 144 מודלים בקבוצת ההשוואה הרחבה יותר. כדאי לזכור את שתי האוכלוסיות בו-זמנית: מול מודלים בעלי משקולות פתוחות בגודל דומה בערך היא הדבר החזק ביותר שנמדד, ומול כל התחום — כולל מודלים סגורים בחזית וטובי Qwen, DeepSeek ו-Anthropic — ציון של 20 הוא תוצאה מוצקה באמצע הטבלה.

הפער הזה בין המקום הראשון מתוך 9 לבין ציון באמצע הטבלה שווה לשמור עליו, כי זה בדיוק הפער שהולך לאיבוד כשמסכמים גרסה כ"מנצחת את Qwen". מודל עם משקולות פתוחות בגודל 33B שמגיע לאמצע הטבלה במדד משולב שנשלט בידי מודלים גדולים ממנו פי כמה הוא הישג אמיתי. זו אינה תוצאת חזית, ושום דבר באוצר המילים של הגרסה הזו לא אמור לרמוז אחרת.

מה שהאינדקס אינו כולל הוא מחיר. אין מחיר, כי אין נקודת קצה מתארחת: Artificial Analysis רושמת "אין API זמין לציבור", מיפוי ספקי ההסקה של Hugging Face עבור המאגר ריק, וכל כלי מעקב שמכיל את המודל מציג עלות כלא זמינה. העלות שלך היא החומרה.

שני החצאים של המודל חלוקים ביניהם

Artificial Analysis אינה מפרסמת מספר אחד, וציוני המשנה הם המקום שבו המודל הזה הופך לקריא. קראו אותם כשתי עמודות.

• Terminal-Bench 4.0 (מערך הבדיקה של Artificial Analysis) — Nanbeige4.3-33B 29.8%, מדורג במקום ה-56 מבין כל התצורות בלוח. Qwen3.8-27B ב-xhigh משיג 5.6% באותו מערך בדיקה.

• FrontierCode 2.0 — Nanbeige4.3-33B 10.7%, במקום ה-81. Qwen3.8-27B ב-xhigh משיג 14.9%, כך שמדד איכות הקוד מראה מגמה הפוכה.

• AA-Omniscience v1.1 — ‏Nanbeige4.3-33B מגיעה לנטו של −4.4 עם דיוק של 11.7%. ‏Qwen3.8-27B ב-xhigh מגיעה לנטו של −6.4 עם דיוק של 17.3%. ‏Qwen יודעת יותר; ‏Nanbeige יוצאת טוב יותר בסך הנטו כי היא נוטה יותר לסרב לענות.

• AA-Omniscience אי-הזיה — Nanbeige4.3-33B 81.8%, במקום ה-7 בכל האתר. Qwen3.8-27B ב-xhigh משיג 71.4%.

• AutomationBench — Nanbeige4.3-33B 53.1%, דורג במקום ה-82. AA-Briefcase v1.1 — 1,162, דורג במקום ה-90. Terminal-Bench-Science 0.1 — 0.9%, דורג במקום ה-89.

• HLE-Diamond — 6.9%, מדורג במקום ה-117. תת-הקבוצה הקשה של CritPt v2 — 15.5%, מדורג במקום ה-85. GDP.pdf — 11.2%, מדורג במקום ה-135.

הדפוס לאורך השורות האלה עקבי. כשהמשימה היא "להפעיל מסוף לאורך זמן רב ולא לעצור מוקדם", המודל הזה משיג בערך פי חמישה מהציון של מודל Qwen. כשהמשימה היא "לדעת עובדה", הוא מאחור — וכשהמשימה היא "לדעת עובדה או לומר שאינך יודע", הוא מקדים כמעט את כל מה שנמצא בלוח, עם 81.8% אי-הזיה.

השילוב הזה אינו מקרה של כיוונון. זה מה שמודל שנבנה ליצירת מסלולי סוכן נראה כמו כאשר מכוונים אליו מבחן ידע. מודל מורה שממציא עובדות הוא מורה שמרעיל את נתוני האימון של התלמיד, ולכן כיול חשוב יותר משליפה בצינור שננבייג' אומרת שהיא בונה. בין אם העסקה הזו הייתה מכוונת ובין אם התהוותה מעצמה, היא הדבר שהכי קל להגן עליו בשחרור.

בעיית האריכות היא בעיית עלות במסווה

דוח של Artificial Analysis מציין ש-Nanbeige4.3-33B יצר 160 מיליון טוקנים של פלט בזמן שהוערך במדד האינטליגנציה. המודל החציוני בקטגוריית ההשוואה שלו יצר 77.7 מיליון. בדירוג המילוליות של האתר הוא נמצא במקום האחרון, #8 מתוך 8 בקטגוריה הזו, בערך פי 2.06 מהחציון. נפח הקלט היה 15.4 מיליארד טוקנים, מה שמעמיד את יחס הפלט-לקלט על 1.034%.

שני דברים נובעים מכך. הראשון הוא שה-20 היה יקר לקנייה. אם משלמים לפי טוקן בכל מקום, מודל שפולט פי שניים טוקנים עבור אותו ציון משולב עולה בערך פי שניים ליחידת יכולת נמדדת, והמדד אינו מנרמל זאת. השני הוא שמילוליות היא בעיית השהיה לפני שהיא בעיית כסף: מודל צפוף של 33B על כרטיסי ה-GPU שלך שמייצר פי שניים טוקנים לוקח פי שניים זמן לסיים משימה.

ההגדרות המומלצות של Nanbeige עצמה מסבירות חלק מזה ואינן מהוות הצדקה לכל זה. הכרטיס דורש תקרה של 262,144 טוקנים לחשיבה ולצ'אט, 65,536 לעבודה סוכנית, עם חשיבה פעילה כברירת מחדל. כל מודל שנאמר לו שהוא רשאי לחשוב במשך רבע מיליון טוקנים ישתמש בחלק מהם. אבל החציון של הקבוצה הוא השוואה הוגנת — גם מודלים אחרים מאחורי אותו מדד הם מודלי חשיבה — והמכפיל של פי 2.06 שורד את הבקרה הזו.

בפריסה עצמאית התיקון המעשי הוא תקציב, לא החלפת מודל: הגבילו את מספר הטוקנים החדשים המקסימלי לכל משימה, ומדדו את שיעור ההצלחה שלכם ב-8K, 16K ו-32K לפני שאתם מניחים שברירות המחדל של הכרטיס מתאימות לעומס העבודה שלכם. רוב המשימות הסוכניות לא משתפרות מעבר לנקודה מסוימת, והמודל הזה לא יגיד לכם היכן הנקודה הזו.

השורה היחידה שבה הריצה החיצונית גברה על הנתון של הספק עצמו

כרטיס המודל של Nanbeige טוען ש-Terminal-Bench 4.0 עומד על 23.8 עבור Nanbeige4.3-33B לעומת 6.3 עבור Qwen3.8-27B. Artificial Analysis מדדה 29.8. המספר הבלתי תלוי גבוה בשש נקודות מזה שהמעבדה פרסמה על עצמה.

זה חריג מספיק כדי שיהיה שווה לומר זאת בפשטות, מפני שאופן הכשל הסטנדרטי בתעשייה הזו פועל דווקא בכיוון ההפוך — מעבדות מדווחות על המספר הטוב ביותר שהסקפולד שלהן מפיק, והרצות חוזרות מבחוץ מגיעות נמוך יותר. ספק שמדווח בחסר על ציון הסוכנות של עצמו מרמז או על הארנס שונה אצלו, או על הצהרה שמרנית במכוון, או על טבלה שנבנתה לפני נקודת הבדיקה הסופית. אף אחד מאלה אינו רע; כולם אומרים שהטבלה של הספק אינה תקרה ואין לקרוא אותה ככזו.

זה לא נובע מכך שכל שורת ספק היא מהימנה. לטענות הגדולות ביותר בטבלה של Nanbeige — DeepSWE ב-65.5 לעומת 42.5 של Qwen, ו-SWE-Atlas-QnA ב-50.8 לעומת 41.9 — אין עדיין מקבילה בלתי־תלויה, ושתיהן מדדי־בנצ'מרק רגישים ל-scaffold, שבהם בחירת ה-harness משפיעה על הציונים יותר מאשר איכות המודל. מה שתוצאת Terminal-Bench מבססת הוא צר יותר ושימושי יותר: הכיוון האג'נטי של הטענה אמיתי. גודל ההשפעה בכל שורה בודדת עדיין לא מאומת.

לאן זה משאיר צוות שרוצה לנסות את זה

שום דבר לא השתנה בכל הנוגע לגישה. אין נקודת קצה לקרוא לה, אין מחירון ואין רשימת ספקים — המשקלים נמצאים ב-Hugging Face תחת Apache 2.0, ונתיב ההגשה הוא vLLM, SGLang או Transformers על חומרה שבבעלותך. נקודת הבדיקה ב-bfloat16 היא 66.3 GB על פני ארבעה עשר שברים, ובהקשר של 512K מטמון ה-KV לבדו מגיע לכ-104 GiB, ולכן תצורת העבודה היא מקביליות טנזורית בארבע דרכים ולא כרטיס גדול אחד.

מה שהשתנה הוא שכעת אפשר לדלג על החלק היקר של בדיקת הנאותות. לפני השבוע הזה, הערכת Nanbeige4.3-33B חייבה הקצאת ארבעה כרטיסי GPU כדי לגלות אם הטענות הסוכניות שרדו מפגש עם מערך בדיקה ניטרלי. ה-29.8 ב-Terminal-Bench 4.0 עונה על השאלה הראשונה — הכיוון נכון — ונתון המילוליות עונה על שאלה שאיש לא שאל, והיא מה המודל יעלה לך בטוקנים לכל משימה שהושלמה.

אם אתם רוצים נקודת השוואה שאפשר באמת לפנות אליה היום, Qwen3.8-27B הוא בקרת הייחוס הטבעית: אותו ציון משולב, מחיר מפורסם וחלון של 262K. הוא פועל על OrcaRouter במחיר של $0.33 למיליון טוקני קלט ו-$2.40 למיליון טוקני פלט, על אותו מפתח כמו שאר הקטלוג, כאשר מחירי המחירון של הספקים מועברים ללא תוספת מחיר. הרצת מערך המשימות שלכם מול מודל מתארח ומודל באחסון עצמי מאחורי כלל ניתוב אחד היא הדרך הזולה ביותר לגלות אם צ'קפוינט dense של 33B על החומרה שלכם מנצח מודל 27B שאתם שוכרים לפי טוקן — וזו שאלה ש-Intelligence Index לא יכול לענות עליה עבורכם, כי הוא לא יודע מהן המשימות שלכם או כמה עולים ה-GPUs שלכם.

הדברים שעדיין אינם ידועים באמת הם מצומצמים. האם Nanbeige4.3-3B, יעד הזיקוק שהמודל הזה נועד ללמד, יורש חלק מהכיול. האם מילוליות היתר שורדת אצל התלמיד, מכיוון שמודל קטן שמפיק פי 2 טוקנים הוא טעות זולה בהרבה. והאם תוצאת אי-ההזיה נשמרת מחוץ לרתמת Omniscience, כי 81.8% הוא מספר יוצא דופן ומספרים יוצאי דופן ראויים לבחינה נוספת לפני שמישהו בונה עליהם צינור עיבוד.