Nanbeige4.3-33B לעומת Qwen3.8 27B: בחינת הטענה של 18 מתוך 20
- MoonshotחדשMoonshotAI: Kimi K3.1 Pro2026-10-2455אינטליגנציה
- OrcaחדשOrcaCyber: DeepSeek V4.1 Flash Abliterated2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 168 tok/s
- OrcaחדשOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 28 tok/s
- deepseekחדשDeepSeek: DeepSeek V4.1 Flash 10172026-10-1745אינטליגנציה
- DeepSeekחדשDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 142 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 1117 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238אינטליגנציה
- OpenAIOpenAI: GPT-6 Sol2026-09-2248אינטליגנציה
- AnthropicAnthropic: Claude Opus 5.52026-09-2258אינטליגנציה
- xAIGrok 4.72026-09-2146אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 לכל 1M טוקנים · 167 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 לכל 1M טוקנים · 1628 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453אינטליגנציה77כתיבת קוד
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241אינטליגנציה76כתיבת קוד
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245אינטליגנציה76כתיבת קוד
- AnthropicAnthropic: Claude Fable 5.12026-09-0153אינטליגנציה82כתיבת קוד
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 לכל 1M טוקנים · 47 tok/s
Nanbeige4.3-33B מנצח את Qwen3.8-27B ב-18 מתוך 20 בנצ'מרקים. זו הטענה שמסתובבת באינטרנט השבוע, וזו גם טכנית מה שכתוב בכרטיס הדגם. זו גם משפט עם מכנה, והמכנה הוא החלק המעניין. מתוך 20 השורות האלה, 19 מדורגות בנקודות ואחת היא נתון בדולרים; ארבעה מ-18 הניצחונות הם בהפרש של פחות מנקודה אחת; ולפחות שלושה מנתוני Qwen נראים כמועתקים מתוצאות שפרסמה Qwen בעצמה ולא ככאלה שהורצו מחדש על ידי Nanbeige. שום דבר מזה לא הופך את הטענה לשקרית. זה הופך אותה לצרה יותר ממה שהיא נשמעת.
ההתמודדות יוצאת דופן משום ש-Nanbeige בחרה ב-Qwen3.8-27B כשותף האימון שלה. Qwen3.8-27B הושק באמצע אוגוסט 2026, הוא מודל dense עם 27.78 מיליארד פרמטרים, ברישיון Apache 2.0, מולטימודלי בקלט, ובשונה מ-Nanbeige4.3-33B — יש לו ציון עצמאי של 34 במדד Intelligence Index של Artificial Analysis. לכן זהו ההשוואה היחידה במקבץ שבה ליריב יש ציון מאומת ולמודל הנבחן אין. האסימטריה הזו היא הכלי הטוב ביותר העומד לרשותנו לבחינת הטבלה.
מי כתב את הטענה, ומה מכיל המכנה
הטבלה היא של Nanbeige. היא פורסמה בכרטיס המודל של Nanbeige4.3-33B ב-Hugging Face, במאגר שנוצר ב-24 באוקטובר 2026. אין פוסט בלוג נלווה, אין אירוע השקה, ואין שחזור של צד שלישי. כל מספר בעמודת Qwen, וכל מספר בעמודת Nanbeige, הופק או נבחר על ידי המעבדה שעורכת את ההשוואה.
20 השורות מכסות שלוש קבוצות: קידוד אג'נטי (Terminal-Bench 2.1 ו-4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), עבודה משותפת אג'נטית (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench), והסקה (GPQA Diamond, AIME 2026, AA-LCR). ה-harness מפורט בקפידה רבה יותר מרוב כרטיסי הספקים: Terminus 2 עבור Terminal-Bench 2.1, mini-swe-agent v2.4.6 עבור Terminal-Bench 4.0, DeepSWE ו-SWE-Atlas-QnA, Claude Code עבור NL2Repo ו-JobBench, ו-GPT-6 Sol כשופט עבור SWE-Atlas-QnA. החשיפה הזו לזכותה של Nanbeige. היא גם הסיבה לכך שההשוואה קשה יותר לקריאה מאשר ספירת ניצחונות בודדת.
שתי השורות ש-Nanbeige מפסידה
• SWE-Bench Pro — Qwen3.8-27B 61.7 לעומת Nanbeige4.3-33B 60.3. יתרון של 1.4 נקודות ל-Qwen.
• GDPval — Qwen3.8-27B עם 86.4 לעומת Nanbeige4.3-33B עם 84.8. יתרון של 1.6 נקודות לקוון.
אלה שתי השורות שהכותרת "18 מתוך 20" מטשטשת בשקט, והן מצביעות לכיוון עקבי. שתיהן מדדי השוואה לעבודה מקצועית בעלת ערך כלכלי: SWE-Bench Pro הוא הגרסה הקשה יותר של הנדסת תוכנה, ו-GDPval מודד איכות תפוקה במשימות תעסוקתיות אמיתיות. Qwen מנצח בשניהם בפערים שהם קטנים במונחים מוחלטים אך יציבים לאורך שתי משפחות משימות שונות. אם אתם בוחרים בין המודלים האלה לעבודה מקצועית ולא עבור טבלת דירוג, אלה שתיים מהשורות שאמורות לקבל אצלכם את המשקל הרב ביותר, והן השתיים שבהן המודל הנבחן מפסיד.
הכרטיס של Nanbeige אינו מסביר את ההפסדים. הוא לא צריך — ספק רשאי לפרסם טבלה שבה הוא מנצח. אבל קורא צריך לשים לב שההפסדים מתקבצים בדיוק במקום שבו המבחן הכי קרוב ל"האם איש מקצוע יקבל את הפלט הזה", והניצחונות מתקבצים במקום שבו המבחן הכי קרוב ל"האם הסוכן השלים את הלולאה".
ניצחונות שהם שגיאות עיגול
ארבעה מתוך 18 הניצחונות הוכרעו בהפרש של פחות מנקודה אחת.
• Tau3-Bench — 48.8 לעומת 48.5. שלוש עשיריות נקודה.
• GPQA Diamond — 89.5 לעומת 89.2. שלוש עשיריות.
• AIME 2026 — 95.2 לעומת 94.5. שבע עשיריות.
• EnterpriseOps-Gym — 41.0 לעומת 40.2. שמונה עשיריות.
שניים נוספים נמצאים בטווח של כשני נקודות: Toolathlon-Verified ב-70.4 לעומת 68.5, ו-AA-LCR ב-84.0 לעומת 82.0. במדדים בגודל ובשונות כאלה, פער של פחות מנקודה אינו מהווה עדות לעליונות. זוהי עדות לכך ששני מודלים נמצאים באותה רצועה. ניסוח הוגן מחדש של הכותרת יהיה "Nanbeige מוביל בבירור ב-12 מתוך 20, בשוויון ב-6, ומפגר ב-2" — וזו עדיין תוצאה חזקה, ואף שימושית יותר.
הניצחונות הגדולים הם המקום שבו נמצא הוויכוח האמיתי. DeepSWE עם 65.5 לעומת 42.5 הוא פער של 23 נקודות. Terminal-Bench 4.0 עם 23.8 לעומת 6.3 הוא 17.5. Automation Bench עם 54.2 לעומת 38.3 הוא 15.9. DeepPlanning עם 63.3 לעומת 49.2 הוא 14.1. YC-bench, משימה שנמדדת בדולרים, מדווח $1,025,437 לעומת $641,290. אלה לא פערי עיגול. הם אומרים ש-Nanbeige טוב יותר בביצוע לטווח ארוך ורב-שלבי — סוג העבודה שבו מודל צריך להחזיק תוכנית פעילה לאורך עשרות קריאות לכלים. זה סיפור קוהרנטי, והוא עקבי עם חלון ההקשר המקורי של 512K של המודל ועם ההגדרות המומלצות שלו המכוונות לסוכנים.
ייתכן שהעמודות אינן מאותו ניסוי
הנה התצפית שמסבכת את כל הטבלה. שלושה נתונים של Qwen תואמים בדיוק למספרים שפרסמה Qwen עצמה: Terminal-Bench 2.1 ב-73.0, SWE-Bench Pro ב-61.7, ו-GPQA Diamond ב-89.2. Qwen מפרסמת את כל השלושה. השורות ש-Qwen אינה מפרסמת — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — הן בדיוק השורות שבהן הפערים של Nanbeige הם הגדולים ביותר.
הדפוס הזה מתיישב עם שתי שיטות שונות בתוך טבלה אחת: מספרים מועתקים עבור מבחני בנצ'מרק שהיריב כבר פרסם, והרצות חדשות עבור מבחנים שהוא לא פרסם. זו הסקה, לא עובדה שנחשפה — הכרטיס של Nanbeige אומר שכל המודלים הוערכו במאמץ החשיבה הגבוה ביותר עם אותם פרמטרי הסקה ואותה רתמת הערכה, מה שמחליש את האפשרות של העתקה. אבל התאמה מדויקת בשלושה נתונים בלתי תלויים היא צירוף מקרים שראוי לציין, ואם העמודה של Qwen היא תערובת, אז "18 מתוך 20" משווה את ההרצות של Nanbeige להרצות של Qwen בשורות מסוימות, ואת ההרצות של Nanbeige להרצות של Nanbeige באחרות.
יש בעיה שנייה ועדינה יותר. המודל של Nanbeige עצמו מופעל בהרנס שהכרטיס שלו ממליץ עליו: קריאות כלים ב-XML, preserve_thinking=true, טמפרטורה 1.0 לעבודה סוכנית. הכרטיס אינו מציין אם Qwen3.8-27B קיבל את ההגדרות המומלצות שלו עצמו, או הוכנס לאלה של Nanbeige. אם זה האחרון, חלק מפער ה-23 נקודות ב-DeepSWE הוא הבדל תצורה ולא הבדל ביכולות. זו אותה הסתייגות שחלה על כל השוואה בין ספקים, והיא אינה סיבה לפסול את התוצאה — היא סיבה לדרוש הרצה חוזרת ניטרלית לפני שמתייחסים אליה כאל מוכרעת.
הציון העצמאי שרק למודל אחד יש
Artificial Analysis מעניקה ל-Qwen3.8-27B ציון 34 ב-Intelligence Index שלה, כאשר היא נמדדת בתצורת החשיבה xhigh, עם 45.2 אסימוני פלט לשנייה. ההשהיה משתנה לפי ספק: העמוד שלנו מדווח על זמן p50 של 2.95 שניות לאסימון הראשון, לעומת 3.8 השניות ש-Artificial Analysis מדדה בנקודת הקצה שבה דגמה. המדד הזה הוא שילוב של עשר הערכות, כולל Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA ו-AutomationBench-AA — כמה מאותן משפחות בנצ'מרק ש-Nanbeige מדווחת עליהן בעצמה.
ל-Nanbeige4.3-33B אין רשומה ב-Artificial Analysis. זו לא שערורייה; המודל בן יומיים. אבל זה אומר ששני הצדדים של ההשוואה הזו אינם שווים מבחינה אפיסטמית. ה-34 של Qwen הוא מספר שמישהו אחר מדד. ה-80.9 של Nanbeige ב-Terminal-Bench 2.1 הוא מספר ש-Nanbeige מדד. אם שניהם מדויקים, סביר להניח ש-Nanbeige היה מגיע הרבה מעל 34 באותו מדד משולב — ה-Terminal-Bench 4.0 שלו עם 23.8 וה-SciCode עם 52.6 הם שורות חזקות. הנקודה היא ש"סביר להניח" הוא זה שעושה את העבודה, והוא ימשיך לעשות אותה עד שמעריך בלתי תלוי יריץ את המודל.
זו גם הסיבה המעשית להתייחס לטענה בדבר 18 מתוך 20 כאל טיעון פתיחה. הטענה ניתנת להפרכה באופן ספציפי וזול: להגיש את Nanbeige4.3-33B להערכה בלתי תלויה ולהשוות את התוצאה המשולבת. עד שזה יקרה, ההצהרה הכנה החזקה ביותר היא ש-Nanbeige טוענת ליתרון בעבודה סוכנית לטווח ארוך ופיגור קל באיכות התפוקה המקצועית, ושא רק אחד משני המודלים הללו נבדק על ידי מישהו מלבד היצרן שלו.
עלות לכל משימה, לא לכל טוקן
Qwen3.8-27B הוא היחיד מבין השניים שאפשר לפנות אליו היום. ב-OrcaRouter הוא עולה $0.33 למיליון טוקני קלט ו-$2.40 למיליון טוקני פלט — מתחת ל-$0.50 ול-$3.00 ש-Artificial Analysis מפרטת עבור נקודת הקצה של Alibaba עצמה. המודל הזה מוגש על התשתית שלנו ולא נמכר מחדש לפי מחיר המחירון של הספק, ולכן הוא מתמקם מתחת למחיר נקודת הקצה של Alibaba עצמה; במודלים שאנחנו כן מעבירים הלאה, כלל תוספת המחיר של 0% פירושו שמחיר המחירון של הספק הוא מה שאתם משלמים. כך או כך, מחירי הטוקנים משתנים מספיק לפי מסלול, כך שנקודת הקצה של Alibaba עצמה אינה אוטומטית הזולה. המודל גם מקבל תמונות ווידאו לצד טקסט, ובעל חלון של 262,144 טוקנים.
עם זאת, מחיר לכל טוקן הוא היחידה הלא נכונה להשוואה הזו. סוקרים מדווחים ש-Qwen3.8-27B בזבזנית טוקנים באופן חריג — בערך פי שלושה טוקנים מ-Qwen3.6-27B במשימות דומות — ו-Artificial Analysis מעריכה כ-1.01 דולר למשימת Intelligence Index בהגדרת xhigh. מודל שמנצח במחיר לכל טוקן אך מפסיד במספר הטוקנים לכל משימה עדיין יכול להיות האפשרות היקרה יותר. ל-Nanbeige4.3-33B אין מחיר לכל טוקן כלל: המשקלים בחינם, אין ספק הסקה שמפרס אותה, והרצה שלה משמעה פריסת tensor-parallel על ארבעה GPUs שנשארת פתוחה בין אם מגיעה תעבורה ובין אם לאו.
כאן שכבת ניתוב מצדיקה את מקומה. Qwen3.8-27B זמין דרך המפתח שלנו היום; Nanbeige אינו זמין, ולא נעמיד פנים שכן. מה שאפשר לעשות הוא להשאיר את Qwen כמסלול הייצור ולנתב נתח מתעבורה אמיתית לנקודת קצה של Nanbeige בהארחה עצמית כדי למדוד השלמת משימות וטוקנים שנצרכו, במקום לסמוך על טבלה. מעבר אוטומטי לגיבוי חשוב כאן: נקודת קצה ניסיונית שקורסת באמצע הריצה צריכה לעבור למודל הקיים, ולא להפיל איתה את הסוכן. ההחלטה תלויה אז בעלות שלכם לכל משימה שהושלמה, שהוא המספר היחיד שמשלב ביושר את התנהגות הטוקנים של שני המודלים.
מה היה מפריך את זה
שלוש תוצאות יכריעו את השאלה, ואף אחת מהן אינה מצריכה מודל חדש.
• רשומה של Artificial Analysis עבור Nanbeige4.3-33B. אם היא תיפול סמוך ל-34 או מעליו, כיוון טבלת הספק יאושר וההיקף יהפוך לנתון לדיון. אם היא תיפול הרבה מתחתיו, הטענה בדבר 18 מתוך 20 זקוקה להסבר טוב בהרבה מבחירת ה-harness.
• הרצה חוזרת ניטרלית של DeepSWE ו-Terminal-Bench 4.0 עם שני המודלים בתצורות המומלצות שלהם. זהו הניסוי הספציפי שהטבלה הנוכחית אינה מבצעת, והוא מכוון לשורות הנושאות את רוב היתרון של Nanbeige.
• נתון מפורסם של טוקנים לכל משימה שהושלמה עבור שניהם. מחירים לפי טוקן לא יכולים להשוות מודל צפוף 33B שאתם מארחים מול מודל 27B רעב לטוקנים שאתם שוכרים. עלות לכל עבודה שהושלמה כן יכולה.
פסק הדין שנגן עליו
Nanbeige4.3-33B הוא כנראה מודל הסוכן החזק יותר לטווח ארוך מבין השניים. הפערים ב-DeepSWE, ב-Terminal-Bench 4.0, ב-Automation Bench וב-DeepPlanning גדולים מדי ועקביים מדי בכיוונם מכדי להיות לגמרי ארטיפקט של הרנס, והקונטקסט המקורי של 512K מתאים לתמונה הזו. Qwen3.8-27B הוא כנראה המודל החזק יותר באיכות תוצרים מקצועיים, שבה הוא מנצח בשתי השורות שמודדות זאת, והוא חד-משמעית השמיש יותר: ציון עצמאי, API מתארח, קלט מולטימודלי ומחיר שאפשר לשים בגיליון אלקטרוני כבר היום.
"18 מתוך 20" היא תוצאה אמיתית בלבוש של תוצאה גדולה יותר. הגרסה המדויקת היא שמודל בן יומיים ממעבדה שאיש לא העריך אותה באופן עצמאי טוען ליתרון ברור בביצוע סוכני, לשוויון בהסקה כללית ולפער קטן בתפוקה מקצועית — מול מתחרה שזמין כבר עשרה שבועות ונמדד על ידי מישהו אחר מאשר יוצריו. זו טענה מעניינת באמת. היא עדיין לא סיבה לעבור.
