Nanbeige4.3-33B: 17 מתוך 20 ניצחונות, חלון הקשר של 512K, ושום דבר שלא נבדק באופן עצמאי

ב-02:49 UTC ב-24 באוקטובר 2026, מאגר Hugging Face בשם Nanbeige/Nanbeige4.3-33B הפך לציבורי, ארבע דקות אחרי צ'קפוינט הבסיס הנושא את שמו. לא הופיע פוסט השקה. לא רשומת בלוג, לא הכרזת ספק, לא הודעה לעיתונות — כרטיס המודל הוא התיעוד היחיד ממקור ראשון של שחרור במשקולות פתוחות בעל 33.1 מיליארד פרמטרים, שטענת הכותרת שלו היא שהוא מנצח את Qwen3.8-27B ב-18 מתוך 20 בנצ'מרקים. הטענה הזו אינה שקרית. היא גם אינה ניתנת לאימות עדיין, והסיקור מאז חזר ברובו על הטבלה בלי לקרוא את הערות השוליים שמתחתיה.

אז המספרים אומרים שני דברים בו-זמנית. Nanbeige4.3-33B מוביל ב-17 מתוך 20 השורות בטבלה שלו עצמו, והוא גובר על Qwen3.8-27B ב-18 מהן. אלה ספירות שונות ושתיהן מדויקות: שלוש השורות שבהן הוא לא מוביל הן SWE-Bench Pro, שבה Qwen3.8-27B מנצח 61.7 מול 60.3, GDPval, שבה Qwen3.8-27B מנצח 86.4 מול 84.8, ו-GPQA Diamond, שבה 91.3 של Gemma4-31B גובר על שתיהן. הפסד של שתי שורות ל-Qwen3.8-27B ואחת ל-Gemma4-31B נותן לך 18 מתוך 20 מול מודל Qwen ו-17 מתוך 20 מול השדה. רוב הכתבות בוחרות מספר אחד ומשאירות את האחר בחוץ, וזה דבר קטן שמעיד עד כמה שאר הטקסט נקרא בתשומת לב.

מה שהמאגר קובע, ומה שהוא לא קובע

התחל ממה שניתן לאמת על ידי פתיחת קבצים ולא על ידי ציטוט פרוזה, כי הפער בין השניים הוא הסיפור כאן.

• אושר: המשקלים קיימים. ארבעה־עשר שרדים של safetensors בסך 66,259,989,086 בייט, bfloat16, במאגר שנוצר ב־02:49:18Z ב־24 באוקטובר 2026 ועודכן לאחרונה ב־11:11Z ב־25 באוקטובר. צ'קפוינט בסיס נפרד, Nanbeige4.3-33B-Base, נוצר שלוש דקות קודם לכן ב־02:46:52Z.

• אושר:הרישיון הוא Apache 2.0, כפי שמצוין במטא-נתונים של המאגר ובחלק הקדמי של הכרטיס. אין קובץ LICENSE מבין שמונת הקבצים שאינם קבצי משקל, וזהו פער תיעוד ולא פער משפטי — שדה המטא-נתונים הוא מה ש-Hub ורוב הסורקים קוראים.

• אושר: הארכיטקטורה היא סטאק Llama רגיל, לא תערובת מומחים ולא עיצוב הטרנספורמר הלופי שהמודלים הקטנים במשפחה השתמשו בו. עוד על התצורה בהמשך.

• מאומת: אין נקודת קצה המתארחת אצל ספק. מיפוי ספקי ההסקה של ה-Hub עבור מאגר זה ריק, והכרטיס מציע vLLM, SGLang ו-Transformers, ברוח זו: הביאו את כרטיסי ה-GPU שלכם.

• לא מאומת: שום דבר על איך שהוא אומן. אין מספר טוקנים לאימון מקדים, אין תמהיל נתונים, אין נתון חישוב, אין מתכון לאימון שלאחר האימון המקדים, ואין סעיף מגבלות או בטיחות. בלוק הציטוטים של הכרטיס באורך ארבע שורות.

• לא מאומת:שאף מספר שפורסם ניתן לשחזור. אין מערך הערכה במאגר — אין סקריפטים, אין קובצי תצורת משימות, אין לוגים — ונכון ל-26 באוקטובר, אף גורם שלישי לא פרסם ציון, דירוג ארנה או מיקום במדד עבור מודל זה.

• לא מאומת: שההשקה הייתה חשאית. היא לא הייתה. היא הייתה בלתי מוכרזת על ידי המעבדה, וזה תיאור צר ומדויק יותר: הכרטיס הוא מסמך השקה מלא עם טבלת בנצ'מרקים בת עשרים שורות, ואגרגטורים קלטו אותו בתוך יום. מה שחסר הוא פוסט ממקור ראשון שמסביר מה Nanbeige חושבת שבנתה.

ההבחנה הזו חשובה לכל מי שצריך להחליט מה לעשות עם השחרור. מעבדה שאומרת כלום לא אמרה לך דבר על כוונה, תמיכה או נקודת הביקורת הבאה. מעבדה שמפרסמת כרטיס אך לא פוסט סיפרה לך הרבה מאוד על המודל והשאירה את האסטרטגיה מרומזת — ובמקרה הזה האסטרטגיה מוצהרת בבירור בפסקה השנייה של הכרטיס, ברגע ששמים לב אליה.

הכרטיס מכנה את זה מורה, וזה ממסגר מחדש את כל ההשקה

Nanbeige4.3-33B מתואר כ"מודל מורה מוביל" עבור סדרת Nanbeige4.3, שנבנה ראשון כדי שהמעבדה תוכל לזקק התנהגות סוכנית לתוך מודלים קטנים יותר, "למשל עבור Nanbeige4.3-3B". הכרטיס מפרט "ביצועים סוכניים מתקדמים ביותר בקרב מודלים פתוחים בקטגוריית הפרמטרים ~30B" כמטרה, ולאחר מכן מיד מתאר את 33B כבסיס לצינור זיקוק ולא כמוצר הסופי.

אם קוראים את זה כפשוטו, הגרסה היא תוצר אימון שבמקרה ניתן להפצה. זהו המודל שבו משתמשים כדי לייצר מסלולים עבור תלמיד 3B, והסיבה שמערך הבנצ'מרקים שלו עשיר במשימות סוכן ארוכות טווח — Terminal-Bench, DeepSWE, JobBench, Toolathlon — היא שאלה ההתנהגויות שרוצים להעביר. Nanbeige4.3-3B עדיין לא יצא. כשהוא ייצא, הוא יהיה המודל שרוב האנשים למעשה יריצו, וה-33B הזה יהיה הדבר שמסביר את הציונים שלו.

יש תופעת לוואי שראויה לציון: מודל מורה מותאם לייצר מסלולים טובים בתקציב טוקנים נדיב, לא להיות זול בהסקה. ההגדרות המומלצות בכרטיס מאששות זאת — 65,536 טוקנים חדשים לכל היותר לעבודה סוכנית ו-262,144 לחשיבה ולצ'אט, כשהחשיבה פעילה כברירת מחדל. מודל שמתבקשים שיפלוט רבע מיליון טוקנים אינו מודל שמציבים מאחורי תיבת צ'אט בלי תקציב.

ה-33B שקובץ התצורה מתאר

קרא את config.json והמבנה שגרתי באופן שבו השיווק אינו. חמישים ושתיים שכבות, גודל חבוי 7,168, 56 ראשי שאילתה מול 8 ראשי מפתח-ערך — יחס grouped-query של 7:1 — ממד ראש 128, רוחב FFN של 22,016, ואוצר מילים של 166,912 טוקנים. בסיס ה-RoPE הוא 120,000,000 ללא החלת scaling, ו-max_position_embeddings מוגדר ל-524,288. גרסת ה-transformers המוטבעת בקובץ היא 4.51.1.

מספר הפרמטרים נובע מהמספרים האלה. הטלות הקשב מסתכמות ב-117.4 מיליון פרמטרים לכל שכבה, ה-MLP התלת-שכבתי ב-473.4 מיליון, מה שנותן 590.9 מיליון לכל בלוק לאורך 52 בלוקים: 30.7 מיליארד. שתי מטריצות הטמעה לא-קשורות בגודל 166,912 על 7,168 מוסיפות 2.4 מיליארד. הסך הכולל הוא 33.1 מיליארד, וזה מה שהשם מבטיח ומה ששוקל 66.3 GB של bfloat16.

לעומת המודל שהטבלה כולה מוקדשת לתקוף אותו, הפערים חדים יותר מכפי שהציונים מרמזים.

• גודל — 33.1B צפוף עבור Nanbeige4.3-33B לעומת 27.78B צפוף עבור Qwen3.8-27B. שניהם צפופים; אף אחד מהם אינו תערובת מומחים.

• מודאליות — טקסט בלבד, אנגלית וסינית, עבור Nanbeige4.3-33B לעומת קלט מקורי של טקסט, תמונה ווידאו עבור Qwen3.8-27B. אם צינור העיבוד שלכם קורא צילומי מסך, ההשוואה נגמרת לפני שהבנצ'מרקים מתחילים.

• קשב — קשב מלא ואחיד לאורך 52 שכבות עבור Nanbeige4.3-33B לעומת מבנה היברידי עבור Qwen3.8-27B, שמפעיל 48 שכבות לינאריות DeltaNet עם שער מול 16 שכבות קשב מלא בתבנית של 3:1. זו הסיבה שהמודל של Qwen זול בהקשר ארוך, וזה לא.

• הקשר — 524,288 טוקנים מקוריים ב-Nanbeige4.3-33B לעומת 262,144 מקוריים, הניתנים להרחבה לכ-1M עם YaRN, עבור Qwen3.8-27B.

• רישיון — Apache 2.0 בשניהם, מה שמסיר את הסיבה הרגילה להעדיף אחד.

ההבדל בתשומת הלב אינו הערת שוליים. הוא כל הסיבה לכך שהחלק הבא קיים.

512K הוא ערך בקובץ קונפיגורציה, לא הקשר עבודה.

כל סיכום של המהדורה הזו נפתח בחלון של חצי מיליון טוקנים. כמעט אף אחד מהם לא עושה את החשבון, והחשבון אינו סלחני.

עם 52 שכבות, 8 ראשי מפתח-ערך של 128 ממדים, ואחסון bfloat16, כל טוקן במטמון עולה 2 × 52 × 8 × 128 × 2 בייטים — 212,992 בייטים, או 208 KiB. שלוש השלכות נובעות ישירות.

• במלוא 524,288 הטוקנים, מטמון ה־KV לבדו הוא 111.7 GB, כ־104 GiB. זה יותר מ־66.3 GB של משקלים, והוא אינו נכנס על אף מאיץ יחיד הנמכר כיום.

• ב-131,072 טוקנים — רבע מהחלון המוצהר — המטמון הוא 27.9 GB, בקירוב 26 GiB. הוסיפו את המשקלים ותגיעו ל-92 GB לפני אקטיבציות, ולכן הדוגמאות של הכרטיס עצמו משתמשות במקביליות טנזורית בארבע דרכים.

ב-32,768 אסימונים המטמון הוא 6.98 GB, כ-6.5 GiB. זהו המספר שחשוב בפועל, וזהו אורך ההקשר שדוגמת ה-llama.cpp של מאגר ה-GGUF הקהילתי אכן מגדירה.

שום דבר מזה לא הופך את הטענה בדבר 512K ללא ישרה. החלון הוא נייטיבי — בלי YaRN, בלי גורם סקיילינג, בסיס rope של 120 מיליון — ועל צומת עם ארבעה GPUs ועם מספיק זיכרון אפשר לשרת אותו. זה כן אומר שהמספר בכותרת הוא תקרה שלא תגיעו אליה בחומרה שבבעלותכם, ושכל מי שמצטט "הקשר 512K" כסיבת רכישה לא חישב את עלות הקאש. השוו זאת לעיצוב של Qwen3.8-27B, שבו שלושה רבעים מהשכבות מחזיקות מצב רקורנטי בגודל קבוע במקום קאש גדל, והפער בעלות לכל טוקן בהקשר ארוך הוא מבני ולא עניין של כיוונון.

עוד דבר אחד מהקונפיגורציה, וזה מסוג הפרטים שעולים אחר צהריים שלם: use_cache מוגדר ל-false, גם ב-config.json וגם ב-generation_config.json. טעינת המודל דרך קטע הקוד של Transformers שבדף הכרטיס וקריאה ל-generate בלי לעקוף את זה תחשב מחדש את הקידומת בכל צעד. מסלולי vLLM ו-SGLang מנהלים מטמון משלהם ואינם מושפעים. אם הרצת הבנצ'מרק הראשונה שלך נראית איטית באופן לא מוסבר, בדוק זאת לפני שאתה מאשים את המשקלים.

לקרוא את טבלת הבנצ׳מרק כפי שההערות השוליים שלה מבקשות ממך

הטבלה מתועדת טוב יותר מרוב טבלאות הספקים, והתיעוד הוא המקום שבו נמצאות ההסתייגויות. שתים־עשרה הערות שוליים יושבות תחת עשרים שורות, והן אומרות יותר על יכולת ההשוואה מאשר הציונים.

• Terminal-Bench 2.1 הורץ עם Terminus 2. Terminal-Bench 4.0 ו-DeepSWE הורצו עם mini-swe-agent v2.4.6.

• NL2Repo הורץ באמצעות הרנס Claude Code; JobBench עם Claude Code בתוספת כלי חיפוש.

• תשובות SWE-Atlas-QnA דורגו מול 1,304 רובריקות ספציפיות למשימה באמצעות GPT-6 Sol כשופט ברמת מאמץ חשיבה בינונית. שופט רובריקה הוא מודל שני בלולאה, והוא אינו המודל הנבחן.

• ‏Toolathlon-Verified אינה קובעת מגבלת max_tokens על בקשות בודדות. ‏Claw-Eval מדורגת רק על תת-הקבוצה General, 157 משימות של תור יחיד. ‏YC-bench שומרת רק את עשרת תורי השיחה האחרונים כהיסטוריה לפני כל קריאה. ‏GDPval משתמשת ברובריקות מתוקנות.

• המודל Nanbeige4.3-33B עצמו הוערך עם preserve_thinking=true, אשר שומר על נימוקי העוזר הקודמים לאורך סבבים. הכרטיס ממליץ בדיוק על כך לשימוש בכלים רב-סבבי, ובדיוק ההיפך לצ׳אט רגיל.

כשקוראים אותן יחד, ההערות הללו מתארות חבילת מדדים שנבנתה כדי למדוד התנהגות סוכנים באופק ארוך עם תקציבים נדיבים. זה דבר שניתן להצדיק את מדידתו — לשם כך נועד המודל — אבל זה גם המשטר שבו בחירת ה-harness משפיעה על הציונים ביותר. הפער הגדול ביותר בטבלה, DeepSWE עם 65.5 לעומת 42.5 עבור Qwen3.8-27B, הוא פער של 23 נקודות במבחן שמונע על ידי scaffold של סוכן. הפערים הקטנים ביותר הם בשורות שבהן ל-scaffold יש החשיבות הקטנה ביותר: AIME 2026 עם 95.2 לעומת 94.5, Tau3-Bench עם 48.8 לעומת 48.5, EnterpriseOps-Gym עם 41.0 לעומת 40.2.

התבנית הזו מתיישבת עם שני הסברים. או שהמודל באמת טוב בהרבה בקידוד סוכני מהמתחרים שלו, או ששורות המשימות הסוכניות הן אלה שבהן מעבדה שמכווננת את ה-scaffold שלה מול המודל שלה מרוויחה הכי הרבה. שום דבר במאגר אינו מבחין ביניהם, והעמדה הכנה עד שמישהו יריץ מחדש את סוללת המבחנים היא ששניהם עדיין על הפרק. השורות שבהן המודל מנצח בנקודה אחת או פחות — Tau3-Bench, EnterpriseOps-Gym, AIME, Claw-Eval עם 78.3 מול 75.2 — הן אלו שהכי פחות סביר שישרדו מערכת הערכה עצמאית.

מה שלא קיים, נכון ל-26 באוקטובר, הוא שום מספר חיצוני כלל. אין רשומה במדד של Artificial Analysis, אין דירוג ארנה, אין שחזור על ידי אף אחד. הנתון AA-LCR של 84.0 בכרטיס עצמו הוא Nanbeige שמריצה benchmark של Artificial Analysis, ולא Artificial Analysis שמריצה את Nanbeige.

המבחן המעשי היחיד עד כה, ומה שהוא מראה

אדם אחד פרסם משהו מהרצה בפועל של המשקלים, והתוצאה ראויה לדיווח דווקא מפני שהיא דלה. מפתח יפני טען את ה-checkpoint המלא ב-bfloat16 על Colab A100 עם 80 GB, תוך שימוש ב-Transformers רגיל עם dtype אוטומטי ומיפוי התקנים, ומדד כ-63 GB של VRAM בשימוש. התגובה הראשונה, שהוגבלה ל-1,024 טוקנים חדשים, ארכה כ-11 שניות. לא ניתן נתון של טוקנים לשנייה; הרושם היה שמודל צפוף בגודל 33B ב-bfloat16 הוא איטי, וזה מה שהחישוב האריתמטי חוזה.

שלושה פרומפטים הגיעו לאחר מכן. ההשוואה בין 9.11 ל-9.8 יצאה נכונה, עם הסבר עשרוני ברור. שאלה על דמויות אנימה הניבה תשובה סבירה מבחינה סובייקטיבית אך שמות משובשים. שאלה על ראש ממשלת יפן הניבה תשובה שגויה, טענה לחיתוך ידע ביוני 2024, ושם מומצא. שרשרת מחשבה באנגלית דלפה לפני תג ה-think הסוגר.

שלושה פרומפטים לא פורמליים אינם הערכה ולא צריך לקרוא אותם ככזו. מה שהם כן הם נקודת נתונים שמתיישרת עם הצורה של טבלת הספקים: מודל שמכוונן היטב לעבודה אג'נטית באנגלית, שידע העולם שלו מיושן בשנתיים, ושאינו בולט בשפה שנייה. הכרטיס טוען לאנגלית וסינית; גם מבחן בשפה הסינית לא פורסם על ידי איש.

היכן שהגרסה המקוונטטת מפסיקה להיות אותו מודל

רוב האנשים שיריצו את זה לא יריצו 66 GB של bfloat16. הם יריצו קוונטיזציה של 4 סיביות על כרטיס אחד, ודוחות הקוונטיזציה שהופיעו בתוך יום מהשחרור מרמזים שזו ירידה גדולה מהרגיל.

מאגר ה-GGUF הקהילתי מפרסם סטיית KL והתאמת top-1 מול מודל ה-bfloat16, כפי שנמדדו על מערך טקסט סטנדרטי, וה-README שלו עצמו מזהיר שהמודל "רגיש באופן בלתי רגיל לקוונטיזציה".

• Q8_0, 35.2 GB — KL 0.0032, 98.0% התאמת top-1.

• מטריצת חשיבות Q5_K_M, 24.7 GB — KL 0.0213, 94.7% top-1.

מטריצת חשיבות Q4_K_M, 21.2 GB — KL 0.0380, 92.6% top-1.

• llama.cpp Q4_K_M רגיל, 20.1 GB — KL 0.0693, 89.9% top-1. אותו רוחב סיביות כמו בשורה שמעל, כמעט כפול מהסטייה.

• מטריצת חשיבות IQ3_S, 17.1 GB — KL 0.1019, 87.5% top-1. ה-README מציין שקבצים מתחת ל-4-bit מאבדים דיוק רב יותר באופן משמעותי.

המרת MLX של 8 סיביות מדווחת על 98.6% top-1 ב-KL 0.015, ומשווה מסלול AWQ של 4 סיביות ב-92.1% top-1 עם KL 0.181 — ירידה תלולה בהרבה מזו של GGUF עם מטריצת החשיבות באותו רוחב נומינלי.

הקריאה המעשית: אם תעריכו את המודל הזה ב-4-bit על כרטיס בודד של 40 או 48 GB והוא ייכשל במשימות הסוכן שלכם, הרי שהערכתם מודל שמסכים עם זה שפורסם בכלערך תשעה טוקנים מתוך עשרה. בפרוזה זה בלתי נראה. בקריאות לכלים, שבהן ארגומנט אחד פגום מסיים את התור, שיעור סטייה של 7% הוא מוצר אחר. אם הטענות הסוכניות הן הסיבה לעניין שלכם, המינימום ההגון הוא Q5 עם importance matrix, או bfloat16 על חומרה שכורה עבור ריצת ההערכה.

כמה זה עולה לנסות, ואיך לנסות את זה בלי להמר על זה

Nanbeige לא פרסמה מחיר, כי אין מה לתמחר: המודל הוא משקולות, לא שירות, וה-Hub אינו מפרט ספק inference עבורו. זה מותיר שלושה מסלולים — ארבעה כרטיסי GPU בנפח 80 GB עבור bfloat16, כרטיס אחד של 48 GB ב-Q5, או להמתין שספק יפרסם אותו.

לשם השוואה, המודל שהוא מתיימר להביס זמין לפי דרישה. Qwen3.8-27B פועל על OrcaRouter בתעריף של $0.33 למיליון אסימוני קלט ו-$2.40 למיליון פלט, עם חלון של 262K וזמן p50 עד לאסימון הראשון בסביבות 2.95 שניות. פרומפט אג'נטי של 65,536 אסימונים בתוספת 8,000 אסימוני פלט עולה בערך ארבעה סנטים. זה המספר שמודל 33B באירוח עצמי חייב להביס, והוא חייב להביס אותו בעודו נושא זמן GPU לא מנוצל, סיכון כימות והיעדר מסלול גיבוי.

איננו מארחים את Nanbeige4.3-33B, ואין לקרוא דבר כאן כטענה שאנחנו כן מארחים אותו. מה שאנחנו כן יכולים לעשות הוא להוזיל את ההשוואה בכיוון ההפוך: Orca Connect מציב את ה-GPU שלך מאחורי אותו מפתח שמשמש את הקטלוג המתארח, כך שנקודת קצה של Nanbeige באירוח עצמי ו-Qwen3.8-27B יכולות לשבת מאחורי נקודת קצה אחת וכלל ניתוב אחד בזמן שאתה מחליט. נתב חלק מהתעבורה לנקודת הביקורת החדשה, השאר את המודל המתארח כגיבוי, ותן ליומני הבקשות — ציון, השהיה, עלות לכל קריאה — להכריע בוויכוח שטבלאות ספקים לא יכולות. לתוספת המחיר של 0% יש כאן חשיבות באופן ספציפי: מחירי המחירון של הספקים מועברים ללא שינוי, כך שכאשר ספק מוריד מחיר, ההשוואה שהגדרת בשבוע שעבר נשארת הוגנת.

מי צריך לפעול בעניין הזה, ומי צריך להמתין

אם אתה בונה צינור זיקוק, זהו הצ'קפוינט הפתוח המעניין ביותר החודש. מורה צפוף בנפח 33B עם רישיון מתירני, הגדרות דגימה מתועדות וחבילת בנצ'מרקים שנבחרה למדוד בדיוק את ההתנהגות שברצונך להעביר הוא נכס שימושי, והעובדה שהמעבדה אומרת שהיא בונה מורה תחילה היא אות לגבי לאן הסדרה הולכת. הורד אותו, הרץ הערכה משלך, ושמור את הערות ה-harness של הכרטיס לצד התוצאות שלך.

אם אתם צריכים מודל בפרודקשן השבוע, חכו. אין ציון בלתי־תלוי, אין נקודת קצה מתארחת, יש דוח התנסות מעשית אחד שכלולים בו שלושה פרומפטים, ופרופיל קוונטיזציה שמתדרדר מהר מהרגיל ברוחבי הסיביות שרוב האנשים יכולים להרשות לעצמם. שום דבר מזה אינו פוסל — זה פשוט עדיין לא מהווה ראיה.

אם אתה זקוק לראייה, ההשוואה כבר הוכרעה: Qwen3.8-27B קורא תמונות ווידאו, והמודל הזה קורא טקסט בשתי שפות.

הדברים שכדאי לעקוב אחריהם ספציפיים. {{1}}Nanbeige4.3-3B{{/1}}, יעד הדיסטילציה, שיגיד לך אם היה שווה לבנות את המורה. הריצה העצמאית הראשונה של {{2}}Terminal-Bench 4.0{{/2}}, השורה עם הפער הרחב ביותר והרגישות הגבוהה ביותר ל-scaffold. והאם ספק בכלל מפרט את {{3}}33B{{/3}} — כי ברגע שמישהו עושה זאת, ההקשר של {{4}}512K{{/4}} מפסיק להיות ערך תצורה והופך לשורת חיוב, והחשבון במאמר הזה הופך לחשבונית של מישהו.