Solar Open 2 250B: סוכן פורץ דרך משיג ציונים, ואין היכן להריץ אותם

הכרטיס של Hugging Face עבור Solar Open 2 250B 250B נותן לך פקודת הרצה, והפקודה לא עובדת. היא מבקשת מ-vLLM מפענח חשיבה בשם solar_open2, מפענח קריאות כלים בשם solar_open2, ומעבד לוגיטים בשם SolarOpen2TemplateLogitsProcessor — שלושה דברים שלא קיימים באף גרסה ששוחררה של vLLM. התמיכה בארכיטקטורה הופיעה בענף הראשי כבקשת משיכה שלא מוזגה ב-5 באוגוסט, שבועיים אחרי ש-Upstage פרסם את המשקלים ב-22 ביולי. הפער הזה הוא עדיין העובדה המעניינת ביותר בנושא Solar Open 2 כרגע, וזה החלק שכל כתבת השקה דילגה עליו לטובת טבלת המדדים. אז הנה הגרסה האחרת: מה ש-Upstage באמת שחרר, מה המספרים שלו מוכיחים ומה הם לא מוכיחים, מה משנה הציון החיצוני היחיד שנרשם עד כה, ומה צריך כדי להוציא טוקן בודד מהדבר הזה — כשהוא נמדד מול DeepSeek V4 Flash, המודל ש-Upstage בחר כקנה המידה המרכזי שלו.

מה Upstage למעשה שיגר (shipped)

כל מה שלהלן מגיע מקובץ ה-config.json של המאגר עצמו ומהדוח הטכני של Solar Open 2 (arXiv 2607.20062) — מקורות ראשוניים, אך מקורות ראשוניים של הספק. אף מעבדה עצמאית לא פרסמה מדידות משלה של מודל זה. נתון חיצוני אחד עלה כעת — ציון של 37 במדד Artificial Analysis Intelligence Index, כפי שדווח בעיתונות מתוך ההערכה של הסבב השני של הממשלה — והוא זוכה לפסקה משלו בחלק של מדדי הביצוע להלן, משום שהוא מדווח, ולא משוכפל.

• גודל — 250,287,794,944 פרמטרים בסך הכול, כ-15B פעילים לכל טוקן

נדירות — 320 מומחים מנותבים בתוספת מומחה משותף אחד, 8 מומחים מנותבים לכל טוקן, ו-first_k_dense_replace מוגדר ל-0, כלומר התערובת מתחילה בשכבה אפס ללא שכבות החימום הצפופות שעיצובי MoE דומים נוהגים בדרך כלל לשמר.

• צורה — 48 שכבות, גודל חבוי 4096, ממד ראש 128, 64 ראשי שאילתה מול 8 ראשי מפתח/ערך

• תשומת לב — 12 שכבות softmax (GQA), באינדקסים 0, 4, 8 וכן הלאה עד 44; 36 השכבות האחרות הן תשומת לב לינארית. בשלושה רבעים מהערימה אין softmax.

• מיקומים — use_rope הוא false. אין קידוד מיקום כלל

• הקשר — max_position_embeddings של 1,048,576

• אוצר מילים — 196,608 טוקנים, באנגלית, קוריאנית ויפנית

• משקלים — bfloat16, שמסתכם ב-500.6 גיגה-בייט. זה פשוט 250.29 מיליארד פרמטרים כפול שתי בתים, וזה תואם את טביעת הרגל ש-Nota AI מדווחת עבור המודל הלא-מקוונטז.

אימון — כ-11.9T טוקנים לפי הדוח: 10T אימון מקדים כללי, 1T על תת-קבוצה איכותית שנבחרה, 0.9T להרחבת האורך, ביחס מוצהר של 4:6 אמיתי לסינתטי, עם אנגלית מעל 80% ומתמטיקה וקוד כל אחד לפחות 15%.

• רישיון — רישיון ה-Upstage Solar, הכרוך בתנאים (להלן)

הקודם, Solar Open 1, היה מודל 100B ששוחרר בינואר. Solar Open 2 אינו רענון שלו אלא חיה אחרת לגמרי.

הארכיטקטורה היא למעשה הסיפור

תבנית השכבות היא שכבה אחת של softmax ולאחריה שלוש שכבות קשב ליניארי, החוזרת על עצמה שתים עשרה פעמים. על כך כבר דווח. מה שלא דווח הוא איזה קשב ליניארי, ומדוע זה חשוב.

השכבות הליניאריות הן KDA — Kimi Delta Attention, המנגנון שמונשוט AI הציגה עבור Kimi Linear. Upstage לא המציאה אטנשן ליניארי חדש; היא אימצה של מישהו אחר ושינתה דבר אחד. השינוי נראה בקונפיג כ- kda_allow_neg_eigval שמוגדר ל-true, והדוח מסביר מה זה נותן: KDA הסטנדרטי מגביל את הערכים העצמיים של מעבר המצב לטווח [0,1], כך שכל צעד יכול רק להוסיף למצב הרקורסיבי או להחליש אותו. הגדרת הדגל הזה מרחיבה את עוצמת הכתיבה ל-beta = 2·sigmoid(·), טווח של (0,2), מה שדוחף את הערכים העצמיים החוצה ל-[-1,1]. כעת צעד יכול להפוך את הסימן של מה שכבר מאוחסן. במילים פשוטות: המצב יכול לתקן את עצמו במקום רק להצטבר, וזה המנגנון המוצהר של Upstage להחזיק מסלול סוכן ארוך יחד על פני קריאות כלים רבות.

שתים-עשרה שכבות הסופטמקס הן GQA עם שער פלט סיגמואידי אלמנטרי — use_gqa_gate הוא true בקונפיגורציה — שהדוח מייחס לו הוספת אי-לינאריות ודיכוי כיורי קשב.

והסיבה שאין RoPE נובעת מהשכבות הליניאריות. מכיוון שמצב רקורסיבי מקודד את סדר הטוקנים באופן מהותי, הדו"ח טוען שאפשר למחוק את הקידוד המיקומי לחלוטין ולהפסיק להיות כבולים להתפלגות האורך שעליה אומנת. RoPE, בהקשר הזה, הוא הדבר שמגביל את האקסטרפולציה; הסר אותו והתקרה כבר לא תלויה בנתוני האימון שלך.

המספר 1M הוא טענת תכנון, לא מדידה

הטיעון הזה אלגנטי, והוא גם הבסיס כולו לכותרת ה-1M טוקנים. הדוח הטכני אינו מפרסם RULER, לא "מחט בערימת שחת", ולא חבילת בדיקות כלשהי להקשר ארוך. החלון נובע מהארכיטקטורה, ולא מודגם על מדד ביצועים. בינתיים, התיאור הציבורי היחיד של פריסה שמצאנו — Backend.AI, שמשרתת את המודל בקוונטיזציה על פני שתי מערכות DGX Spark — הגדיר את max-model-len ל-200,000, לא 1,048,576. התקרה הארכיטקטונית עשויה בהחלט להיות אמיתית. איזו איכות שורדת ב-500K או 1M טוקנים פשוט לא מופיעה במאמר.

טענת היעילות נושאת את אותה כוכבית: הדו"ח קובע שהערימה ההיברידית דורשת בערך רבע מהזיכרון ומהחישוב של ערימת all-softmax בהקשר של 1M, ובנפרד שהעיצוב ההיברידי הגיע ל-loss היעד עם כ-3.2× פחות טוקני אימון מאשר all-softmax על MMLU. שני אלה הם נתונים של Upstage עצמה. לא פורסמו כלל מספרי throughput או latency.

כרטיס הביצועים, בקריאה כן.

במבחן האנגלי, מול DeepSeek V4 Flash, Solar Open 2 250B משיג 86.2 ב-MMLU-Pro לעומת 85.9, ו-92.4 ב-LiveCodeBench v6 לעומת 92.3 — הבדלים קטנים מספיק כדי להיחשב כרעש סטטיסטי. לאחר מכן הוא משיג 16.6 ב-APEX-Agents לעומת 13.2, וזה הפער האמיתי היחיד, ולא במפתיע, המספר שבו Upstage מובילה.

ההפסדים נמצאים באותו דוח ומקבלים פחות זמן אוויר. SWE-Bench Verified: 70.4 מול 73.8. GDPval-AA v2, על ELO: 1128 מול 1187. Terminal Bench Hard: 28.3, מול 41.7 ל-MiMo-V2.5. ArtifactsBench: 55.9, מאחורי שתי קווי הבסיס המובילים. לזכותה של Upstage, הדוח נוקב בשמות הפערים הללו ובמקום שאליהם הם מצביעים — הנדסת תוכנה ברמת מאגר וטרמינל, ודיוק מספרי בתפוקות משרדיות — במקום לקבור אותם.

ההשוואה שבאמת מרשימה היא פנימית. מול Solar Open 1: LiveCodeBench v6 עולה מ-56.5 ל-92.4, SWE-Bench Verified מ-15.4 ל-70.4, APEX-Agents מ-2.4 ל-16.6. מה שלא תחשבו על ההשוואות הישירות, זו קפיצת דור אמיתית בתוך שישה חודשים.

בקוריאנית, הממוצע בסוויטה הוא 85.4 לעומת 84.9 של DeepSeek V4 Flash — אבל הממוצע הוא זה שעושה את העבודה. Solar Open 2 250B מפסיד ב-KMMLU-Pro (78.4 לעומת 78.9) וב-Ko-AIME'25 (97.7 לעומת 98.0), ומנצח ב-Ko-GDPval (86.8 לעומת 85.0). ההובלה נובעת ממדד התפוקה, לא מהידע או מהמתמטיקה.

מה שמביא אותנו לטענה שהרחיקה לכת ביותר: ש-Solar Open 2 250B משתווה למודל שגדול ממנו ביותר מפי שש. הבסיס הוא Ko-GDPval, שבו הוא משיג 86.8 לעומת 86.9 של DeepSeek-V4-Pro. זה מדד קוריאני אחד, וזו תוצאה של שוויון ולא ניצחון בהתמודדות — בעוד שבסוויטה האנגלית, אחיו הקטן של V4-Pro כבר מנצח את Solar Open 2 250B ב-SWE-Bench Verified. מדד אחד אינו מכליל לכדי חוק של יעילות גודל. אזהרה קשורה: נתוני הבסיס עבור APEX-Agents שונים מעט בין המאמר לסיקור המשני (13.2 לעומת 13.4 עבור אותם מודלים), לכן יש להתייחס לסדר ככיווני ולא כמדויק.

בהעדפה, מבחן עיוור זוגי על פני 835 שיחות קוריאניות הציב את Solar Open 2 250B במקום הראשון עם 44.1% לעומת 26.6%, כשהדוח מייחס את ניצחונו בתחומי היישור והכנות לביסוס תרבותי ולא לאימון בטיחות נוסף. ראוי לציין מה חסר: הדוח אינו כולל כל הערכה כמותית של נזק, סירוב או פריצת הגבלות (jailbreak) מכל סוג שהוא.

מאז, התווספו כמה מספרים נוספים לקטע תוצאות ההערכה של כרטיס ה-Hugging Face — GPQA Diamond 86.3, HLE 28.8, ו-MathArena AIME 2026 95.7 — אבל הם חולצו מכרטיס המודל עצמו ולא מהרצה עצמאית, ולכן הם נושאים את אותו תווית כמו כל מה שלמעלה: הנתונים של Upstage, שלא שוחזרו.

מספר חיצוני אחד צץ כעת שאינו מגיע מהמעבדה של Upstage. ב-13 באוגוסט, כלי תקשורת פיננסיים קוריאניים — Edaily, Seoul Economic Daily, ITDaily ו-iNews24, כולם פרסמו את אותם הנתונים — דיווחו על ציוני ההערכה בסיבוב השני של תוכנית ה-AI הריבונית של הממשלה, שנמדדו במדד האינטליגנציה של Artificial Analysis (AAII v4.1.1): Motif 3 עם 47, Solar Open 2 250B עם 37, A.X-K2 של SK Telecom עם 35, ו-K-EXAONE 2.0 0803 של LG AI Research עם 31. הציון 37 ממקם את Solar Open 2 250B במקום השני מבין ארבעת המועמדים הסופיים הקוריאניים, עשר נקודות מאחורי Motif 3. נגדיר זאת במדויק: זהו דיווח עיתונאי — הציון לא הופיע בלוח התוצאות של Artificial Analysis עצמו, שעדיין אינו מחזיר תוצאות עבור מודל זה — ואותה כתבה מציינת ש-AAII אינו כולל אמות מידה בשפה הקוריאנית, נקודה עיוורת אמיתית עבור מודל שתוצאותיו המקומיות הן מרכזיות במסר שלו. אבל זהו הנתון הראשון על Solar Open 2 250B שאינו מקורו ב-Upstage, והוא עקבי עם שאר המאמר: ציונים גבוהים בסוכן ובתפוקות, כשהרבה מהשאר עדיין לא הוכח על ידי איש מחוץ לספק.

למה אף אחד לא יכול לשרת את זה על תוכנה רגילה

דף המודל מספר את הסיפור טוב יותר מכל פרשנות. ההורדות בחודש שעבר חצו את רף 26,000, לצד 743 לייקים, שש־עשרה קוונטיזציות קהילתיות ושלושה כיוונונים עדינים — ובתיבת Inference Providers, השורה "המודל הזה אינו פרוס על ידי אף Inference Provider" עדיין עומדת בעינה, כשתריסר אנשים רשומים כעת כמי שמבקשים בדף המודל תמיכת ספקים. עניין אמיתי, אפס נקודות קצה מתארחות.

עוקבים אחרי פריסות העבודה וכולן מובילות לפיצול (fork). ה-build של NVFP4 של Nota AI קושר את ההתקנה שלו ל-git+https://github.com/UpstageAI/vllm.git ב-tag v0.22.0-solar-open2 — ה-vLLM של Upstage עצמו. הכתיבה של Backend.AI על DGX Spark דרשה את הפיצול הזה בתוספת FlashInfer עם טלאי, מכיוון שב-FlashInfer הרשמי לא הייתה תמיכה ב-expert-parallel והוא לא קיבל את הפורמט של compressed-tensors.

תמיכה בקו הראשי היא בקשת משיכה 51129 כנגד vllm-project/vllm, שנפתחה ב-5 באוגוסט על ידי תורם המוכר בשם oesni. היא עדיין פתוחה: ב-10 באוגוסט mergify סימן התנגשויות מיזוג, כך שהבקשה נושאת כעת תווית needs-rebase ועדיין ממתינה לסקירה. מה שאותה בקשת משיכה הייתה צריכה לבנות הוא התיאור הכנה ביותר של הקושי של המודל הזה שקיים בפומבי:

• שכבת KimiGatedDeltaAttention ייעודית ל-Solar בקובץ solar_open2.py חדש, הנושאת את בטא 2·sigmoid(b) מהשינוי של הערך העצמי השלילי

האופרטור vllm::solar_open2_kda_attention נרשם כאופרטור פיצול של CUDA-graph.

חימום מוקדם של KDA prefill בזמן פרופיל, מוגבל ל-2048 טוקנים, שנוסף במיוחד מכיוון שה-prefills בפועל רצו כ-23% לאט יותר בלעדיו.

• מפענחי פלט-חשיבה וקריאות-כלים עבור מצבי סטרימינג ואי-סטרימינג

• אימות שירות על 8×B200 המדווח על 107.02 GiB לכל rank של מטמון KV, לצד 463 בדיקות יחידה שעוברות

אלה הנתונים של מחבר ה-PR, שאיש לא שחזר אותם, והקוד עדיין יכול להשתנות לפני שיתמזג. אבל קרא את הרשימה הזו לצד פרק הארכיטקטורה ואופי הבעיה ברור: שתי הבחירות שהופכות את Solar Open 2 250B לזול להרצה בהקשר ארוך — KDA בשלושה רבעים מהשכבות, וללא RoPE — הן בדיוק הבחירות שאין עבורן נתיב קוד קיים במחסני הסקה לשימוש כללי. פתיחות של משקלים ופתיחות של הנתיב להרצתם הם דברים שונים, ורק אחד מהם שוחרר ב-22 ביולי.

כמה עולה לעמוד

נתחיל מסף הזיכרון. 500.6 GB של משקלי bfloat16 מול 141 GB של H200 פירושו שארבע GPUs נותנות לך 564 GB — כ-63 GB פנויים על פני כל הצומת עבור מטמון KV והפעלות לפני שבקשה בודדת נוחתת. זו הסיבה שהכרטיס מציין ארבע H200 כמינימום וממליץ על שמונה, ולכן FlexAI מציעה אותו כ-endpoint ייעודי של 8×H100 עם תמחור לפי בקשה, ולא כ-API משותף בתמחור לפי טוקן.

קוונטיזציה מזיזה את הרצפה הזו רחוק מאוד. בניית ה-NVFP4 של Nota AI (משקלים ואקטיבציות של 4 ביט, גודל קבוצה 16, בפורמט compressed-tensors) מורידה את המודל מ-500.6 GB ל-153.3 GB, וההערכה העצמית שלהם מעמידה את עלות הדיוק על 0.22 נקודות בממוצע על פני ארבעה מדדים — 81.57 ל-81.35, עם Tau2-Bench 75.20 ל-75.08, GPQA-Diamond 86.26 ל-85.45, MMLU-Pro 86.19 ל-86.15, ו-LiveCodeBench נעה בכיוון ההפוך, 87.03 ל-88.55, שזה רעש קוונטיזציה ולא שיפור. המלכוד הוא החומרה: NVFP4 דורש את ליבות הטנזור FP4 שהוצגו עם Blackwell, כך שרק B200 או GB200, וכלום על Hopper. אם אתם על H100s, הגרסה שאתם רוצים היא בניית ה-INT4 עם גיזום גלובלי שלהם — 117.8 GB לאחר גיזום, בגודל שמתאים לשניים מהם.

עכשיו החשבון שמכריע. DeepSeek V4 Flash — שוב, המודל ש-Upstage בחרו להימדד מולו — עולה $0.15 למיליון טוקנים של קלט ו-$0.29 למיליון טוקנים של פלט ב-OrcaRouter, שזה המחיר הרשמי של DeepSeek שמועבר ישירות ללא כל תוספת. בתמהיל קלט-פלט של 3:1, המחיר הממוצע הוא בערך $0.185 למיליון. אם נניח $2 לשעת GPU על צומת עם שמונה GPUs, אתה מגיע לכ-$11,700 בחודש לפני שמישהו שולח בקשה — שווה ערך לכ-63 מיליארד טוקנים מעורבים של תעבורת API, או 2.1 מיליארד טוקנים ביום, כל יום, רק כדי להגיע לאיזון. אם מצמצמים לצומת עם שני GPUs, נקודת האיזון יורדת לכ-16 מיליארד טוקנים בחודש. תחליף בתעריף GPU משלך; הצורה לא משתנה. אירוח עצמי של מודל 250B הוא החלטה על ניצול ושליטה, לא על הנחה.

כדי להיות מדויקים לגבי מה שכן ומה לא זמין: Solar Open 2 250B לא נמצא על OrcaRouter, ולפי כרטיס המודל שלו הוא לא זמין על אף ספק אינפרה. מה שכן נמצא על OrcaRouter הוא התחום שנגדו הוא נמדד — DeepSeek V4 Flash, Qwen3.8-Max ועוד כמה מאות מודלים מאחורי מפתח אחד במחיר המחירון של הספק, עם מעבר אוטומטי בין ספקים אם אחד מהם נופל. וזה רלוונטי כאן מסיבה מעשית מצומצמת: אם השאלה שאתם באמת רוצים לקבל עליה תשובה היא "האם מודל מכוונן-סוכנים מנצח את מה שאנחנו כבר קוראים לו פרודקשן", אפשר להריץ את החצי הזה של ההשוואה על ידי שינוי מחרוזת מודל עוד היום אחר הצהריים, בעוד שהצעת המחיר ל-GPU לחצי השני עדיין בשלבי רכש.

שני מחרוזות ברישיון

רישיון Upstage Solar מתיר שימוש מסחרי, כוונון עדין (fine-tuning) וזיקוק (distillation), ו-Upstage מתארת אותו כמבוסס על Apache-2.0 עם תנאי מותג נוספים. שתי ההתחייבויות שנוספו הן אלו שצריך לקרוא בעיון: מודל נגזר חייב לשאת את הקידומת "Solar" בשמו, ועליך להציג ייחוס "Built with Solar".

לפריסה פנימית, זה לא אירוע. אם תכננת לזקק את זה למשהו שתשווק תחת מותג משלך, סעיף השמות הוא החלטת מיתוג המחופשת לתנאי רישיון, וכדאי להקדיש לעורך דין עשרים דקות לפני שמתחילים בריצת אימון. קרא את הסעיף בריפו במקום לסמוך על הסיקור — הדיווחים על הרישיון הזה היו רופפים, כולל לפחות כתבה אחת שמתארת אותו פשוט כ-Apache 2.0.

מי צריך לזוז עכשיו, ומי צריך לחכות

עבור אם המוצר שלך הוא איכות הפלט בקוריאנית או ביפנית, ואתה יכול להעמיס את המשקולות על חומרה שכבר בבעלותך — השילוב הזה הוא בדיוק מה ש"משקולות פתוחות, ללא נקודת קצה" מיועד לו, והמסגור של Upstage עצמו מפורש: ריבונות משמעה היכולת לפרוס ולאמת מודל בעצמך, לא רק שהוא אומן מקומית. עבור אם יש לך GPUs פנויים ועומס עבודה של סוכנים בנפח מספיק כדי למלא אותם, כי בניצול אמיתי החישוב ליחידת אסימון מתהפך. עבור אם דרישות ביקורת או שימור נתונים אומרות ש-API מעולם לא הייתה על הפרק.

רגע, אם אתם רוצים נקודת קצה לכל טוקן. Upstage הצהירה כי בכוונתה להעמיד את Solar Open 2 250B בפלטפורמה של צד שלישי; נכון לכתיבת שורות אלה, זה עדיין לא קרה — ניסיון ה-Playground נמשך רק עד 31 ביולי, וכרטיס המודל עדיין לא מציג שום ספק. רגע, אם אתם על Hopper וסמכתם על גרסת 4 הביט, מכיוון שגרסת NVFP4 דורשת Blackwell. ורגע, לפני שמתכננים משהו סביב מספר ההקשר של 1M, שהוא כרגע תכונה של הארכיטקטורה ולא תוצאה מדודה.

הדבר שצריך לעקוב אחריו הוא pull request 51129, שב-10 באוגוסט קיבל תווית needs-rebase לאחר ש-mergify סימן קונפליקטים במיזוג. היום שבו Solar Open 2 250B יופיע בגרסה מתויגת של vLLM הוא היום שבו הוא מפסיק להיות פרויקט תשתית והופך למודל שכל אחד יכול פשוט לנסות. ה-AAII של 37 שדווח לתקשורת הוא התחלה — קריאה חיצונית ראשונה, אף שעדיין זמנית, וכזו שעדיין לא מופיעה בלוח התוצאות של Artificial Analysis עצמה. המבחן האמיתי הוא זה שרץ על תוכנה סטנדרטית, ועדיין אין לו תאריך.