המשקלים של Inkling 2 Small זמינים להורדה: 394 GB, Apache 2.0, וחשבון בגודל צומת

קומיט המשקלים הראשון במאגר Inkling 2 Small מתוארך ל-19:53 UTC ב-12 בנובמבר 2026 — תשע שעות לפני כתיבת שורות אלה. עד אז המודל היה כרטיס תעריפים וטבלת בנצ'מרקים: Thinking Machines Lab השיקה אותו ב-5 בנובמבר עם משקלים סגורים, נקודת קצה Tinker והצהרת כוונה לפרסם את הצ'קפוינטים תחת Apache 2.0 "בשבוע הבא". המודל עצמו בן שמונה ימים בלבד, אם כן. מה שחדש הוא שאפשר להוריד אותו, וההורדה אינה קובץ קטן.

שני מאגרים ציבוריים. הצ'קפוינט הראשי הוא 393.5 GB על פני 36 קבצים, 24 מהם שברי safetensors. גרסת ה-MXFP8 היא 622.8 GB. שניהם מוצהרים כ-Apache 2.0 במטא-נתונים של כרטיס המודל. זה כל מה שיש בהכרזה עד כה — כרטיס המודל, המאגרים, ועדכון בן פסקה אחת שצורף לפוסט ההשקה. כל מה שלהלן נקרא מתוך אותם מקורות ראשוניים וכן משני ה-cookbooks לשירות שנשלחו יחד איתם, וכדאי לומר בגלוי מה עדיין חסר: בדיקות הבטיחות החיצוניות שהיו התנאי המוצהר לפתיחת המשקלים הללו טרם פורסמו.

מה בעצם יש בהורדה

נתחיל בגודל, כי הוא הדבר הראשון שקובע אם המודל הזה בכלל זמין לך. פריסת הדיוק המעורב מסבירה את המספר כמעט בדיוק, וזה סימן טוב לכך שהנתונים שפורסמו עקביים זה עם זה ולא מהווים טקסט שיווקי.

• פיצול צ'קפוינט — מומחי NVFP4 בשכבות 0 עד 39, מומחי MXFP8 בשכבות 40 עד 47, לפי ספר המתכונים של SGLang.

• גודל חזוי — ממוצע של 5.33 סיביות לפרמטר על פני החלוקה הזו של 40/48 ו-8/48 נותן 396 GB עבור 594B פרמטרים.

• גודל נמדד — 393.5 GB עבור המאגר הראשי, כולל קבצי טוקנייזר וקונפיגורציה.

• מאגר MXFP8 — 622.8 GB, ואינדקס safetensors סופר 612.4B פרמטרים מאוחסנים לעומת 383.1B של המאגר הראשי, מכיוון שאריזת משקלי המומחים לארבעה ביטים מפחיתה את מספר האלמנטים הנספרים ולא את המודל.

הארכיטקטורה שמתחת היא טרנספורמר decoder-only בעל 48 שכבות עם בלוק feed-forward דליל מסוג mixture-of-experts: 384 מומחים מנותבים, 8 פעילים לכל טוקן, רוחב מוסתר של 4,608, 48 ראשי attention על גבי 8 ראשי key-value בגודל 128 ממדים כל אחד, ואוצר מילים של 201,024 טוקנים. ה-attention הוא היברידי ולא אחיד — 40 מתוך 48 השכבות משתמשות בחלון הזזה של 1,024 טוקנים ורק 8 הן גלובליות, ומשם מגיע תקציב ההקשר הארוך. מגדל הראייה הוא טרנספורמר נפרד בעל 23 שכבות עם רוחב מוסתר של 1,024 ו-16 ראשים, שקורא טלאים בגודל 20×20 פיקסלים עם מיזוג 2×2, כך שכל טוקן תמונה מכסה אזור של 40×40 פיקסלים; הכרטיס מבקש תמונות בין 40 ל-4,096 פיקסלים בכל צד.

יש גם ראש חיזוי רב-טוקנים שהוצמד לצורך פענוח ספקולטיבי — חמש שכבות, גודל בלוק של 8, דרגת מרקוב של 256, ושכבות יעד ב-5, 11, 17, 23, 29, 35, 41 והבלוק האחרון. אלה בדיוק שמונה שכבות הקשב הגלובלי, וזה הפרט שמראה שראש הטיוטה תוכנן סביב המחסנית ההיברידית ולא נוסף בדיעבד. Thinking Machines מכנה את הפענוח המתקבל "DSpark".

פריט סידורים אחד לכל מי שהבדיקה המשפטית שלו דורשת מסמכים: הרישיון מוצהר במטא-נתוני כרטיס המודל כ-Apache 2.0, והכרטיס מקשר אל הנוסח התקני, אך אין בעץ המאגר קובץ LICENSE, LICENSE.md, LICENSE.txt או NOTICE. כל ארבעתם מחזירים ריק. ההצהרה אמיתית וחד-משמעית; המסמך שרוב הצוותים המשפטיים מצפים למצוא אינו שם.

רשימת החומרה, והיכן שהספק וספר המתכונים אינם מסכימים

כרטיס המודל נותן רצפת VRAM. מתכוני ההגשה נותנים טופולוגיה. אלה לא אותו מספר, והפער ביניהם הוא הדבר המעשי ביותר בעמוד הזה.

• NVFP4 ראשי — לפחות 500 GB של VRAM מצטבר; הדוגמאות של הכרטיס הן 2× B300 או 4× H200.

• וריאנט MXFP8 — לפחות 800 GB; דוגמאות: 4× B300 או 8× H200.

• SGLang, טופולוגיה לכל GPU — GB200, GB300 ו-B300 ב-TP 4 / EP 4; B200 ב-TP 4 / EP 4 כאשר TP 8 מומלץ עבור מרווח KV; H200 עם NVFP4 ב-TP 8 / EP 8; MI350X ו-MI355X ב-TP 8 / EP 8; Vera Rubin ב-TP 4 / EP 4; TPU7x ב-8 / 8 על מארח בעל ארבעה שבבים.

• MXFP8 על B200 או GB200 — TP 8 / EP 8, כ-151 GB של משקלים לכל GPU.

• האילוץ העומד מאחורי כל זה — מקביליות המומחים חייבת להיות שווה למקביליות הטנסורים, מכיוון שסקאלות אקטיבציית המומחים ב-NVFP4 משתרעות על פני מלוא רוחב הקלט של כל מומחה ואינן ניתנות לפיצול לפי טנסורים (sharding).

אז הדוגמה של 4× H200 בכרטיס עומדת בסף המינימלי של 500 GB, אבל היא אינה טופולוגיה שספר המתכונים מאמת; H200 רשום כ-8-way. ספי המינימום לאחסון ולזיכרון אומרים לך אם זה נכנס. הם לא אומרים לך אם זה רץ, ועבור הצ'קפוינט הזה המספר השני הוא כפול מהראשון בחומרה שיש לרוב האנשים. אם אתם מקצים תשתית, תכננו לפי המתכון, לא לפי הסף.

מסלול ה-AMD בן יומיים ולא מוזג.

הרדאר שחשף את הקטע הזה תפס את בקשת המיזוג לתמיכה ב-AMD ולא את שחרור המשקולות, וההצגה הכנה של בקשת המיזוג ההיא כשלעצמה היא שמדובר בעבודת מנוע — מסוג הדברים שאינם חדשות. זה חשוב כאן רק מפני שהוא נחת באותו שבוע שבו נחתו הצ'קפוינטים, ומפני שזהו ספק השבבים השני עם תמונת קונטיינר.

בקשת המשיכה מוסיפה תמיכה ב-gfx950 עבור MI350X ו-MI355X, ונשענת על מימוש ההסבה הבסיסי של Inkling 2 Small. מה היא משנה: קרנלי ROCm נמצאים במודולי *_hip.py נפרדים שאליהם מגיעים רק תחת HIP, מסלולי CUDA ו-NPU נשארים ללא שינוי, מאגר ה-KV המאוחד ו-prefill עם גרף מלא הופכים לברירות המחדל בהפעלה, MegaMoE מסורב במקום לנסות אותו, וכימות quick-reduce מתעלמים ממנו אלא אם דגל סביבה מאפשר זאת. gfx950 נדרש אלא אם משתנה סביבה שני עוקף זאת — כלומר כרטיסים ממחלקת MI300 נדחים בעת ההפעלה, ומחבר ה-PR אומר ש-gfx942 "לא הורץ".

המדידות ב-PR, שהן של המחבר עצמו ולא נבדקו: 426 בדיקות יחידה עוברות על MI350X אחד, 98.0% ב-GSM8K-200 במאמץ מאוזן ו-97.5% עם DSpark באורך קבלה של 4.04, וזמן לכל טוקן פלט ב-2,048 קלט ו-512 פלט של 5.15 מ"ש במאמץ מאוזן לעומת 2.10 מ"ש עם DSpark. אלה מתורגמות לבערך 194 ו-476 טוקני פלט לשנייה בזרם יחיד על פני שמונה מאיצים. עם AITer מופעל, נתוני הדיוק משתנים ל-97.5% ו-96.5%.

מצב ה-PR הוא טיוטה. ה-CI לא רץ עליו — משימת הבסיס חסומה בגלל תווית חסרה ואין ריצת AMD מתועדת עבור הקומיט שנמצא בבדיקה — וכל בעלי הקוד הרשומים עדיין ממתינים לבדיקה. התייחסו לתמיכת MI350X כאל משהו שאפשר לבנות מהמקור השבוע, לא כאל משהו שאפשר לקנות.

הגשתו פירושה תמונת dev, לא מהדורה

{{1}}לשני הסטאקים הגדולים יש תמיכה מיום האפס, ואף אחד מהם עוד לא שחרר אותה.{{/1}} {{2}}SGLang אומרת בפשטות שהתמיכה עדיין לא נכללת באף גרסה ומפנה לבניות dev-inkling-2-small, עם אימג'ים נפרדים עבור Hopper ו-Blackwell, Vera Rubin, MI35x ו-TPU7x. vLLM מבקשת גרסת nightly או גרסה חדשה יותר, או את האימג' vllm/vllm-openai:inkling-2-small.{{/2}} זה נורמלי עבור מודל בגודל כזה וחדש כל כך, אבל זה משנה מה המשמעות של "נתמך": אתם עוקבים אחרי ענף, ו-rebase עלול לשבור את הפריסה שלכם.

הפרטים התפעוליים שבאמת יכו בנו:

• הקשר — מתכון ה-TP 4 של vLLM מוגבל ל-262,144 אסימונים על מגש אחד; חלון 1,048,576 האסימונים המלא דורש TP 8 על פני שני צמתים. ב-TP 4, בקשה בודדת בת 1M אסימונים דורשת 64.47 GiB של מטמון KV, וזה יותר ממה שנשאר במגש.

• פענוח ספקולטיבי — SGLang מאמת 8 טוקנים בכל צעד באמצעות ראש DSpark המצורף; המקביל ב-vLLM מגדיר 7 טוקנים ספקולטיביים עם ניסוח הסתברותי. המתכון מזהיר ששיעור הקבלה יורד ב-15 עד 25% בטמפרטורה 1.0 אם מנסחים באופן חמדני.

• מפענחים — Reasoning משתמש ב-inkling, קריאות לכלים משתמשות ב-inkling2, ו-SGLang בוחר את שניהם אוטומטית כשהם לא מוגדרים. מפענח קריאות הכלים של vLLM דורש הפעלה מפורשת, והמתכון אומר שקריאה לכלים לא נמדדה מקצה לקצה, אלא רק נבדקה בבדיקות יחידה.

• הפרדת prefill/decode — אומתה רק כ-1P1D על מגש GB300 עם ארבעה GPUs, NVFP4, ללא MegaMoE, כאשר חלק הזיכרון הסטטי נאלץ לרדת ל-0.86 מכיוון שעם הערך האוטומטי 0.963 נגמר הזיכרון. הפיצול אינו מתאים ל-checkpoint של MXFP8.

• דיסאגרגציה של ה-Encoder — עדיין לא בתמונות, ושרת השפה נעצר אם אין Encoder תקין שנגיש.

• {{1}}מרווח זיכרון{{/1}} — ברכיבי {{2}}B200 או GB200 עם 192 GB{{/2}} ב-TP 4, קיבולת ה-KV היא כשליש ממה שמגש GB300 מספק, וזהו הגבול האמיתי למקביליות בהקשר ארוך ולא גודל החלון שמודפס על הכרטיס.

יש גם דיווח קהילתי אחד על כרטיס המודל עצמו, מהשעות הראשונות לאחר ההעלאה, שכותרתו "כרטיסי Hopper אינם תואמים כרגע לתמונת vllm". לא נראית תגובה של מתחזק ולא הצלחתי לשחזר אותו, לכן התייחס לזה כאל סימן אזהרה ולא כממצא, ובדוק לפני שאתה מבצע commit לצומת Hopper. בצד של SGLang אכן מופיע H200 בתצורת 8-way, כך שמסלול Hopper אינו סגור — הוא פשוט אינו המסלול שהמתכון של vLLM מתאר.

מהן העלויות של אירוח עצמי, ולמה התשובה היא לעתים רחוקות מחיר

הסיבה להוריד 394 GB היא שליטה, לא כלכלת יחידה, והחשבון מבהיר זאת במהירות.

ב-Tinker, המודל מתומחר ב-$0.30 למיליון טוקני קלט, $0.03 למיליון קלט שמור במטמון ו-$1.00 למיליון פלט, עם חלון הקשר של 256K. Artificial Analysis מודד 84 טוקני פלט בשנייה ו-67.71 שניות עד לטוקן התשובה הראשון, ב-$1.18 למשימת אינדקס ו-29.6 דקות למשימה, לעומת 154M טוקני פלט בכל החבילה וחציון של 89.8M בקרב עמיתים. מספר הטוקנים הזה הוא הסימן: זהו מודל שחושב באריכות לפני שהוא עונה, ובתמחור פלט לפי המחירון זרם בודד שרץ במלוא המהירות במשך שעה מייצר כ-302,000 טוקנים, או בערך שלושים סנט של פלט. כדי להביס צומת שעולה דולר לשעה צריך להחזיק כארבעה זרמים עסוקים; כדי להביס צומת של עשרים דולר לשעה צריך שישים ושישה. מעט מאוד עומסי הערכה, ואף פחות עומסים סוכניים, מחזיקים מקביליות כזו מול מודל עם זמן של 67 שניות עד לטוקן הראשון.

מה שאתה קונה בכך שאתה מחזיק במשקולות בעצמך: חלון ה-1M המלא בתנאים שלך ולא בשכבת השירות 256K של Tinker, בלי רשימת המתנה לבטא לפני הייצור, כיוונון עדין על התשתית שלך, נתונים שלעולם לא יוצאים מהרשת שלך, וסבבי הערכה שאינם מחויבים לפי טוקן. מה שאתה מוותר עליו: גרסת שחרור עובדת, הטופולוגיה בעלת שמונה הדרכים שעליך לקנות ולא לשכור, ומערך שירות שאתה מתחזק כעת.

זו הצורה הכנה של ההחלטה, והיא גם המקום שבו שכבת ניתוב מתאימה בלי שיידרש ממנה להעמיד פנים שהיא מארחת משהו שהיא אינה מארחת. Inkling 2 Small אינו נמצא בקטלוג של OrcaRouter — בדקנו השבוע את רשימת המודלים החיה ואין רשומת inkling בין 215 — כך שנתיב ה-API של המודל הזה נשאר בפלטפורמת Tinker של Thinking Machines עצמה, ולפי עדכון ההשקה, אצל כמה ספקי הסקה של צד שלישי. מה שיותר מ-200 מודלים מאחורי מפתח אחד נותן לך הוא גיבוי: אפשר להריץ את ניסוי האירוח העצמי על צומת בודדת ולהשאיר את הייצור על מודלים שאנחנו כן מנתבים, עם מעבר אוטומטי לגיבוי אם הניסוי קורס, ובמודלים שאנחנו כן מנתבים מחיר המחירון של הספק מועבר ללא שינוי. כשמארח שני ושלישי מאמצים את נקודות השמירה האלה, מסלול הגיבוי מפסיק להיות תיאורטי — והנעילה לספק, שהיא הטיעון העיקרי להורדת 394 GB מלכתחילה, נחלשת.

איפה הוא נמצא עכשיו כשזה פתוח

הציון לא השתנה כשהמשקלים יצאו לאור; מה שהשתנה הוא שהוא כעת שייך ללוח דירוג שממנו הוא היה מוחרג קודם לכן. בדירוג המשקלים הפתוחים של Artificial Analysis, Inkling 2 Small נמצא במקום הרביעי מתוך 28 עם מדד אינטליגנציה של 31, לעומת חציון של 24 בקבוצת ההשוואה.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 במאמץ מקסימלי — 33.

• GLM-5.3 במאמץ מרבי — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro ו-Ling 3.1 Flash 1019 — 30 לכל אחד.

• Mistral Large 4 במאמץ גבוה — 26.

• Qwen3.8 27B ב-xhigh — 20.

הטור המעניין ברשימה הזו אינו החלק העליון. כל מודל שמעל Inkling 2 Small הוא ממעבדה סינית, והמודל הטוב ביותר במשקלים פתוחים ממעבדה לא-סינית היה Mistral Large 4 עם 26. פתיחת המשקלים האלה מצמצמת את הפער המסוים הזה מעשרים נקודות לחמש-עשרה ומשנה את מי שבראש הטור הלא-סיני. היא אינה נוגעת בחזית: המודל הפתוח הטוב ביותר מוביל בפער של חמש-עשרה נקודות, ומודלים סגורים נמצאים עוד יותר הרחק.

טבלת ההערכה של הספק עצמו ארוכה יותר ומחמיאה יותר, וכל נתון בה הופק על ידי Thinking Machines על ההרנס שלה במאמץ גבוה — ללא שחזור, ולכן הוא תקרה ולא ציפייה. השורות החשובות לעבודה סוכנית: SWE-bench Pro v2 Hard 86.3%, DeepSWE v1.1 72.1%, Vibe Code Bench v1.1 81.6%, BrowseComp 90.2% ו-DeepSearchQA 90.9%, שניהם עם דחיסה, MCP Atlas 85.4% בגרסה המלאה ו-85.0% בגרסה הציבורית, HLE 44.1% בטקסט בלבד, FrontierCode v2.0 25.4%. השורה שחותכת לכיוון השני היא Terminal Bench Science עם 5.7%, שהוא נמוך במונחים מוחלטים ותואם את פרופיל האופק הארוך והשיקול הממושך ולא טענה ליכולת רחבה. הספק מציין 30.6 עבור Intelligence Index בעוד שהלוח החי מציג 31 — הבדל בתמונת מצב, לא מחלוקת.

מה ישנה את ההערכה הזו?

שלושה דברים, לפי סדר מידת חשיבותם.

תהליך הבטיחות שהיה אמור לשמש שער לשחרור הזה לא פורסם. הפוסט של Thinking Machines מיולי על מסלול בטוח למשקלים פתוחים מתאר ארבעה ארגונים חיצוניים שמבצעים בדיקות לפני פריסה על Inkling מהדור הראשון, ופוסט ההשקה מ-5 בנובמבר קשר את השחרור הזה ל"בדיקות בטיחות חיצוניות ורד-טימינג". העדכון מ-12 בנובמבר שהכריז על המשקלים מכיל משפט אחד וקישור אחד — למאגר של Hugging Face — ולא תוצאות הערכה, לא ממצאי רד-טימינג ולא עדכון לתנאים הקודמים. זה לא אומר שהבדיקות לא נערכו. זה אומר שקורא לא יכול לבדוק, וארגון עם מדיניות רכש שדורשת את הראיות לא ימצא אותן כאן.

תמיכה ברמת גרסת שחרור הייתה משנה מי יכול לאמץ אותו. כרגע האפשרויות הן ענף פיתוח ב-SGLang, גרסת nightly ב-vLLM, או בנייה של מסלול AMD מהמקור על בסיס טיוטה שלא מוזגה. ברגע שהתמיכה תיכלל בגרסה מתויגת, המודל יהפוך להחלטת פריסה ולא לפרויקט הנדסי, והטופולוגיה בת שמונה הכיוונים תפסיק להיות מערך מחקרי.

שחזור עצמאי בהגדרות ברירת מחדל יראה לך מה שווה 31 בפועל. שורות הסוכניות הן אלה שכדאי לשים לב אליהן — SWE-bench Pro עם 86.3 ו-DeepSWE עם 72.1 הן טענות חזקות עבור מודל עם 17B פרמטרים פעילים, והן הופקו במאמץ מקסימלי. הרצות של צד שלישי במאמץ ברירת מחדל מגיעות תמיד לנמוך יותר. השאלה היא בכמה, ואף אחד מחוץ ל-Thinking Machines todavía לא ענה עליה.

עד שלפחות אחד מאלה יתממש, התיאור הנכון של Inkling 2 Small הוא מדויק באופן יוצא דופן: צ'קפוינט Apache 2.0 שאפשר להוריד היום, שאף מערכת הגשה ששוחררה אינה תומכת בו, שהטענות החזקות ביותר לגביו מגיעות מהמעבדה שיצרה אותו, ושער הרישיון שלו נפתח בלי המסמכים שהיו אמורים לקדום לו. זהו שחרור אמיתי ופער אמיתי, והפער הוא החלק שראוי לתשומת לב.