אירוח עצמי של Mistral Large 4: מה 1.06 TB באמת עולה לך

המשקלים זמינים, ללא הגבלת גישה, והרישיון מתיר שימוש מסחרי. שלוש עובדות שהופכות אירוח עצמי של Mistral Large 4 למשהו שנראה כמו החלטה ולא כמו פנטזיה. ואז אתה קורא את רשימת הקבצים: 54 שברי safetensors, 1,060.6 GB ב-bf16, לפני טוקן בודד של מטמון KV. המספר הזה — ולא הכותרת של טריליון פרמטרים — הוא זה שסביבו מתכננים אחסון ו-GPU, והוא הסיבה שרוב הצוותים יקראו את הדף הזה ויישארו ב-API.

שתי נקודות הביקורת, ומה שכל אחת מהן דורשת

• bf16 — 54 רסיסים, 1,060.6 GB, שניים מהם בגודל 16.9 GB ו-4.2 GB, ו-52 האחרים בין 19.7 ל-20.0 GB. זה לא נכנס באופן שימושי על שמונה מאיצים של 141 GB לאחר הקצאת מצב KV, אז היערכו ליותר חומרה או למסלול המקוונט.

• NVFP4 — מאגר נפרד, 32 שרדים, 610.1 GB, שאותו מציבה Mistral עבור חומרת Blackwell עם תמיכה מקורית ב-NVFP4. ההנחיה של Mistral עצמה: ארבעה כרטיסי GPU מסוג B200 או B300. הטענה שהוא שומר על "אותם ביצועים" היא טענת יצרן, לא מדידה.

• מתכון הגשה —תצורת ה-vLLM של כרטיס המודל דורשת מקבילות טנזורית של 8 עם סוג נתונים FP8 של KV-cache. זוהי התצורה שכנגדה יש לבצע בנצ'מרק, ולא הבטחה לתפוקה.

• הקשר — מיליון טוקנים מוגדרים, 524,288 נמדדו בתצורה שנבדקה. הקשר ארוך מכפיל את הלחץ על מטמון ה-KV, אשר על מקודד חזותי בעל 1.6 מיליארד פרמטרים ועוד MoE בעל 1.05 טריליון פרמטרים מהווה את ההבדל בין אם זה נכנס לזיכרון ובין אם לא.

נקודת האיזון שאף אחד לא מריץ

קח את מחיר המבצע בתור אמת המידה שעל האחסון לנצח: 0.68 דולר למיליון טוקנים של קלט ו-2.09 דולר למיליון טוקנים של פלט. ארבעה מעבדי B200 בתעריף ענן ריאלי — נגיד 8 עד 12 דולר לשעת GPU — הם 32 עד 48 דולר לשעה, או בערך 23,000 עד 35,000 דולר בחודש לפני אחסון, רשתות, הנדסה והזמן שנדרש לכיול מחסנית שירות.

כדי לכסות עלות חודשית כזו מול 2.09 דולר למיליון אסימוני פלט, תצטרכו לייצר אי־שם מעל אחד־עשר מיליארד אסימוני פלט בחודש, בכל חודש, בניצול מלא. זהו היקף שכמעט אין לאף צוות מחוץ להיפרסקיילר באמת, והוא מתעלם משבועיים של עבודת הנדסה שהפריסה הראשונה עולה.

במילים אחרות: ב־100 מיליון טוקני פלט בחודש — מספר ייצור גדול אך אמיתי — ה-API עולה כ-$209 במבצע או $418 במחיר מחירון, לעומת חשבון אירוח של עשרות אלפים. אירוח עצמי אינו הנחה בקנה מידה כזה. זו רכישה של משהו אחר.

מהו הדבר האחר הזה

ארבעה דברים, והם הסיבות היחידות והכנות להוריד 1.06 TB.

מיקום נתונים. המשקלים לעולם אינם יוצאים מהיקף הגבולות שלך. עבור עומס עבודה כפוף לרגולציה זה אינו בגדר העדפה אלא דרישה, ושום מחיר של API לא יתחרה בכך.

ודאות רישוי. רישיון ה-Ecosystem Open-Weight של Mistral מאפשר שימוש מסחרי, שינוי, אימון נוסף ויצירות נגזרות, עם הסתייגות אחת: הפעלת מודל כשירות (model-as-a-service) — מתן שליטה ממשית לצדדים שלישיים על קלטים, פרמטרים או נתוני אימון — מחייבת הסכם מסחרי נפרד. תכונות מוטבעות, שימוש פנימי והעברה גרידא אינם נכללים. בעלות על הארטיפקט משמעה שהתנאים שהסכמת להם הם התנאים החלים.

הזכות לכיוונון עדין. נגזרת שאתה מאמן היא שלך, ואף API מתארח לא יכול להציע זאת בשום מחיר.

דטרמיניזם. הצ'קפוינט שאימתת הוא הצ'קפוינט שאתה מריץ. ניתן להפנות מודל מתארח מחדש לגרסה חדשה תחת אותו שם; קובץ בדיסק שלך לא.

מה שאף אחד מארבעת אלה אינו: זול יותר לכל טוקן. החישוב שלמעלה שולל זאת עבור כל צוות מתחת להיפר-סקייל, ותוכנית שנבנית על הציפייה לחיסכון לא תשרוד את החשבונית הראשונה שלה.

סעיף הרישיון שמארח חייב לקרוא פעמיים

אם הסיבה לאירוח עצמי שלך היא לספק את המודל ללקוחות, סעיף 2 הוא הפסקה שקובעת את הצורה המשפטית שלך. מחשוב עבור המוצרים שלך כשר; פלטפורמה שמוסרת ללקוחות את המודל ואת שליטה משמעותית בקלטים, בפרמטרים או באימון אינה קיימת לפי רישיון זה ללא הסכם נפרד. החריג ל"העברה בלבד של בקשות למודלים המתארחים אצל אחרים" הוא צר ומשמעותו כפי שהיא: העברה לנקודת קצה של מישהו אחר אינה אירוח.

ההבחנה הזו היא הדבר היחיד בעמוד הזה שמחירון אינו יכול לענות עליו, וכדאי להשקיע שעה של עורך דין לפני רכישת GPU.

מי צריך להוריד את זה

הורד אם רגולטור, חוזה לקוח או מדיניות סיווג נתונים כבר אמרו לך את התשובה. הורד אם אתה מתכוון לבצע fine-tune ולשחרר נגזרת, כי זו יכולת שה-API לא מוכר. הורד אם יש לך קיבולת Blackwell שכבר שולמה ועומדת ללא שימוש — מסלול ה-NVFP4 על ארבעה B200s הוא התצורה היחידה שבה המספרים מתקרבים לנקודת איזון.

הישארו ב-API אם השאלה הייתה מחיר. במחיר $0.68 ו-$2.09 במבצע, או $1.36 ו-$4.18 במחיר מחירון, פנייה למודל הזה היא אחת הדרכים הזולות בשוק לקבל תשובה מולטימודלית בעלת טריליון פרמטרים — ובלבד שתתייחסו למבצע כאל חלון זמן ולא כאל תעריף קבוע. Mistral Large 4 אינו בקטלוג של OrcaRouter, ולכן המסלול הזה עובר דרך ה-API של Mistral עצמה ומארחי צד שלישי; המבנה הכללי שאנחנו כן מציעים הוא נקודת קצה אחת תואמת OpenAI עבור יותר מ-224 מודלים במחיר המחירון של הספק וללא תוספת מחיר, שבו שינוי מחיר של ספק נכנס לתוקף ביום ההכרזה ולא בחידוש הבא.