חלון ההקשר של Mistral Large 4: 1M מוצהר, 524K נמדד, ולמה ההבדל מחויב

כרטיס הדגם של Mistral אומר דבר אחד, ומדידה בלתי תלויה אומרת דבר אחר, והפער אינו קוסמטי. הכרטיס מפרט חלון הקשר של 1M אסימונים. Artificial Analysis, שמעריכה את התצורה שבה היא יכולה למעשה לרוץ, מדדה 524,288 אסימונים. כל אסימון קלט שאתה שולח נמדד בחיוב, כך שהשאלה "כמה הקשר יש לי" היא גם השאלה "כמה מותר לי להוציא בבקשה אחת".

ההבדל בין שני המספרים האלה הוא פי 2, ובדגם שגובה $1.36 לכל מיליון טוקני קלט זה אינו טעות עיגול.

מה הם המספרים, ומאיפה מגיע כל אחד מהם

• 1,048,576 אסימונים — הערך בקובץ התצורה ש-Mistral מפיצה יחד עם המשקלים. זהו תקרה שכתב הספק, וכרטיס הדגם חוזר עליה כ־"1M".

• 524,288 טוקנים — מה ש-Artificial Analysis מדדה בתצורה שהיא בדקה. חצי מהתקרה.

• מה זה עולה — ב-$1.36 למיליון, מילוי של 524K עולה כ-$0.71 לכל בקשה; מילוי מלוא ה-1M יעלה $1.43. שניהם הם צד הקלט של קריאה אחת, לפני כל פלט.

הנתון של היצרן אינו שקר, והנתון שנמדד אינו באג. חלון הקשר הוא יכולת של הארכיטקטורה; מה שתצורת שירות נתונה תקבל בפועל — עם תקציב מטמון ה-KV שלה, המקביליות הטנזורית שלה וגודל האצווה שלה — קטן יותר, והפער בין השניים הוא נורמלי בכל התעשייה הזו. זה פשוט נאמר לעתים רחוקות באותה שורה עם המחיר.

למה זה חשוב יותר מאשר במקומות אחרים

שלוש סיבות הספציפיות לדגם הזה.

מדובר ב-MoE עם טריליון פרמטרים. 1.05 טריליון פרמטרים, עם 52 מיליארד פעילים לכל טוקן, בתוספת מקודד חזותי בעל 1.6 מיליארד פרמטרים. מטמון KV עבור הקשר ארוך במודל מסוג זה הוא האילוץ המחייב בשירות, ולא כוונת קובץ התצורה. המספר שנמדד הוא מספר התכנון האמין.

התמחור הוא לפי טוקן, לא לפי בקשה. בקשה עם הקשר ארוך בכרטיס הזה היא סעיף חיוב שגדל באופן ליניארי עם מה שאתם שולחים. אתם לא קונים „חלון של 1M”; אתם קונים טוקנים, והחלון קובע רק כמה מהם יכולים להגיע בקריאה אחת.

המשקלים מגיעים יחד עם התצורה.כאשר תוריד 1,060.6 GB של bf16 ותקרא את code>config.json/code>, תראה את 1,048,576 ותתפתה לתכנן לפיו. המתכון של vLLM דורש פרלליזם טנסורי של 8 עם מטמון KV מסוג FP8, וזה בדיוק סוג התצורה שבו החלון המוגש והחלון המוגדר מפסיקים להתאים זה לזה.

איך למדוד את התקרה שלך בתוך אחר צהריים אחד

שלחו בקשה שחורגת ממה שלדעתכם הוא הגבול וקראו את הודעת השגיאה — ברוב המקרים הספקים מחזירים הודעת ספירת טוקנים במקום לקצץ בשקט. זה נותן לכם את תקרת השירות במארח שאתם באמת משתמשים בו, וזה המספר היחיד שהתקציב שלכם אמור להכיל.

אז שלח בקשה ב-80% מהתקרה הזו ועקוב אחר זמן ההשהיה. למודל בעל טריליון פרמטרים שקורא הקשר ארוך יש זמן עד לטוקן הראשון שגדל עם אורך הפרומפט; הנתון של 524K הוא חלון, לא הבטחה לגבי מהירות.

לבסוף, השוו את התקרה המתקבלת מול אורך הקלט באחוזון ה-95 שלכם ולא מול הממוצע. הממוצע לעולם אינו מהווה גורם מגביל; הזנב הוא המקום שבו מופיע צינור הפיצול למקטעים שלא הקציתם לו תקציב.

איך נראים החלונות של המתחרים

• DeepSeek V4 Pro — חלון הקשר של 1M, פלט של 384K, ‏$0.66 לקלט ו-$1.98 לפלט מחוץ לשעות השיא.

• Grok 4.7 — חלון הקשר של 500K, פלט של 450K, 2.00$ ו-6.00$ במחיר אחיד.

• Qwen3-Max — הקשר של 262K, פלט של 65K, $0.36 ו-$1.43.

• Mistral Large 4 — 1M מוצהר, 524K נמדד, $1.36 ו-$4.18 במחיר מחירון.

לעומת השדה הזה, החלון הנמדד של Mistral נמצא בין הטענות של 262K ל־1M — קרוב יותר לאמצע מאשר לראש. אם ההקשר הוא הסיבה שאתה מסתכל עליו, המספר הנמדד הוא זה שצריך להיכנס לטבלת ההשוואה, והוא עולה חצי מהנתון הכותרתי.

Mistral Large 4 אינו נמצא בקטלוג של OrcaRouter, ולכן זהו אינו מסלול שאנו יכולים להציע; ניתן לקרוא לו דרך ה-API של Mistral עצמה ודרך מארחים של צד שלישי. מה שכן אנו מציעים בדרך כלל הוא נקודת קצה אחת תואמת OpenAI עבור 224 מודלים במחיר המחירון של הספק וללא תוספת — כאשר חלון הספק, יהא אשר יהא, הוא זה שלפיו תתבצע ההחיוב שלך.