LFM2.5-24B-A2B-DSpark לעומת LFM2.5-8B-A1B-DSpark: אותו קובץ 328M, שני הימורים שונים מאוד

הורדת כל אחד משני הקבצים מניבה 655,421,522 בתים. LFM2.5-24B-A2B-DSpark ו־LFM2.5-8B-A1B-DSpark הם זהים לחלוטין בגודלם, עד כדי בית, חולקים שלד בן חמש שכבות, אותו ראש מרקוב בדרגה 256, אותו גודל בלוק של 9 ואותו אוצר מילים של 128,000 טוקנים — ואף אחד מהם לא מסוגל לענות אפילו על פרומפט אחד, משום ששניהם מודלי טיוטה לדקוד ספקולטיבי שקיימים רק כדי לנחש טוקנים עבור מודל יעד. מה שמבדיל ביניהם אינו המפרט שלהם עצמם. אלא מול איזה יעד הם אומנו, וכמה ראיות יש לכך שהטריק עובד עליו. לאחד פורסמו מדידות GPU ו-MacBook בפוסט השקה; לשני יש טבלת GPU ואין הכרזה. הבחירה ביניהם היא אפוא לא השוואה בין מודלים כלל — היא השוואה בין שני הימורים, ורק אחד מהם נפדה.כשלי ה-AI המתועדים ותקריות הסוכנים מאחורי שחרורים כמו זה נאספים בארכיון התקריות של OrcaRouter AI שבו כל רשומה נושאת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.

הקבצים תאומים; המשימות לא.

קרא את שני קבצי ה-config.json זה לצד זה וכמעט כל שדה תואם: גודל מוסתר 2,048, גודל ביניים 6,144, הפעלת SiLU, 32 ראשי קשב על פני 8 ראשי KV בממד ראש 64, חמש שכבות קשב מלא, גודל בלוק 9, enable_confidence_head: true, ראש מרקוב סטנדרטי בדרגה 256. מספר הפרמטרים זהה, ולכן קבצי ה-safetensors תואמים בייט-בייט.

שלושה שדות שונים, וכל אחד מהם חיוני.

• נקודות שאיבה בשכבות היעד — מנסח ה-8B קורא מצבים נסתרים משכבות 2, 6, 10, 14 ו-18 של יעד בן 24 שכבות; מנסח ה-24B קורא שכבות 2, 10, 18, 26 ו-34 של יעד בן 40 שכבות. זהו השדה שהופך את הקבצים לבלתי ניתנים להחלפה.

מקסימום פוזיציות — 128,000 עבור הדראפטר 8B לעומת 131,072 עבור ה-24B, בהתאמה לחלונות ההקשר של היעדים שלהם.

• RoPE theta — 5,000,000 לעומת 10,000,000, נקבע על ידי קידוד המיקום של היעד ולא על ידי משהו שקשור למודל הטיוטה.

הזוג האחרון הוא העדות הברורה ביותר לכך שנקודות הביקורת הללו אומנו בנפרד לכל יעד ולא הורחבו מבסיס משותף. לדרפטר אין זהות עצמאית: התפלגות הקלט שלו היא כפי שהמצבים הנסתרים של היעד נראים, ואלה משתנים כאשר הארכיטקטורה והאימון של היעד משתנים. כוונו את הדרפטר בגודל 8B למודל בגודל 24B, ורק אינדקסי השכבות כבר הופכים אותו לחסר פשר; גם אם הם היו מתיישרים, הלוגיטים שאומן לחזות לא היו מתיישרים.

מה שכל אחד מהם למעשה מאיץ

היעדים שונים זה מזה יותר ממה שמשתמע מהשם "8B מול 24B", וההבדל פועל בכיוון ההפוך עבור מי שמניח שהמודל הגדול יותר הוא העומס הכבד יותר על המכשיר.

• סך הפרמטרים והפרמטרים הפעילים — LFM2.5-8B-A1B הוא 8.3B בסך הכול עם 1.5B פעילים לכל טוקן; LFM2.5-24B-A2B הוא 24.0B בסך הכול עם 2.45B פעילים.

• עומק — 24 שכבות (18 קונבולוציות שעריות ועוד 6 GQA) לעומת 40 שכבות (30 קונבולוציות ועוד 10 GQA).

• הקשר — 128,000 טוקנים לעומת 131,072.

• תקציב אימון — 38T טוקנים לעומת 36T, כך שהמודל הקטן יותר לא אומן בחסר ביחס לגדול יותר.

• ניתוב — ה-8B משתמש ב-MoE עם 64 מומחים וניתוב top-4, בדיוק כמו ה-24B, כך ששניהם משלמים את קנס הפעלת המומחים שפוגע באימות.

{{1}}שניהם מודלי הסקה שחושבים לפני שהם עונים, וזה חשוב כאן יותר ממספרי הפרמטרים. החולשה הגדולה ביותר של פענוח ספקולטיבי היא פלט ארוך ולא מוגבל, ושרשרת מחשבות היא בדיוק כזו. טבלאות הספק מראות זאת: שורות הקבלה הגבוהות ביותר בשתי המהדורות הן בנצ'מרקים של תשובות קצרות כמו MBPP ו-MT-Bench, והנמוכות ביותר הן אלה שבהן המודל צריך להמציא מסלול פתרון ארוך.{{/1}}

פער הראיות הוא ההבדל האמיתי

כאן שתי ההשחרות מפסיקות להיות ברות-השוואה. ה-drafter בגודל 8B שוחרר ב-2026-08-20 כחלק מהכרזה על המשפחה כולה, עם מדידות על שתי מכונות שונות מאוד: כרטיס H100 80GB בודד ב-BF16 דרך SGLang, ו-M4 Max MacBook Pro שמריץ משקולות FP16 GGUF דרך llama.cpp עם קרנלים ניסיוניים של Metal. הוא הגיע לממוצע של פי 2.54× על ה-H100, עם שיא של 3.18× ב-MATH-500, ורק 1.18× על ה-MacBook — 90 עד 106 טוקנים לשנייה, בממוצע על פני חמישה מערכי נתונים.

למודל הטיוטה 24B יש שורת חומרה אחת: NVIDIA B300 בודד עם יעד FP8, מטמון KV מסוג BF16 וטמפרטורה 0. הוא מגיע בממוצע ל-2.38× במקביליות 1, ל-2.69× במקביליות 32 ול-1.71× במקביליות 256 על פני שמונה מערכי נתונים, עם שיא של 3.28× ב-MBPP במקביליות 32. אין שורת Mac, אין שורת H100, ואין פוסט הכרזה שמסביר את ההשמטה.

עבור המודל שכל המכירה שלו מבוססת על סוכנים על-המכשיר — פוסט ההשקה של Liquid ל-24B מוביל עם 184 טוקנים לשנייה על Apple M5 Max — המספר החסר של ה-MacBook הוא החלל הריק המשמעותי ביותר בהודעה. תוצאת ה-8B מסבירה מדוע ייתכן שהוא קטן: אימות של בלוק טוקנים מפעיל יותר מומחים מאשר פענוח של טוקן בודד, כך שיעד MoE מעביר יותר משקל לכל טוקן מקובל. והקבלה לבדה אינה הגורם המנבא: ה-drafter של ה-8B למעשה הניב בממוצע יותר טוקנים מקובלים לכל צעד ממה שדו"ח ה-24B מדווח (6.95 על פני חמישה מערכי נתונים לעומת 5.16 על פני שמונה) ובכל זאת סיפק רק פי 1.18 על MacBook. זו הנקודה שראוי לזכור — ב-8B, קבלה חזקה לא הצילה את התפוקה על-המכשיר. ההנחה שה-24B מתנהג אחרת היא הימור בלי מספר מאחוריו.

קריאת שתי הטבלאות זו כנגד זו

יחסי הכותרת אינם בני השוואה ישירה ואין לגרוע אחד מהשני. GPU שונה, דיוק יעד שונה, ערכות נתונים שונות, סבבי מקביליות שונים. אבל שני דפוסים שורדים את אי-ההתאמה.

ראשית, התקרה דומה. התא הטוב ביותר של ה-8B ב-H100 היה פי 3.18 על MATH-500 בגודל אצווה 1; התא הטוב ביותר של ה-24B ב-B300 הוא פי 3.28 על MBPP בקונקרנציה 32. מודלי הטיוטה בתכנון הזה נופלים באותו טווח של פי 1.5–3.3 ללא קשר ליעד שהם משרתים, וזה מה שהייתם מצפים לו כאשר ארכיטקטורת מודל הטיוטה נשמרת קבועה ורק המשקלים משתנים.

שנית, ושימושי יותר, רצפת הביצועים היא המקום שבו היעדים נבדלים. התא החלש ביותר של ה-8B ב-H100 היה GSM8K ב-1.29×; התא החלש ביותר של ה-24B ב-B300 במקביליות 256 היה LiveCodeBench ב-1.34× ו-AIME ב-1.36×. אף אחת מהמהדורות לא יוצרת מקרה שבו הספקולציה היא בחינם, ושתיהן יוצרות מקרים שבהם היא בקושי שווה את הזיכרון.

יש גם שינוי בתיעוד בין שני הכרטיסים שקל לפספס ושווה לציין. החומר מאוגוסט אמר שהפלט תחת פענוח חמדני זהה לבסיס "מעצם הבנייה"; כרטיס ה-8B מבטיח "בדיוק אותם פלטים". כרטיס ה-24B לעומת זאת מזהיר שהבדלים בנקודה צפה בין אימות באצוות לבין פענוח רגיל עלולים להפיק טקסט שונה, כולל תחת דגימה חמדנית. הכרטיס המאוחר הוא המוקפד יותר, ואם אתם מריצים ב-CI השוואות פלט ברמת הבתים, שווה להתייחס לשניהם כאל כאלה שייתכן שאינם זהים, ולא לסמוך על ההבטחה הישנה.

איזו אחת רלוונטית עבורך נקבע לפי המטרה שלך, לא לפי התקציב שלך.

אין תרחיש שבו צוות בוחר באחד מאלה על פני האחר משיקולים ענייניים. מריצים את ה-24B כי צריך את היכולת של מודל 24B על מכונה שיכולה להכיל אותו — 14.5 GB ב-Q4_K_M בפורמט GGUF, או B300 יחיד עבור תצורת שירות FP8. מריצים את ה-8B כי 8.3B פרמטרים בסך הכול עם 1.5B פעילים זה מה שמתאים להתקן קצה או למחשב נייד, והדרפטר מחזיר חלק ממהירות הפענוח שאיבדתם כשעברתם לקטן. הדרפטר הוא תוספת להחלטה הראשונה הזו, וההחלטה כמעט תמיד מתקבלת על בסיס זיכרון ואיכות הרבה לפני שהשיקול הספקולטיבי נכנס לתמונה.

המקרה היחיד שבו הבחירה רלוונטית הוא הערכה. אם אתם בודקים אם בכלל כדאי לאמץ את DSpark בסטאק שלכם, צימוד ה-8B הוא הניסוי הזול יותר: הוא נכנס על H100 אחד, יש לו נתוני Mac שתוכלו לבדוק מולם מול הלפטופ שלכם, ואופן הכשל שלו על המכשיר כבר תועד על ידי הספק. צימוד ה-24B הוא ניסוי הייצור המעניין יותר והפחות מתועד.

בכל אחד מהמקרים, המספר שמכריע את התוצאה הוא מונה הקבלה, ולא טבלת הספק. SGLang חושף שיעור קבלה של פענוח ספקולטיבי לכל בקשה; llama.cpp מדווח draft_n ו-draft_n_accepted בזמנים לכל תגובה. הריצו פרומפטים משלכם במשך עשר דקות וחלקו. אם שיעור הקבלה קרוב לממוצע של הכרטיס, המודל המנסח משתלם; אם הוא נמצא בקצה הנמוך, אתם קונים מעברי אימות וכדאי לנתק אותו — והמסקנה הזו תהיה תקפה בשתי נקודות הביקורת, כי המנגנון זהה.

אף אחד מהצ'קפוינטים אינו מודל שאפשר לקרוא לו

זה החלק שתופס אנשים שנתקלים בשמות האלה בקטלוג מודלים ומניחים שהם אפשרויות בתפריט. הם לא נקודות קצה. לאף אחד מהדרפטרים אין מחיר למיליון טוקנים, אף אחד מהם לא מופיע ברשימת API, ואף אחד מהם לעולם לא יופנה אליו על ידי פלטפורמה שמשרתת מודלים — כי השיוך הנכון הוא תצורה בצד השרת, לא פרמטר בבקשה.

Liquid AI מוכרת את מודל היעד בן ה-24B עצמו ב-$0.10 למיליון אסימוני קלט, $0.05 עבור קלט במטמון, ו-$1.00 למיליון אסימוני פלט, וכל ספקולציה שהיא מריצה מאחורי המחיר הזה אינה נראית למי שמבצע את הקריאה. זו הצורה הרגילה של השוק כיום: ההנדסה המעניינת קורית בתוך מערך ההגשה, ומה שמגיע למפתח הוא תעריף ומספר אסימונים לשנייה. המקום שבו פלטפורמות ניתוב מזכות את מקומן הוא בהשוואה מעל השכבה הזו — הצבת מועמד לצד המודלים שהוא צריך לנצח. OrcaRouter מפעיל נקודת קצה אחת על פני יותר מ-200 מודלים ללא תוספת של 0% למחיר המחירון של הספק, כך שכאשר התעריף של ספק משתנה, התעריף שאתה רואה משתנה באותו יום, ומעבר אוטומטי לגיבוי מונע ממודל מועמד להפוך לנקודת כשל יחידה בזמן שאתה מעריך אותו. משפחת LFM2.5 אינה ביניהם היום, כך ש-8B או 24B באירוח עצמי עם ה-drafter המצורף לו נשארים פריסה מקומית; המודלים ששווה לבדוק מולו — Qwen3.6-35B-A3B בצד הסוכני, Gemma 4 26B-A4B בצד היעילות — הם אלה שאנחנו מנתבים.

מה שקבעה שנה של מהדורות DSpark

המשפחה משתרעת כעת על פני ארבעה מודלי יעד טקסטואליים ומודל יעד חזותי אחד, מ-1.2B עד 24B, כשכולם חולקים מתכון אחד למודל טיוטה: כ-300M פרמטרים, חמש שכבות קשב, בלוק 9, מאומן על המצבים הנסתרים של מודל היעד עצמו. העקביות הזו היא הממצא האמיתי. Liquid הפכה את הפענוח הספקולטיבי מפרויקט מחקר פר מודל לשלב ייצור — אותו מודל טיוטה, מותאם מחדש, ומשוחרר תוך ימים מכל מודל חדש. השאלה אם שווה לבצע את השלב הזה על החומרה שלכם היא שאלה על התעבורה שלכם, והתשובה משתנה לפי עומס העבודה הרבה יותר משהיא משתנה לפי איזה משני הקבצים האלה תורידו.

מה שמוסיפה גרסת ה-24B לתמונה הזו הוא לא יחס טוב יותר. זו הפעם הראשונה שמודל טיוטה נשלח בלי התיעוד הנלווה — והפעם הראשונה שכרטיס המודל של הספק עצמו אומר לך, במילים פשוטות, שייתכן שהפלטים לא יהיו זהים ביט-לביט אחרי הכול.