LFM3-1.7B-Base לעומת LFM2.5-2.6B-Base: פחות פרמטרים, פחות טוקנים, יותר הקשר

החשבון יוצא בכיוון ההפוך. LFM3-1.7B-Base, שפורסם ב-26 באוקטובר 2026, קטן ב-36% מ-LFM2.5-2.6B-Base, שאותו השיקה Liquid AI ב-4 באוגוסט 2026 — 1.73 מיליארד פרמטרים לעומת 2.69 מיליארד. הוא גם אומן על פחות טוקנים: 22 טריליון לעומת כ-34 טריליון. לפי שני המספרים שבהם התעשייה נוהגת להשתמש כדי לדרג מודלים מאומנים מראש, הצ'קפוינט החדש יותר אמור להיות גרוע יותר. הטענה של Liquid היא ההפוכה, לפחות לגבי המודל שעבר שלב אימון נוסף ונבנה על גביו, והשאלה המעניינת לכל מי שבוחר שלד לכוונן היא איזה מההבדלים האלה אמיתי ואיזה הוא סיפור שמסופר באמצעות חבילת מדדים. הרצת ההשוואה צריכה לעלות מחשוב, לא חוזה נוסף. תוספת של 0% OrcaRouter מעביר את מחירי המחירון של הספקים בתוספת של 0%.

זהו השוואה בתוך משפחה אחת, מה שהופך אותה לנקייה באופן יוצא דופן. אותו ספק, אותה משפחת רישיונות, אותו אוצר מילים של 128,000 טוקנים, אותו גודל מוסתר של 2,048, אותו תפקיד של בסיס-מול-בסיס. שתי נקודות הביקורת נבדלות בארכיטקטורה, בנפח הנתונים, באורך ההקשר ובכמות האימון-המשך שנטמעה בגזע. כמעט כל השאר מוחזק קבוע.

הדלתא, ממד אחר ממד

• פרמטרים — 1.73B עבור LFM3-1.7B-Base לעומת 2.69B עבור LFM2.5-2.6B-Base. הפחתה של 35.7%, ומכאן מגיע הביטוי "35% פחות פרמטרים" בפוסט ההשקה של Liquid.

• שכבות — 24 לעומת 30. הדגם החדש יותר גם רדוד יותר וגם צר יותר.

• תערובת שכבות — שלוש־עשרה קונבולוציות קצרות עם שער, חמישה בלוקי קשב עם חלון הזזה ושישה בלוקי קשב מלא עבור LFM3; עשרים ושתיים קונבולוציות ושמונה בלוקי קשב מלא עבור LFM2.5, ללא דרג חלון הזזה.

• קשב — שישה־עשר ראשי שאילתה וארבעה ראשי מפתח־ערך ב-LFM3, לעומת שלושים ושניים ושמונה ב-LFM2.5. שניהם שומרים על ממד ראש של 128 וגודל מוסתר של 2,048.

• רוחב Feed-forward — 7,680 עבור LFM3 לעומת 10,752 עבור LFM2.5. זה המקום שבו רוב הפחתת הפרמטרים למעשה נמצאת.

• מטמון קונבולוציה — שבעה עבור LFM3 לעומת שלושה עבור LFM2.5, עם חלון הזזה של 256 טוקנים שנוסף.

• הקשר — 262,144 טוקנים לעומת 128,000. הצ'קפוינט החדש יותר מכפיל את זה.

• אסימוני אימון מקדים — 22 טריליון לעומת כ-34 טריליון, כאשר 3.5 הטריליון האחרונים של הריצה החדשה יותר מוקדשים לנתוני אימון ביניים מסודרים, כולל עקבות סוכניות וקריאות לכלים.

• ארטיפקטים — LFM3-1.7B-Base מסופק רק כ-BF16 safetensors, בגודל 3.46 GB. LFM2.5-2.6B-Base מסופק ב-Safetensors וכן בבניות GGUF, ONNX ו-MLX, פועל בפחות מ-2.5 GB בכימות, ונתמך על ידי Transformers, vLLM, SGLang, llama.cpp ו-MLX.

לאן נעלמו הפרמטרים

ההפחתה אינה פרוסה באופן אחיד, וזה חשוב לכל מי שמעריך את עלות הכוונון העדין. ההטמעות מקושרות בשני המודלים ואוצר המילים זהה ב-128,000 אסימונים, ולכן מטריצת ההטמעה אינה משתנה. גודל השכבה הנסתרת נשאר 2,048. החיסכון מגיע משלושה מקומות: שש שכבות פחות, מחצית ממספר ראשי הקשב, ובלוק feed-forward צר בכ-29%.

צמצום בלוק ההזנה קדימה הוא הדרך הזולה ביותר להקטין טרנספורמר, משום שבלוק זה מכיל את רוב הפרמטרים בכל שכבה. חציית מספר ראשי הקשב מקטינה גם את מטמון המפתח־ערך וגם את המשקלים, ולכן מודל עם הקשר כפול עדיין יכול להיות מתואר כנכנס לכ־1 GB ב-4-bit. המחיר הוא קיבולת: ל-MLP צר יותר יש פחות מקום לאחסון אסוציאציות עובדתיות, ומספר ראשים קטן יותר נותן למודל פחות דפוסי קשב עצמאיים לעבוד איתם. הטענה של Liquid היא שנתונים טובים יותר ותמהיל שכבות טוב יותר מספיקים יותר מכדי לפצות על כך. הטענה הזו ניתנת לבדיקה, ונכון למועד הפרסום איש מחוץ לחברה לא בדק אותה.

מהיכן הגיע ההקשר

הכפלת החלון מ-128K ל-256K בלי להכפיל את עלות הקשב מחייבת להימנע מקשב גלובלי. מחסנית LFM3 עושה זאת על ידי הפניית חמישה מבין עשרים וארבעת השכבות שלה לחלון הזזה של 256 אסימונים ושלוש עשרה לקונבולוציות, כך שרק שש שכבות רואות את הרצף כולו. התצורה נושאת גם מקדם סיבובי חלקי של 0.5 בשכבות הקשב הגלובלי, שמחיל הטמעות סיבוביות על מחצית מממדי כל ראש, ותטא סיבובי של מיליון בשכבות אלו לעומת עשרת אלפים בשכבות ההזזה.

פוסט ההשקה של Liquid מספק מספר קונקרטי אחד למה שזה מאפשר: ב-128K טוקנים, מטמון ה-KV של מודל הטקסט הוא 1.6 GB. עבור LFM2.5-2.6B-Base, לא מפורסם נתון מקביל. לכן ההשוואה היא כיוונית ולא מדויקת — הארכיטקטורה החדשה יותר מתוכננת להחזיק הקשר ארוך יותר בפחות זיכרון, והנתון של הספק עצמו הוא המדידה היחידה הזמינה.

מדוע פחות טוקנים היא הטענה המעניינת

שלושים וארבעה טריליון טוקנים שיורדים לעשרים ושניים טריליון הם קיצוץ של 35% במחשוב האימון המקדים ברמת הנתונים, וזה בכיוון ההפוך מרוב דורות המודלים. הסיפור הרגיל הוא יותר נתונים, יותר פרמטרים, מודל טוב יותר. הסיפור של Liquid הוא פחות משניהם, עם ארכיטקטורה חדשה ותערובת נתונים שמוסיפה מאמרים מדעיים, קוד ברמת מאגר, מתמטיקה ופיזור רחב יותר של מקורות ידע.

שלב אימון הביניים של 3.5 טריליון טוקנים הוא החלק שמבדיל את הצ'קפוינט הזה מאימון מקדים ישיר. הוא משתמש בנתונים נבחרים באיכות גבוהה יותר, עם נתח גדול יותר של עקבות סוכניות וקריאות לכלים, והוא המקום שבו חלון ההקשר מוארך. השלב הזה הוא גם הסיבה לכך שמודל הבסיס נושא תבנית צ'אט: נתוני אימון הביניים עוצבו כשיחות, עם ובלי עקבות חשיבה.

שום דבר מזה אינו ניתן לאימות מבחוץ. ספירות הטוקנים מדווחות על ידי הגורמים עצמם, תערובות הנתונים אינן מפורסמות, ואין אבלציה שמראה איזה שינוי הניב איזה שיפור. הטענה סבירה — איכות נתונים ניצחה שוב ושוב נפח גולמי בשנתיים האחרונות — אבל סבירות אינה מדידה.

מה שהשוואה בין בסיס לבסיס יכולה להכריע

היא יכולה להכריע בשאלות של מפרטים, עלות ותאימות, והעמוד הזה עושה זאת. היא אינה יכולה להכריע בשאלת האיכות, מכיוון שלאף אחד משני הצ'קפוינטים אין בנצ'מרק מפורסם. Liquid לא פרסמה הערכה ל-LFM2.5-2.6B-Base ולא פרסמה גם ל-LFM3-1.7B-Base. שני הכרטיסים ממליצים על הצ'קפוינט לכוונון עדין נרחב ומפנים את הקוראים למקום אחר לצ'אט.

העדות היחידה לאיכות במשפחה היא הזוג שעבר פוסט-אימון. Liquid מדווחת כי LFM3-1.7B מגיע לממוצע של 49.37 בחבילת הבדיקות שלה, לעומת 31.55 עבור LFM2.5-2.6B, כאשר המודל החדש יותר משתמש ב-35% פחות פרמטרים. זהו פער גדול, והוא נתון של הספק שנמדד בחבילת בדיקות שבחר הספק, בהשוואה בין שני מודלים שנבדלים הן בפוסט-אימון והן בגזע. זו עדות לכך שמתכון LFM3 מפיק מודל Instruct טוב יותר. זו אינה עדות לכך שצ'קפוינט הבסיס הוא נקודת התחלה טובה יותר, משום שהפוסט-אימון שמעליו עשוי להסביר את מלוא ההבדל.

הערות מעבר לכל מי שמשתמש ב-LFM2.5

שתי נקודות הבדיקה חולקות גודל אוצר מילים, גודל מוסתר ומשפחת טוקנייזר, מה שגורם להגירה להיראות קלה ממה שהיא באמת. הן אינן חולקות קוד מידול: ‏LFM2.5 נטען כ-Lfm2ForCausalLM ו-LFM3 כ-Lfm3ForCausalLM, שניהם דרך קוד מותאם אישית עם trust_remote_code=True. סקריפט אימון שנכתב עבור אחד מהם לא יטען את השני בלי לשנות את מחלקת המודל, ותבניות הצ'אט שונות באופן שבו הן מטפלות בעקבות חשיבה.

ההבדל התפעולי הגדול יותר הוא באריזה. ל-LFM2.5-2.6B-Base יש בילדים של GGUF, ONNX ו-MLX והוא פועל תחת llama.cpp, vLLM, SGLang, Transformers ו-MLX. LFM3-1.7B-Base מסופק כקובץ safetensors יחיד ב-BF16; הבילדים המקוונטים והחוצי-פלטפורמיים קיימים עבור LFM3-1.7B לאחר ה-post-training, ולא עבור צ'קפוינט הבסיס. אם צינור העיבוד שלך תלוי בארטיפקט GGUF, אתה ממיר אותו בעצמך ומאמת את התוצאה.

תמיכת הכיוונון העדין היא המשקל שכנגד.‏ LFM3-1.7B-Base מקשר למחברות TRL עבור כיוונון עדין מפוקח והמשך אימון מקדים, והתיעוד מכסה את המשך הדרך משם. הצ'קפוינט הקטן יותר, חלון ההקשר של 256K ואימון הביניים הסוכני — כולם מכוונים בדיוק לסוג ההתאמה לתחום שאותן מחברות מדגימות.

מאיזה trunk להתחיל

התחל מ-LFM3-1.7B-Base אם אתה מתחיל כיוונון עדין חדש, המשימה שלך מרוויחה מהקשר ארוך, ואתה יכול לעבוד ב-BF16 עם Transformers או להמיר את המשקולות בעצמך. הפחתת הפרמטרים ב-35% היא כסף אמיתי בהרצת אימון על GPU יחיד, ההקשר המוכפל הוא שינוי יכולת ממשי, ותבנית הצ'אט מקצרת את השלב המפוקח.

הישארו על LFM2.5-2.6B-Base אם כבר יש לכם פייפליין עובד, אתם מסתמכים על ארטיפקט GGUF או ONNX, או זקוקים ל-checkpoint שיש מאחוריו שנה של כלי קהילה. המודל החדש יותר בן שלושה ימים. לאחיו מסוג instruct יש בילדים מכומתים ותמיכה מהיום הראשון ב-vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX ו-ONNX Runtime, אבל ל-checkpoint הבסיסי אין, והפער הזה הוא המחיר המעשי של להיות מוקדם.

אם אינכם בטוחים, הריצו את הניסוי במקום לקרוא את החומר השיווקי. קחו פרוסה קטנה מהנתונים שלכם, הריצו את אותו מתכון של continued pre-training על שני ה-trunk-ים באותו מספר צעדים, והעריכו על סט held-out שבניתם לפני שהתחלתם. זה כמה שעות GPU וזה עונה על שאלה שאף טבלת ספק לא יכולה. כאשר שני ה-fine-tunes קיימים, הציבו את שניהם מאחורי endpoint אחד: ה-DSL לניתוב של OrcaRouter יכול לפצל את התנועה ביניהם, ומעבר אוטומטי לגיבוי (failover) פירושו שניסוי גרוע לא יהפוך ליום ייצור גרוע. הפלטפורמה מעבירה את מחירי המחירון של הספקים בתוספת של 0%, כך שעלות הרצת הבדיקה היא עלות המחשוב, לא חוזה נוסף.

המספר שכדאי לשים לב אליו

הטענה שתכריע בכך אינה עוד ממוצע. זוהי הערכת מודל בסיס — כל הערכת מודל בסיס — שמפורסמת על ידי Liquid או על ידי צד שלישי, המשווה בין LFM3-1.7B-Base ל-LFM2.5-2.6B-Base לאחר מתכון כיוונון עדין זהה. עד שזה קיים, פער הדורות מתועד בארכיטקטורה ובקונפיגורציה, סביר במספרי הטוקנים, ולא מוכח במקום שבו זה חשוב. הצ'קפוינט החדש יותר קטן יותר, בעל הקשר ארוך יותר ומאורגן טוב יותר לאימון. האם הוא טוב יותר היא שאלה שהמאגר אינו עונה עליה.