LFM3-1.7B מול MiniCPM5-2B: בדיקת לוח התוצאות 23-to-4 של Liquid

{{1}}ב-27 באוקטובר 2026{{/1}} Liquid AI פרסמה {{2}}טבלת בנצ'מרקים בת 27 שורות{{/2}} שהעמידה את {{3}}LFM3-1.7B{{/3}} מול {{4}}MiniCPM5-2B{{/4}}. המודל של Liquid מנצח ב-{{5}}23{{/5}} מאותן שורות. {{6}}MiniCPM5{{/6}} מנצח בארבע. המניין עבר במהירות, וזו בעיה, מפני שמניין ניצחונות הוא הדבר הכי פחות אינפורמטיבי שאפשר להפיק מטבלה שספק אחד בחר את הבנצ'מרקים, כתב את ההארנס והריץ את שני המודלים. זהו מבחן של מה שה-{{7}}23–4{{/7}} הזה בעצם אומר לך — והוא מתחיל בהודאה: ההשוואה ש-Liquid עונה עליה בשקט פורסמה בבלוג הזה יום קודם, והחברה נמנעה מלהעלות בדיוק את הטענה הזאת. הפוסט ההוא השווה את שני הצ'ק-פוינטים הבסיסיים והסיק שלאף אחד מהם לא היו הערכות שמישות. הנה הגרסה עם המשקלים לאחר שלב האימון המשלים בשני הצדדים.

MiniCPM5-2B הוא מודל החשיבה הצפוף בעל 2.52B הפרמטרים של OpenBMB, שהושק בתחילת ספטמבר 2026 תחת Apache 2.0. LFM3-1.7B הוא מודל הטקסט והסוכן בעל 1.73B הפרמטרים של Liquid AI, שיצא ב-27 באוקטובר 2026 תחת LFM Open License v1.0. הם באותה מחלקת משקל, הם מתחרים על אותו מקום במכשיר, והם נבנו למשימות שונות באופן מובהק.

שני ספקים, שתי רתמות, שולחן אחד

הספירה 23–4 קיימת רק משום ש-Liquid הריצה מחדש את המתחרה שלה. זה דבר לגיטימי וקפדני באופן יוצא דופן לעשות בהשקה — רוב הספקים משווים למספר מלוח דירוג ציבורי ומשאירים את התשתית בלתי מפורשת. אבל הרצה מחדש של מתחרה על ההארנס שלך לא מפיקה תוצאה ניטרלית, והדבר שמסגיר נמצא בשורות שבהן אותו מבחן מופיע בכרטיסים של שני הספקים.

קחו את BFCL V4. Liquid מודדת את MiniCPM5-2B ב-62.65. הכרטיס של OpenBMB עצמה מדווח 66.6. קחו את Humanity's Last Exam: Liquid מקבלת 8.20 עבור MiniCPM5, ו-OpenBMB טוענת 8.9. הפערים האלה קטנים — בתוך ארבע נקודות בסולם 0–100 — והם מרמזים שההבדל בין מערכות ההרצה מתון במבחנים סטנדרטיים. עכשיו קחו את SWE-bench Verified, שבו OpenBMB מדווחת 46.4 עבור MiniCPM5-2B ו-Liquid מדווחת 43.40 עבור LFM3-1.7B. העמידו את שני המספרים האלה זה לצד זה ו-MiniCPM5 מנצח. העמידו את השורה של Liquid עצמה עבור MiniCPM5 לצד השורה של Liquid עצמה עבור LFM3 ו-LFM3 מנצח. אותו מבחן, אותם שני מודלים, תשובה הפוכה, כי המספרים הגיעו ממערכות הרצה שונות.

זו כל הבעיה בדוגמה אחת. אף אחד מהספקים לא פרסם תצורת הארנס, מדיניות ניסיונות חוזרים או פיגום פרומפטים. עד שמישהו יריץ את שני המודלים דרך ארנס אחד שאינו בשליטתם, כל שורה חוצת־ספקים בהשוואה הזו היא הטלת מטבע בתחפושת של מדידה.

כאשר הפער גדול מכדי להיות רעש של מערך הבדיקות

יש שורות שאי אפשר להסביר אותן החוצה. ניווט אינטרנט אגנטי הוא הברור ביותר:

• WebArena-Verified — ‏LFM3-1.7B 38.42 לעומת MiniCPM5-2B 9.11 בהרנס של Liquid.

• AutomationBench — 41.29 לעומת 4.71.

• RULER 128K — 65.56 לעומת 37.96.

• BFCL V4 — 71.39 לעומת 62.65.

פער של ארבע נקודות הוא פיגום. פער של עשרים ותשע נקודות ב-WebArena-Verified, או פער של שלושים ושבע נקודות ב-AutomationBench, אינו כזה. אלה הבדלים בשאלה אם המודל מסוגל בכלל להחזיק תוכנית רב-שלבית יחד, והם מתיישבים עם מה שכל ספק אומר על עצמו: Liquid בנתה את LFM3 סביב אימון-ביניים אג'נטי עם עקבות קריאות לכלים, והתיעוד של OpenBMB עצמה מסמן את MiniCPM5 כחלש במשימות ארוכות רב-שלביות ונוטה לחזרתיות. שני תיאורים בלתי תלויים של אותה חולשה, שמגיעים מכיוונים מנוגדים, הם הראיות החזקות ביותר בכל ההשוואה הזו.

שורת ההקשר הארוך ראויה לתשומת לב נפרדת משום שהיא זו שאנשים יפרשו לא נכון. הציון RULER 128K של 37.96 עבור MiniCPM5 הוא ציון שליפת מידע באורך 128K, לא קביעה שהמודל מוגבל ל-128K — MiniCPM5-2B תומך רשמית ב-131,072 טוקנים. המשמעות היא שבאורך הזה, MiniCPM5 מוצא פחות ממה שמבקשים ממנו למצוא. LFM3 משיג 65.56 באותו אורך. אם עומס העבודה שלכם הוא "לחפש במסמך ארוך ולענות", הפער הזה הוא כל ההחלטה.

ארבע השורות שבהן MiniCPM5 מנצח — ולמה הן חשובות

הטבלה של Liquid מעניקה ל-MiniCPM5-2B ארבעה ניצחונות: τ³-bench עם 69.44 מול 68.01, GPQA Diamond עם 65.15 מול 63.37, HLE עם 8.20 מול 7.17, ו-AA-Omniscience עם 9.13 מול 7.07. שלושה מהארבעה הם מבחני ידע. הפערים הם בין נקודה לשתיים, שזה בתוך רצפת הרעש של רוב מערכות ההערכה.

אבל הדפוס עקבי עם העיצוב של MiniCPM5. OpenBMB אימנה אותו כמודל חשיבה עם מצב חשיבה מפורש, על שרשרת שהריצה SFT של חשיבה מעמיקה על פני 400 מיליארד טוקנים ולאחר מכן למידת חיזוק עם מורים מומחים לפני זיקוק on-policy לנקודת ביקורת צפופה אחת. זהו מתכון שמטרתו להפיק יותר מהידע המאוחסן לכל פרמטר. האימון של LFM3 מכוון לקריאות לכלים ולהקפדה על הוראות. המעבר של GPQA Diamond לטובת MiniCPM5 ב-1.8 נקודות אינו הפתעה; אלו שתי פילוסופיות האימון שמראות את עצמן במקום שבו הייתם מצפים.

ההשוואה המעניינת הרבה יותר היא זו שהטבלה של Liquid אינה יכולה לערוך. ל-MiniCPM5-2B יש מדד אינטליגנציה של 12 ב-Artificial Analysis. ל-LFM3-1.7B, נכון ל-28 באוקטובר 2026, אין כלל רשומה ב-Artificial Analysis — אין מדד, אין מהירות שנמדדה באופן עצמאי, אין נתון השהיה ניטרלי. כך שהמודל שמפסיד ב-23 מתוך 27 שורות הוא זה שיש לו נקודת נתונים עצמאית, ואילו המודל שמנצח בהן הוא זה שמבקש שייקחו אותו על סמך אמון. אסימטריה זו צריכה לשקול יותר ממספר הניצחונות.

המפרטים שאכן ניתנים להשוואה בצורה נקייה

כאשר אף אחד מהספקים לא מריץ את הבנצ'מרק של האחר, המספרים משעממים ואמינים:

• פרמטרים — LFM3-1.7B 1.73B צפוף לעומת MiniCPM5-2B 2.52B סה״כ, 1.98B ללא הטמעה.

• שכבות — 24 היברידיות (13 קונבולוציה, 5 חלון הזזה, 6 גלובליות) לעומת 42 שכבות טרנספורמר סטנדרטיות עם קשב grouped-query ב-16 ראשי query ו-2 ראשי KV.

• הקשר — 256K לעומת 131,072.

• מטמון KV ב-128K — 1.6 GB לעומת 5.6 GB, לפי המדידה של Liquid של שניהם.

• טביעת רגל ב-4-bit — כ-1 GB לעומת כ-1.1 GB בדיווחים מהתנסות מעשית.

• אוצר מילים — 128K לעומת 130,560.

• רישיון — LFM Open License v1.0, חינם מתחת להכנסות של $10M לעומת Apache 2.0, ללא סף.

שורת ה-KV-cache היא זו שמכריעה את החומרה. הבדל של פי 3.5 באותו אורך הקשר הוא ההבדל בין סוכן ארוך-הקשר שנכנס לטלפון לבין כזה שלא. זה גם מסביר מדוע LFM3 יכול להציע 256K במקום שבו MiniCPM5 מציע 131K: תמהיל השכבות התלת-היברידי זול יותר לכל טוקן בהקשר, וזו כל הנקודה בבנייה שלו.

ההבדל ברישיון חשוב יותר מההבדל בזיכרון עבור חלק מהצוותים. ל-Apache 2.0 אין סף הכנסות, אין הסכם מסחרי לנהל משא ומתן עליו, ואין עמימות בנוגע להפצה מחדש. רישיון LFM Open License הוא חינמי מתחת ל-10 מיליון דולר בהכנסות שנתיות ומחייב שיחה מעל לכך. סטארט-אפ מתחת לקו הזה מקבל את שניהם בחינם. חברה מעליו מקבלת אחד בחינם ואחד לאחר שיחת טלפון, וזו עלות רכש אמיתית בלי קשר לשאלה איזה מודל מקבל ציון גבוה יותר.

תמיכה באקוסיסטם היא המקום שבו MiniCPM5 עדיין מוביל

שתי המשפחות הגיעו עם תמיכת ריצה רחבה כבר ביום הראשון, כך שהפער הזה צר יותר ממה שהיה לפני שנה. LFM3 מפרטת את vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama ו-LM Studio, עם בילדים ב-BF16, FP8, NVFP4, GGUF, MLX ו-ONNX. MiniCPM5-2B מפרטת את אותן סביבות ריצה בתוספת GPTQ ו-DSpark, מודל טיוטה לפיענוח ספקולטיבי שמשתלב עם ה-checkpoint הראשי.

ההבדל המעשי הוא בגרות ולא בזמינות. MiniCPM5-2B זמין להורדה מתחילת ספטמבר, כלומר שבעה שבועות של דיווחי באגים מהקהילה, ניסויי כימות ותיקוני פריימוורקים של-LFM3 לא זכה להם. מודל ששוחרר אתמול יהיה עם קצוות מחוספסים בהמרת ה-GGUF ובאריזת ה-Ollama שלו. זו לא ביקורת על Liquid; כך נראה יום ראשון. אם אתה צריך את המודל בייצור השבוע, שבעה שבועות שבהם אחרים נתקלו בבעיות ראשונים שווים משהו.

איך להחליט, ואיפה ראוטר מצדיק את מקומו

אף אחד מהמודלים אינו בקטלוג של OrcaRouter — שניהם משקלים פתוחים שאתם מריצים בעצמכם, ואנחנו מעדיפים לומר זאת בפשטות מאשר לרמוז אחרת. הראוטר חשוב בנקודת הגבול. הדרך הישרה להריץ את ההערכה הזו היא להעמיד את שני המודלים מאחורי נקודת קצה אחת ולשלוח אליהם תעבורה אמיתית, והדרך הישרה להריץ כל אחד מהם בסביבת ייצור היא לא לאפשר למודל 2B להיות הדבר היחיד שיכול לענות.

לשם כך נועד מעבר אוטומטי לגיבוי. נתבו בקשה אל LFM3-1.7B, תנו לו לטפל בקריאת הכלי או בחילוץ שעבורו אומן, ועברו למודל מתארח כאשר מתברר שהמשימה דורשת יותר שלבים ממה שמודל 2B יכול להכיל. מכיוון ש-OrcaRouter מעביר את מחיר המחירון של הספק במרווח של 0%, המסלול היקר עולה רק את מה שהספק גובה כאשר משתמשים בו בפועל — החיסכון מניתוב למודל מקומי קטן אינו נבלע על ידי הנתב. ה-DSL לניתוב מאפשר לכם לבטא זאת ככלל במקום כתיבה מחדש: מומחה תחילה, מודל כללי בעת כשל או לפי סף ביטחון.

מיזוג מודלים הוא האפשרות הלא־מנוצלת כאן. כאשר שני מודלים של 2B חלוקים לגבי סיווג, קבלת תשובה משניהם והתאמה ביניהן לרוב זולה יותר מאשר הסלמה למודל של 27B, ושיעור האי־הסכמה הוא בעצמו אות שימושי לגבי אילו קלטים קשים. כשיש מודל לא מאומת בצד אחד של צינור העיבוד שלך, בדיקה צולבת מסוג זה זולה יותר מאשר לסמוך על טבלת ספק.

מה יפתור את זה?

בעוד שלושים יום, מישהו צריך לפרסם את LFM3-1.7B ואת MiniCPM5-2B דרך הרנס אחד, כשהתצורה מחויבת לצד התוצאות. אם LFM3 יציג ביצועים קרובים ל-38 ב-WebArena-Verified ול-65 ב-RULER 128K, הספירה 23–4 תהיה בקירוב נכונה מהסיבות הלא נכונות, והפער האייג'נטי אמיתי. אם הוא יירד לעבר המספרים של MiniCPM5, אז טבלת ההשקה מדדה פיגומים.

עד אז, העמדה הניתנת להגנה צרה יותר מהשיווק של כל אחד מהספקים. אם עומס העבודה שלך הוא רב-שלבי, קריאה לכלים או מסמכים ארוכים, LFM3-1.7B הוא ההימור הטוב יותר, ויתרון הזיכרון הופך אותו ליחיד מבין השניים שמתאים לחומרה מוגבלת עם מרווח נשימה. אם עומס העבודה שלך הוא אחזור ידע, הסקה בסיבוב יחיד, או שהוא דורש רישיון חד-משמעי ומודל עם ציון עצמאי מצורף, MiniCPM5-2B הוא הבחירה הבטוחה יותר, וארבע השורות שבהן הוא מנצח מכוונות בדיוק לכיוון הזה. המניין 23–4 אינו שגוי כל כך אלא לא מוצדק — ומספר המודלים בטבלת השקה אינו אותו דבר כמו תוצאה.