LFM3-VL-2B לעומת MiniCPM-V 4.7 1B: הפער של 14 נקודות שמצטמצם ל-4 כשמכבים את החשיבה

ההבדל המשמעותי ביותר בין LFM3-VL-2B ל־MiniCPM-V 4.7 1B אינו באף אחת משתי טבלאות הבנצ'מרק. הוא בשורת הרישיון. המודל של OpenBMB הוא Apache 2.0. זה של Liquid AI הוא LFM Open License v1.0, שנושא תנאים מסחריים במקום תנאים מתירניים פשוטים. שני המודלים קרובים מספיק בגודלם כדי לשמש תחליפים ישירים — 1.92B לעומת 1.55B — והם הגיעו בתוך שלושה שבועות זה מזה: MiniCPM-V 4.7 1B הועלה ל-Hugging Face ב-6 באוקטובר ותוארך ל-12 באוקטובר בהערות השחרור של הספק, בעוד LFM3-VL-2B היה במאגר ציבורי מ-19 באוקטובר והוכרז ב-27 באוקטובר. במערך 62 הבנצ'מרקים של Liquid, המודל החדש משיג בממוצע 71.4 לעומת 57.5, פער של 13.9 נקודות שמתכווץ ל-4.6 נקודות ברגע שמכבים את החשיבה במודל של Liquid.

שני דגמים באותה קטגוריית משקל, תחת חוקים שונים

MiniCPM-V 4.7 1B הוא הקטן מבין השניים, בהפרש של כ-370 מיליון פרמטרים. הוא משלב מגדל חזותי בסגנון SigLIP עם עמוד שדרה לשוני שמקורו ב-Qwen3.5, משתמש בדחיסת טוקנים חזותיים של 4× או 16× הניתנת לבחירה לכל בקשה, וטוען לחלון הקשר של 256K בתיעוד של הספק. הוא מגיע בגרסאות BF16, int4, AWQ, GPTQ ו-GGUF, עם מודל טיוטה ייעודי DSpark לפענוח ספקולטיבי.

LFM3-VL-2B מצרף את מודל השפה LFM3-1.7B עם מקודד חזותי פנימי חדש בנפח 164M ומקרן בנפח 25M, בהקשר מתועד של 128K, עם קלט וידאו בקצב של 2 פריימים לשנייה ומצב no-thinking מתועד.

• פרמטרים — 1.92B עבור LFM3-VL-2B לעומת 1.55B עבור MiniCPM-V 4.7 1B, לפי התיעוד של OpenBMB; תג גודל המודל של Hugging Face מעגל את האחרון ל-2B.

• רישיון — LFM Open License v1.0 לעומת Apache 2.0.

• הקשר — 128K טוקנים לעומת 256K מוצהרים, אם כי תצורות הסקה מציבות בדרך כלל את התקרה נמוך בהרבה.

• נתיב הראייה — מקודד פנימי בעל 164M פרמטרים עם טוקן אחד לכל בלוק טלאים בגודל 2×2, לעומת מגדל בסגנון SigLIP עם דחיסה של 4×/16×.

• וידאו — 2 פריימים לשנייה, מודל הראייה הראשון של LFM שמקבל וידאו לעומת נתמך, עם נתוני LongVideoBench ו-MotionBench שפורסמו על ידי הספק.

• מצב חשיבה — זמין ונמדד בשתי הדרכים לעומת זמין ונמצא בשימוש בהרצת הבנצ'מרק.

• ממוצע הספק במערך 62 המדדים של Liquid — 71.4 בחשיבה, 62.1 ללא חשיבה, לעומת 57.5.

הפער המצטבר הוא 13.9 נקודות. קראו קודם את הערת השוליים.

הטבלה של Liquid היא הפריט היחיד שמספק ציונים לשני המודלים על אותם 62 מדדי השוואה עם אותו נרמול, והיא הסיבה לכך שההשוואה הזו אפשרית בכלל. הכרטיס של OpenBMB עצמו אינו כולל השוואה מול LFM3-VL-2B, שלא היה קיים כאשר MiniCPM-V 4.7 1B הושק.

ההערת השוליים החשובה: מצב חשיבה הופעל עבור כל מודל בטבלה, למעט LFM2.5-VL-3B, שאינו תומך בו, ותצורת ה-no-thinking של LFM3-VL-2B. לכן 71.4 ו-57.5 הם שניהם ציונים עם הפעלת חשיבה, מה שהופך את ההשוואה להוגנת יותר מאשר ההשוואה מול LFM2.5. שני המודלים נמדדים בהגדרה הטובה ביותר שלהם, באותם מכשירים, על ידי אותה מעבדה.

הוגן אינו זהה לעצמאי. Liquid בחרה את הבנצ'מרקים והריצה אותם. הטבלה שלמה באופן יוצא דופן — היא כוללת שורות ברמת קטגוריה וברמת כל בנצ'מרק, והיא מפרטת כל מתחרה — אך אף צד שלישי לא שחזר ולו חלק ממנה.

כבה את החשיבה וה־1B מנצח ב־24 מתוך 62

LFM3-VL-2B מפרסם ציון שני עבור אותם משקלים, עם חשיבה מושבתת. העמודה הזאת היא המעניינת, מפני שהיא מראה מהיכן מגיע בפועל הציון המצטבר של 13.9 נקודות. ללא חשיבה, LFM3-VL-2B מנצח ב-35 מדדים, MiniCPM-V 4.7 1B מנצח ב-24, ו-3 מסתיימים בתיקו. הפער הממוצע יורד ל-4.6 נקודות.

מה שמדהים יותר הוא מה שה־1B זוכה בו בתצורה הזו. הוא לוקח את רוב מקבץ המתמטיקה והסקת התרשימים, לעתים קרובות בפער ניכר.

• We-Math (testmini, strict) — 47.8 עבור MiniCPM-V 4.7 1B לעומת 20.1 עבור LFM3-VL-2B ללא חשיבה, ו-68.6 עם חשיבה.

• LogicVista — 46.1 לעומת 30.2 ללא חשיבה, 60.4 עם חשיבה.

• MathVista (mini) — 71.2 לעומת 68.5 ללא חשיבה, 84.2 עם חשיבה.

• ChartQA (מבחן) — 88.8 לעומת 81.4 ללא חשיבה, 92.7 עם חשיבה.

• CharXiv (תיאורי) — 73.4 לעומת 65.5 ללא חשיבה, 87.5 עם חשיבה.

• DynaMath — 63.8 לעומת 57.7 ללא חשיבה.

• MMMU (val) — 51.0 לעומת 48.6 ללא חשיבה, 55.7 עם חשיבה.

התוצאה של We-Math היא זו שכדאי לעצור עליה: יתרון של 27.7 נקודות ל-1B כשאף אחד מהמודלים אינו רשאי להפעיל חשיבה — ויתרון של 20.8 נקודות ל-LFM3-VL-2B ברגע שהוא רשאי לעשות זאת. We-Math הוא מבחן דיוק קפדני במתמטיקה חזותית רב-שלבית, והניקוד אינו משתנה בהדרגה בין שני המודלים. הוא מתהפך. זו ההמחשה הבודדת הברורה ביותר בטבלה של מה שמצב החשיבה מספק.

התרגום המעשי: אם תבטלו את ההיסק (reasoning) כדי לצמצם השהיה, והעומס שלכם כולל מספרים בגרפים או בתרשימים, היתרון המצטבר של המודל הגדול יותר לא יגן עליכם. מודל ה-1B הוא הכלי הטוב יותר.

היכן ש-LFM3-VL-2B מנצח ללא תלות במצב

ההפך גם נכון, והקטגוריות ממשיות באותה מידה. חמש מהן כמעט חד-צדדיות אפילו בעמודת "ללא חשיבה".

• הבנת GUI — 83.1 עם חשיבה, 81.5 ללא חשיבה, לעומת 45.3 עבור MiniCPM-V 4.7 1B. ב-ScreenSpot-Pro 55.5 לעומת 4.9; ב-ScreenSpot-v2 Desktop 94.6 לעומת 51.5.

• עיגון חזותי — 77.3 עם חשיבה, 72.6 ללא חשיבה, לעומת 51.1. ממוצע RefCOCO עומד על 90.5 לעומת 86.3.

• חשיבה מגולמת — 64.4 חשיבה, 57.9 ללא חשיבה, לעומת 45.3.

• Agentic — 42.5 עם חשיבה, 32.9 ללא חשיבה, לעומת 16.9. הקטגוריה החלשה ביותר עבור כל ארבעת המודלים בטבלה, והפער היחסי הרחב ביותר בין השניים.

• רב־לשוני — 84.4 במצב חשיבה, 76.2 במצב ללא חשיבה, לעומת 77.4. הקטגוריה היחידה שבה מודל Liquid במצב ללא חשיבה מפסיד ל-1B.

{{1}}ScreenSpot-Pro עם 55.5 לעומת 4.9 הוא הפער הגדול ביותר בין שני המודלים בכל 62 מדדי הבנצ'מרק. {{2}}אם אתם בונים אוטומציה של ממשק משתמש, אין כאן החלטה לקבל; אם אתם בונים מורה פרטי למתמטיקה, הדירוג מתהפך.{{/2}} ממוצע של 13.9 נקודות הוא תוצר של ממוצע בין שתי אוכלוסיות שמתנהגות באופן שונה מאוד.{{/1}}

שתי רתמות, שני מספרים לאותו בנצ'מרק

זהו החלק שהופך השוואה בין ספקים למסוכנת, והוא ראוי לסעיף משל עצמו משום ששני הספקים מפרסמים נתונים עבור מבחני ביצועים בעלי אותו שם.

OpenBMB מדווחת על 74.3 ב-MathVista עבור MiniCPM-V 4.7 1B בעמוד שלה. ההרצה החוזרת של Liquid של אותו מודל על אותו מבחן בשם זהה מדווחת על 71.2. OpenBMB מדווחת על 86.1 ב-OCRBench; מערך ההרצה של Liquid מדווח על 82.1 ב-OCRBench v1. אף אחת מהמעבדות לא משקרת. הן מריצות פורמטי פרומפט שונים, כללי חילוץ תשובות שונים או תת-קבוצות שונות, ופערי 3.1 ו-4.0 הנקודות הנובעים מכך הם שונות רגילה של מערך ההרצה.

התוצאה היא שאינכם יכולים לקחת את 74.3 של OpenBMB ולהחסיר את נתון ה-MathVista במצב no-thinking של Liquid, 68.5, עבור LFM3-VL-2B, כדי לקבל ניצחון של 5.8 נקודות. זו הייתה פרשנות שאפשר היה להגן עליה לפני 27 באוקטובר, כאשר המדד המשותף היחיד בין MiniCPM-V 4.7 1B ל-LFM2.5-VL-3B נמדד על שני כלי הרצה שונים. היא אינה ניתנת להגנה כעת, מאחר ש-Liquid פרסמה את שני המודלים בתוך טבלה אחת. השתמשו בטבלה, והתייחסו לכל נתון בעמוד של ספק כשייך לכלי המדידה שלו.

העניבה שמכריעה בשקט ויכוח ישן יותר

בתוך אותה טבלה נמצאת תוצאה שאיש משתי החברות לא פרסם. MiniCPM-V 4.7 1B מגיע בממוצע ל-57.5 על פני 62 המבחנים. LFM2.5-VL-3B מגיע בממוצע ל-57.6.

עמוד המוצר של OpenBMB טוען שמודל ה-1B עולה על LFM2.5-VL-3B ב-OCR, בניתוח גרפים ובהבנת וידאו. במערך הבדיקות של Liquid, הטענה הזו נכונה למחצה ושגויה למחצה, והתוצאה המצטברת היא תיקו מוחלט:

• מסמך, OCR ותרשים — 73.0 עבור MiniCPM-V 4.7 1B לעומת 71.2 עבור LFM2.5-VL-3B. הטענה נתמכת, במרווח צר.

• וידאו — 53.7 לעומת 41.3. הטענה נתמכת, באופן חד-משמעי.

• מתמטיקה — 51.8 לעומת 40.6. הטענה נתמכת, והיא לא הוזכרה בטענה המקורית.

• עיגון חזותי — 51.1 לעומת 68.3. הטענה נכשלת באופן חמור.

• הבנת GUI — 45.3 לעומת 66.0. הטענה נכשלת קשות.

• Agentic — 16.9 לעומת 21.1. הטענה נכשלת.

אז מודל של 1.55B ברישיון Apache 2.0 משתווה למודל של 3.1B ממעבדה ממומנת היטב על מערך משותף של 62 מבחנים, ועושה זאת בכך שהוא מנצח בקטגוריות מסוימות באופן מובהק ומפסיד באחרות באופן מובהק. זו תוצאה אמיתית לגבי צפיפות יכולות, והיא גם אזהרה מפני מה שממוצע מסתיר. מה שמחזיר את ההשוואה חזרה ל-LFM3-VL-2B: המודל שמנצח את שניהם הוא זה שמצב החשיבה שלו מרים את הקטגוריות החלשות ביותר שלו, ולא זה שטוב יותר באופן אחיד.

רישיון, הורדות, ומה שאפשר להפיץ בפועל

ההבדל ברישיון יכריע ביותר פריסות מכל שורה שלמעלה. Apache 2.0 אינו מחייב שיחה עם צוות משפטי. LFM Open License v1.0 כולל תנאים מסחריים, ולמרות שהוא פתוח מספיק כדי ש-Liquid תפיץ כל מודל במשפחה תחתיו, הוא אינו אותה הרשאה.

האימוץ מספר סיפור דומה. ב-Hugging Face, MiniCPM-V 4.7 1B צבר כ-155,000 הורדות ויותר מ-400 לייקים מאז 6 באוקטובר. LFM3-VL-2B, נכון לזמן כתיבת שורות אלה, עומד על כמה מאות הורדות ו-16 לייקים, לאחר שהיה ציבורי תשעה ימים והוכרז לפני יום אחד בלבד. ספירות הורדות הן אות רועש — צינורות CI ומראות קוונטיזציה מנפחים אותן — אבל פער של שלושה סדרי גודל אינו רעש. הוא משקף שלדגם אחד יש חודש של כלים, מדריכים וקוונטיזציות קהילתיות מאחוריו, ולשני יש יום.

מערך הכלים עוקב אחר אותו דפוס. MiniCPM-V 4.7 1B מפרט את Transformers, SGLang, vLLM, llama.cpp, Ollama ו-OpenVINO, וכן אפליקציות נייטיב ל-iOS, Android ו-HarmonyOS. ל-LFM3-VL-2B יש SGLang כבר בהשקה, משקולות GGUF זמינות, ותמיכת llama.cpp עדיין בבדיקה — ללא קלט וידאו ביישום הממתין, לפי הכרטיס של המודל עצמו.

איזה מודל לאיזו עבודה?

• אוטומציה של ממשק משתמש, קריאת מסך, תפיסה רובוטית — LFM3-VL-2B, בלי היסוס, ומצב ללא חשיבה מתאים. ScreenSpot-Pro עם 55.5 לעומת 4.9 הוא לא פער שאפשר לגשר עליו באמצעות הנדסה.

• הסקה מתרשימים, מתמטיקה חזותית, שאלות על דיאגרמות — MiniCPM-V 4.7 1B אם אתם פועלים ללא חשיבה, ותחרות של ממש אם לא. בדקו את We-Math על הנתונים שלכם; פער של 27.7 נקודות ללא חשיבה הוא מסוג הדברים שמתגלים מיד בסביבת ייצור.

• וידאו ארוך — קרוב יותר ממה שממוצעי הקטגוריה מרמזים. LFM3-VL-2B מוביל בקטגוריית הווידאו 61.2 מול 53.7, אבל MiniCPM-V 4.7 1B למעשה מנצח ב-Video-MMMU 50.1 מול 49.6 אפילו מול תצורת החשיבה.

• כל דבר שצריך לעבור אישור משפטי ללא בדיקה — MiniCPM-V 4.7 1B, על Apache 2.0 בלבד.

• כל דבר שזקוק היום לערכת הסקה בוגרת — MiniCPM-V 4.7 1B, לפחות בשבועות הקרובים, עד ש-llama.cpp ימזג תמיכה ב-LFM3-VL.

היכן נתב משתלב כאשר אף אחד מהמודלים אינו נמצא עליו

אף אחד משני הצ'קפוינטים האלה אינו בקטלוג של OrcaRouter; שניהם משקלים שאתם מורידים, מבצעים כימות ומריצים. השימוש המעניין בשכבת ניתוב כאן אינו להגיש אותם אלא להרכיב סביבם. היתוך מודלים מאפשר לפאנל של מודלים לענות יחד על אותה שאלה, ומומחה מקומי של 1.55B במתמטיקה חזותית, שמשויך למודל מתארח שחזק יותר בקטגוריות שבהן הוא מפסיד — עיגון, עבודה סוכנית — הוא תצורה שמנצחת כל אחד מהמודלים בנפרד. ה-DSL לניתוב הוא הדרך לבטא איזה חלק מטפל באיזו שאלה בלי לשכתב את האפליקציה בכל פעם שצ'קפוינט יוצא.

הסיכום הכנה הוא שכותרת 13.9 הנקודות אמיתית, נמדדה על מערך בדיקות של מעבדה אחת, ומטעה כבסיס להחלטת רכישה. LFM3-VL-2B הוא המודל הטוב יותר למסכים ולעיגון בפער שאף מודל אחר בקטגוריית הגודל שלו לא מתקרב אליו. MiniCPM-V 4.7 1B הוא המודל הטוב יותר למתמטיקה חזותית ללא הסקה, מגיע ברישיון שאינו דורש משא ומתן, ומשתווה למודל בגודל כפול ממנו באותה חבילת בדיקות. התשובה הנכונה תלויה באיזה מהמשפטים האלה מתאר את עומס העבודה שלך — והממוצע של אף אחד מהספקים לא יגיד לך זאת.