MiniCPM-V 4.7 מול LFM3-VL-2B: ציון הבנצ'מרק הטוב יותר הוא החיישן הלא נכון

Liquid AI הציבה את MiniCPM-V 4.7 1B בטבלת ההשוואה שלה ואז גברה עליו. במערך של 62 מבחנים שהריצה Liquid AI, ‏LFM3-VL-2B מגיע בממוצע ל-71.4 כשמצב ההסקה מופעל ול-62.1 בלעדיו; ‏MiniCPM-V 4.7 1B מגיע בממוצע ל-57.5. זהו פער של 13.9 נקודות בשכבת המודלים הקטנים, וזה המספר שבו רוב פוסטי ההשוואה נעצרים. זה גם המספר הכי פחות שימושי בהחלטה, כי שני המודלים לא מתחרים על אותו מקום. האחד הוא מודל dense עם 1.92 מיליארד פרמטרים שנבנה להיות הפתרון המלא. האחר הוא החצי הזול של מערכת בת שני מודלים, שהחצי היקר שלה הוא תערובת מומחים עם 35 מיליארד פרמטרים.

הגרסה של ההשוואה הזו שחשובה תלויה באיזה MiniCPM-V 4.7 אתה מתכוון. ה-1B הוא מודל צפוף עם 1.55 מיליארד פרמטרים שנכנס לקובץ Q4_K_M בגודל 672 MB — 641 MiB, ומשם מגיע ה-641 MB שעל הכרטיסים. ה-35B-A3B הוא 35.2 מיליארד פרמטרים מאוחסנים עם בערך 3 מיליארד פעילים לכל טוקן, והוא בכלל לא מופיע בטבלה של Liquid. LFM3-VL-2B יושב ביניהם, ולפי המספרים של Liquid עצמה הוא מודל ראייה כללי טוב יותר מה-MiniCPM הקטן וחלש בהרבה מה-MiniCPM הגדול. כל מה שלהלן עוסק בשאלה איזו מהעובדות האלה צריכה להכריע את הארכיטקטורה שלך.

שלוש רמות שמתחזות לשני דגמים

LFM3-VL-2B הוא ארטיפקט אחד. אלה 1.92 מיליארד פרמטרים המורכבים משלד שפה של 1.73B, מקודד חזותי פנימי של 164M ומקרן של 25M, עם הקשר של 128K טוקנים, וידאו שנדגם בשתי פריימים לשנייה, וסט משקלים יחיד שמבצע זיהוי, OCR, תרשימים ותיאור. Liquid הכריזה על משפחת LFM3 ב-27 באוקטובר 2026; מאגר LFM3-VL-2B עלה ב-19 באוקטובר.

MiniCPM-V 4.7 הוא שני ארטיפקטים עם מגדל ראייה משותף. ה-1B הוא עמוד שדרה צפוף qwen3_5_text עם 24 שכבות, הקשר של 262,144 טוקנים ושלוש שכבות קשב לינארי לכל שכבת קשב מלא. ה-35B-A3B הוא מודל דליל עם 256 מומחים שמנתב שמונה מומחים לכל טוקן, שומר על אותו הקשר של 262,144 טוקנים, וקיים משום ש-OpenBMB רצו מודל גדול שיוכל להזרים מומחים מהאחסון במקום להחזיק אותם בזיכרון. שניהם Apache-2.0. המשקלים הופיעו ב-6 וב-7 באוקטובר 2026, כרטיס המודל הגיע ב-12 באוקטובר, ו-ModelBest הוציאו הודעה לעיתונות באנגלית ב-15 באוקטובר.

אז המסגור הכנה אינו "2B מול 1B". הוא "מודל אחד שחייב לעשות הכול" מול "משפחה שבה בוחרים כמה מודל מגיע לכל שאלה". אם הפייפליין שלך שואל שאלה אחת לכל תמונה, הצורה של LFM3-VL-2B פשוטה יותר, ובקצה הקטן, חזקה יותר. אם הפייפליין שלך שואל עשרת אלפים שאלות זולות ושאלה אחת יקרה, הצורה של MiniCPM זולה יותר מעצם הבנייה.

מה שהטבלה של Liquid עצמה אומרת, ומה זה עולה לקרוא אותה

חבילת 62 הבנצ'מרקים היא של Liquid, הורצה על vLLM 0.27.1, מנורמלת לסקאלה של 0–100, כאשר מצב חשיבה מופעל בכל מודל למעט השורות שמסומנות אחרת. ספק שמודד מתחרה הוא דבר נורמלי וראוי לקריאה, אבל ההרנס הוא של הספק, מערך הפרומפטים הוא של הספק, והאגרגט הוא של הספק. התייחס לשורות כאל טענות.

• MMMU — LFM3-VL-2B 55.7 עם חשיבה ו-48.6 בלי, לעומת 51.0 עבור MiniCPM-V 4.7 1B באותה קבוצת עמודות. הדף של OpenBMB עצמו מדווח שאין MMMU עבור ה-1B, כך שהשורה הזו קיימת רק בהרצה של Liquid.

• OCRBench v1 — LFM3-VL-2B 86.3 לעומת 82.1 עבור MiniCPM-V 4.7 1B בטבלה של Liquid. OpenBMB מדווחת 86.1 עבור ה-1B שלה, שזה פער של 4 נקודות באותו בנצ'מרק בשם, והמחשה הוגנת למה שהרנס שונה עושה למספר.

• MathVista (mini) — 84.2 עם חשיבה ו-68.5 בלי עבור LFM3-VL-2B, לעומת 71.2 עבור MiniCPM-V 4.7 1B באותה טבלה. העמוד של OpenBMB אומר 74.3 עבור הדגם הזה.

היסק CharXiv — 70.2 עבור LFM3-VL-2B לעומת 44.5 עבור MiniCPM-V 4.7 1B. העמוד של OpenBMB טוען 48.8 עבור אותו מודל, כך שאפילו כיוון הפער תלוי במערך הבדיקה.

• LongVideoBench — 53.4 עבור MiniCPM-V 4.7 1B בעמוד של OpenBMB. הטבלה של Liquid אינה כוללת שורה של LongVideoBench כלל, כך שאין עם מה להשוות אותו.

הדפוס עקבי: כשהחשיבה מופעלת, מודל ה-dense בעל 2B טוב יותר בחשיבה חזותית רב-שלבית ובפרשנות תרשימים, ובערך באותה רמה ב-OCR רגיל. כשהחשיבה כבויה, הפער מצטמצם לכ-4.6 נקודות, מה שמראה שרוב היתרון מושג באמצעות טוקנים בזמן בדיקה ולא באמצעות פרמטרים. זה משפיע על השהיה יותר מאשר על איכות, והשהיה היא הציר שההשוואה הזו בדרך כלל מתעלמת ממנו.

המבחן הבלתי־תלוי שהופך את הדירוג

בסוף אוקטובר, WebBrain פרסמה בנצ'מרק של 100 מקרי צילום מסך בדפדפן, שהורץ כולו באופן לא מקוון ב-Q4_K_M GGUF על שני כרטיסי RTX 5060 Ti, עם סט קפוא של צילומי מסך, פרומפט ייצור אחד ורובריקה דטרמיניסטית. MiniCPM-V 4.7 1B השיג 37 מעברים קפדניים מתוך 100 וציון רובריקה ממוצע של 68.2 אחוזים ב-1.30 שניות לצילום מסך. LFM3-VLD-2B — וריאנט אחות של מודל Liquid, לא נקודת הבדיקה המדויקת של LFM3-VL-2B — השיג 4 מעברים קפדניים ו-44.7 אחוזים ב-2.20 שניות.

ההסתייגות חשובה ופועלת לשני הכיוונים. לפי ה-regex הקפדני של כותרות ממוספרות, MiniCPM קיבל אפס מעברים משום שכתב כותרות סעיפים כתוויות טקסט במקום ספרות. נתון 37 המעברים מגיע מדירוג מחדש של אותן תפוקות לפי שם סעיף. זהו כשל עיצוב אמיתי, ואם המנתח downstream שלך מצפה לכותרות ממוספרות, זה פוסל. אבל ציון התוכן לא קרוב: 68.2 מול 44.7, ב-60 אחוז מזמן ההשהיה, במשימה — קריאת אזור צפייה צפוף בדפדפן — שהרבה יותר קרובה לייצור מאשר מבחן תרשימים.

זוהי ההערכה העצמאית היחידה שיש לכל אחד מהמודלים בדרג הזה; מדובר בהארנס אחד על צמד GPUs אחד, והמודל Liquid שנבדק הוא גרסת VLD. היא עדיין מספקת מידע רב יותר מאשר מצרף של 62 בנצ'מרקים, משום שהיא מודדת את הדבר שאתה באמת עושה עם מודל ראייה קטן: להסתכל על מסך ולענות במהירות על שאלה קבועה.

רישיון הוא המכריע השקט

MiniCPM-V 4.7 מופץ תחת Apache-2.0 ללא תנאי הכנסה. LFM3-VL-2B מופץ תחת LFM Open License v1.0, שאותה Liquid מתארת כחופשית לשימוש מסחרי מתחת ל-10 מיליון דולר בהכנסה שנתית. מעל לקו הזה, התנאים משתנים ואתם צריכים לקרוא אותם.

בפרויקט תחביב ההבדל הוא תיאורטי. במוצר, זה הדבר הראשון שעורך דין ישאל עליו, וזו השורה האחת בכל טבלת השוואה שאף בנצ'מרק לא יכול לעקוף. מודל שטוב בארבע נקודות בהסקה מתרשימים ונושא טריגר הכנסות אינו בהכרח התלות העדיפה. זה גם המקום שבו הבחירה ב-Apache-2.0 בשני הגדלים של MiniCPM-V 4.7 עושה יותר מאשר מספרי הבנצ'מרק: היא מסירה שיחה.

Cadence: המספר שאף אחת משתי הטבלאות אינה מדווחת עליו

מנטר החתולים esp32-eye הוא הדוגמה הציבורית הברורה ביותר לאופן שבו MiniCPM 1B משמש בפועל. הוא פועל כ-Q4_K_M GGUF מאחורי llama-server על MacBook ונקרא לכל היותר פעם ב-1.5 שניות, כאשר בדיקת הפרשי רקע משמשת כשער כך שרוב הפריימים לעולם לא מגיעים אליו. אותה בנייה מצאה שה-1B אינו אמין בהבחנה בין ארבע חתולות דומות, והעבירה את זיהוי הזהות ל-35B במקום לשחרר ניחוש.

זהו פרופיל הפריסה שטבלאות הבנצ'מרק אינן לוכדות. מודל שנקרא כל 1.5 שניות צריך להיות קטן מספיק כדי להישאר טעון בזיכרון, מהיר מספיק כדי שהתשובה תגיע לפני הפריים הבא, ומתירני מספיק כדי שתוכל להפיץ אותו. ה-1B עומד בכל שלושת התנאים. LFM3-VL-2B הוא 1.25 GB ב-Q4 ו-2.2 שניות לכל צילום מסך במבחן הבלתי תלוי, וזה מתאים לצינור עיבוד פר-תמונה אך איטי מדי עבור שער של 1.5 שניות על אותה חומרה.

אם אתם רוצים נקודת קצה מתארחת במקום קובץ מקומי, אף אחד מהמודלים לא נמצא היום בקטלוג של OrcaRouter, כך שהתשובה הכנה היא שמודל ה-1B רץ איפה שתשימו אותו ומודל ה-35B רץ ב-API של OpenBMB עצמה. מה שנתב כן מציע הוא הארכיטקטורה שמסביב: מפתח אחד ליותר מ-200 מודלים, 0% תוספת על מחירי המחירון של הספקים, ומעבר אוטומטי בין שרתים (failover), וכך שומרים על פייפליין דו-מודלי בחיים כשהרגל היקרה היא נקודת קצה חיצונית בודדת. זה לא הופך מודל לא-מתארח למתארח, וכדאי לומר זאת בפשטות.

איזה אחד לבחור

אם אתם בונים צינור עיבוד תמונות עם מודל יחיד ואתם רוצים את המודל הכללי החזק ביותר במחלקת 2B במבחנים ששתי המעבדות מפרסמות, LFM3-VL-2B היא הבחירה המוצדקת, עם הסתייגות הרישיון כתובה. אם אתם בונים סוכן שצופה במסכים בלופ, מבחן הדפדפן העצמאי מציב את MiniCPM 1B לפניו גם בציון וגם בהשהיה, והמשמעת העיצובית שלו היא הדבר לתקן במנתח שלכם ולא במודל.

אם אתה צריך מודל שיכול לקרוא מסמך של 262,144 טוקנים, לצפות בווידאו ולהתמודד היטב ב-MMMU, אף אחד משני המודלים הקטנים אינו התשובה: זה ברמת 35B-A3B, שבה OpenBMB מדווחת על 80.2 ב-MMMU, 91.2 ב-OCRBench ו-68.9 ב-LongVideoBench, כולם דווחו על ידי הספק ואף אחד מהם לא שוחזר באופן עצמאי. ההחלטה האמיתית אינה איזה מודל 2B מנצח. היא אם צינור העיבוד שלך יכול להרשות לעצמו לשאול שאלה קטנה בזול ושאלה קשה לעיתים רחוקות — ואם כן, תכנון דו-מודלי זול יותר מכל מודל יחיד שמנסה להיות טוב בשניהם.

כיול אחרון. הפער של 13.9 נקודות שמפרסמת Liquid אמיתי במערך המבחנים של Liquid, והפער של 23.5 נקודות שמפרסמת WebBrain אמיתי במערך המבחנים של WebBrain, והם מצביעים בכיוונים מנוגדים משום שהם מודדים משימות שונות. כל מי שמצטט אחד בלי השני מוכר לך מסקנה. השאלה המועילה אינה איזה מודל טוב יותר; היא כמה פעמים ביום אתה צריך לשאול, וכמה אתה מוכן לשלם עבור התשובה.