Moondream 3 מול MiniCPM-V 4.7: חשבון האחסון של MoE שאיש לא מצטט

גם Moondream 3 Preview וגם MiniCPM-V 4.7 הם מודלים חזותיים-לשוניים מסוג תערובת מומחים, ושניהם משווקים עם מספר קטן של פרמטרים פעילים שגורם להם להישמע כאילו הם מתאימים לחומרה צנועה. Moondream 3 Preview מפעיל 2B מתוך 9B הפרמטרים שלו לכל טוקן. הווריאנט המוביל של MiniCPM-V 4.7, ‏MiniCPM-V 4.7 35B-A3B, מפעיל כ-3B מתוך 35B. קראו את שני המשפטים האלה והייתם מצפים שה-checkpoint של Moondream יהיה הקל יותר לפריסה. האם זה כך תלוי לחלוטין בשאלה שאף אחד מהפוסטים של ההשקה לא פותח בה: היכן נמצאים המומחים הישנים?

השאלה הזו היא המקום שבו שני המודלים האלה באמת נפרדים, והתשובה היא כל הסיבה לקיומו של MiniCPM-V 4.7 בצורה שבה הוא קיים. השחרור שלו — MiniCPM-V 4.7 35B-A3B ו-MiniCPM-V 4.7 1B, מבית OpenBMB, שפורסם ב-6 באוקטובר 2026 — בנוי סביב הרצת MoE של 35B בצורה חלקה על טלפון בלי לפגוע בביצועים שלו. Moondream 3 Preview, ש-Moondream שחררה ב-18 בספטמבר 2025 ואשר כעת היא חלק מ-Prime Intellect לאחר הרכישה באוקטובר 2026, בחרה בדרך ההפוכה: להשאיר את ה-MoE קטן ולהריץ אותו על GPUs עם Photon, מנוע ההסקה של Moondream עצמה. אף אחת מהבחירות אינה שגויה. הן תשובות לאילוצים שונים, והאילוץ שאתה נמצא בו מכריע עבורך את ההשוואה.

פרמטרים פעילים הם מספר חישובי, לא מספר אחסון

זהו החשבון שהופך MoE על-המכשיר לקשה, ו-OpenBMB מסבירה זאת במפורש בכרטיס המודל שלה: למודל MoE יכולים להיות הרבה יותר פרמטרים כוללים מאשר הוא מפעיל עבור טוקן בודד, אך דרישות האחסון שלו במכשיר אינן מוגבלות לאותם פרמטרים פעילים. טוקנים שונים בוחרים מומחים שונים בשכבות שונות, ולעתים קרובות זיכרון המכשיר אינו יכול להכיל את כולם.

• Moondream 3 Preview — 9B סה"כ, 2B פעילים. 24 שכבות, ארבע הראשונות צפופות, והשאר בלוקי feed-forward מסוג MoE עם 64 מומחים ו-8 מופעלים לכל טוקן. ממד חבוי 2048, ממד פנימי/שער של GeGLU 1024.

• MiniCPM-V 4.7 35B-A3B — 35B בסך הכול, כ-3B פעילים. ה-MoE הראשון בסדרת MiniCPM-V. גרסת ה-1B באותה מהדורה היא צפופה, לא MoE, מה שרלוונטי בהמשך.

• אי-ההתאמה — חלקו את הפרמטרים הפעילים בסך הכולל ו-Moondream 3 Preview נראה כמו המודל הקל יותר בפער עצום. חלקו בייטים בבייטים ו-MiniCPM-V 4.7 35B-A3B הוא זה שנושא פי ארבעה מהמשקולות.

• למה זה לא מכריע דבר — ה-resident set הוא מה שמגביל את ההתקן, וה-resident set קרוב יותר לסך הכול מאשר מספר הפרמטרים הפעילים. מודל MoE של 9B לא נכנס לזיכרון שמודל dense של 2B נכנס אליו, ולא משנה מה ה-router מפעיל.

אז "2B active" הוא הצהרה על החישוב לכל טוקן. היא לא הצהרה על הזיכרון שאתם צריכים, והתייחסות אליה ככזו היא הדרך הנפוצה ביותר שבה צוותים טועים בגודל פריסת MoE.

OpenBMB תקפה את בעיית האחסון ישירות

העיצוב של MiniCPM-V 4.7 מוטב לקרוא אותו כשלוש טכניקות המכוונות בדיוק לפער הזה. תזמון מומחים בצפייה קדימה משתמש בחיזוי ניתוב חוצה שכבות כדי לטעון מראש מומחים שסביר שהשכבה הבאה תזדקק להם, ומתעדף את אלה שנטענו מראש בהצלחה מבין אלה שהנתב בפועל בחר — החיזוי מנחה רק את הטעינה מראש והתזמון, בעוד שהחישוב עדיין פועל לפי הניתוב המקורי של המודל ברמת הטוקן, וכל מומחה נדרש שהחיזוי החמיץ נטען ומוערך כרגיל. קוונטיזציה עדינה ברמת השכבה מפחיתה את נפח האחסון ואת תעבורת הזיכרון של משקולות המומחים. הדגימה הספקולטיבית DSpark משולבת בנתיב ההרצה במכשיר כדי לשפר את יעילות הפענוח בנוסף לשתיהן.

התוצאה הנטענת היא 13 פלוס טוקנים לשנייה עם כ-3 GB זיכרון ב-iPhone 17 Pro Max, שאותו OpenBMB מתארת כמודל ה-MoE הראשון בקוד פתוח שרץ בצורה חלקה על המכשיר בלי להתפשר על ביצועים. ההשוואה שלה מפורשת וראויה לציון כפי שהיא: במצב Instruct, MiniCPM-V 4.7 35B-A3B משיג ציון כולל גבוה יותר בזמן הסקה קצר יותר מאשר Qwen3.6 35B-A3B. זו טענה שדווחה על ידי הספק באותה קטגוריית גודל, והיא מהסוג השימושי יותר מכיוון ששני המודלים נמדדים על אותה מערכת בדיקה.

שאר סיפור הפריסה רחב באופן יוצא דופן. יש תמיכה ב-iOS, ב-Android וב-HarmonyOS, עם תמיכת יום-אפס בפלטפורמות שבבים של Rockchip, Houmo, Intel, AMD ו-Arm. האינפרנס רץ על SGLang, vLLM, llama.cpp ו-Ollama; כיוונון עדין על SWIFT ו-LLaMA-Factory. קוונטיזציות GGUF, BNB, AWQ ו-GPTQ מסופקות, ובנוסף FP8. וריאנט ה-1B הוא שוב הצעה נפרדת — dense, לא MoE, ו-OpenBMB ממקמת אותו כמי שממשיך לשפר את MiniCPM-V 4.6 תוך שהוא עוקף באופן משמעותי את Qwen3.5 0.8B הן בציון הכולל והן ביעילות האינפרנס, וזו ההשוואה ההוגנת עבור מודל מתחת ל-1B.

התשובה של Moondream הייתה להזיז את החומרה, לא את המשקולות

Moondream לא ניסתה להתאים MoE בגודל 9B לטלפון. היא שמרה על הארכיטקטורה ושינתה היכן הוא פועל: Photon, מנוע ההסקה שלה, מקמפל כל מודל לתוכנית GPU אחת עם קרנלים מותאמים אישית, ופועל באופן מקומי על מעבדי NVIDIA החל מ-Ampere ואילך ועל מחשבי Mac עם Apple Silicon, עם אותו API כמו Moondream Cloud.

זו אסטרטגיה הגנתית, והודעת הרכישה של Prime Intellect מסבירה מדוע היא הייתה אטרקטיבית: הצוות של Moondream בנה את Photon ואת מהדר המגה-קרנל שמאחוריו, והנימוק של Prime לרכישת החברה הוא שהשרות (serving), ולא הארכיטקטורה, הוא היכן שנקבעת התועלת של מודל. נתוני התפוקה בפוסט ההוא — יותר מ-60 הסקות Moondream בשנייה על H100 בודד, תשובות בעשרות מילישניות, Moondream 3.1 ב-34 בקשות בשנייה — הם של Prime עצמה וכעת מהווים חומר מכירות, אז יש לתייג אותם בהתאם. אבל הכיוון חד-משמעי: ההימור של Moondream היה שתעדיפו מודל מהיר מגובה GPU מאשר מודל בגודל טלפון.

יש הבדל שני, והוא כלל לא מופיע בכרטיס המודל. נקודת הקצה המתארחת של Moondream 3 Preview,‏ Moondream Cloud, נסגרת ב-13 בנובמבר 2026 בעקבות הרכישה, כאשר קרדיטים שנרכשו ולא נוצלו יוחזרו. ל-MiniCPM-V 4.7 אין תלות כזו, מכיוון שהוא מעולם לא היה בראש ובראשונה מוצר מתארח — הוא קבוצת משקלים עם סיפור פריסה רחב על המכשיר. אם ההערכה שלך כללה את הנוחות שבקריאה לנקודת קצה, הנוחות הזו עומדת לפוג בצד אחד של ההשוואה.

יכולת משימה: שני הכרטיסים כנים לגבי דברים שונים

ארבע היכולות המובנות של Moondream 3 Preview הן query, caption, point ו-detect, וכולן מחזירות פלט מובנה, ופוסט ההשקה פותח בזיהוי ובהצבעה. יכולת ה-query פועלת כברירת מחדל במצב חשיבה, עם דגל מתועד reasoning=False לשאלות פשוטות, ועקבות החשיבה מעוגנות — הן מפנות לחלקים מסוימים בתמונה, ולכן Moondream מכנה זאת חשיבה חזותית עם עיגון ולא חשיבה באופן כללי. ההקשר הוא 32K טוקנים, לעומת כ-2K בדור הקודם, תוך שימוש בטוקנייזר SuperBPE מותאם אישית; פוסט ההשקה גלוי לב בכך שהפוסט-אימון אינו מנצל באופן מלא את החלון הארוך, ושכל ה-32K נמצא בעיקר לשם כיוונון עדין.

הכרטיס של MiniCPM-V 4.7 מוביל לעומת זאת ביעילות וברוחב: הבנת תמונה בודדת, ריבוי תמונות ווידאו, עם דחיסת טוקנים חזותיים משולבת של 4x/16x שמאפשרת לאזן בין פירוט חזותי לבין עלות הסקה לכל משימה, ודחיסה מוקדמת בתוך ה-ViT מ-LLaVA-UHD v4 שמפחיתה את החישוב בשכבות המקודד המאוחרות. הוא מגיע גם עם שיטת כוונון עדין — Self-Replay Fine-Tuning, שמטרתה להרחיב את יכולותיו של מודל בעלות נמוכה תוך צמצום השכחה של מה שכבר ידע.

• זיהוי והצבעה מעוגנים — Moondream 3 Preview: יכולות מובנות בארכיטקטורה, קואורדינטות מובנות, עקבות נימוק מעוגנות. MiniCPM-V 4.7: הבנת תמונות מרובות וווידאו הן החוזקות המוצהרות; הכרטיס אינו מוביל בזיהוי באוצר מילים פתוח.

• וידאו — MiniCPM-V 4.7 תומך בקלט וידאו, עם דוגמה מתועדת המשתמשת ב-128 פריימים. הכרטיס של Moondream 3 Preview מתעד יכולות תמונה עם מטמון קידוד תמונה לשאילתות חוזרות על אותה תמונה.

• רמת פירוט ניתנת לשליטה — MiniCPM-V 4.7: פרמטר downsample_mode, 16x כברירת מחדל ו-4x לפרטים עדינים יותר, נבחר לכל קריאה. Moondream 3 Preview: שרשור ערוצים מרובה-חיתוכים במקודד הראייה, כאשר בפוסט ההשקה צוין שהמקודד עלול להיתקל בבעיות בגופנים קטנים מאוד.

• רישיון — MiniCPM-V 4.7: Apache 2.0, בשני הווריאנטים. Moondream 3 Preview: Business Source License 1.1 עם היתר שימוש נוסף, שמתיר שימוש מסחרי ובסביבת ייצור ואוסר להציע Moondream באירוח לשימוש כללי. Moondream 3.1 עבר ל-Moondream Model License 1.0 עם אותה הגבלה מרכזית, בניסוח נקי יותר.

שורת הרישיון אינה הערת שוליים בהתמודדות הזו. אם בכוונתך לארח את המודל עבור אנשים אחרים, Apache 2.0 ותנאי זמינות קוד המקור של Moondream אינם אותה נקודת פתיחה, אפילו לא קרוב, וזה נכון ללא קשר למי מהם משיג ביצועים טובים יותר במשימה שלך.

כיוונון עדין הוא המקום שאליו שני הקלפים מצביעים, מסיבות הפוכות.

שני הספקים אומרים לך שדגם הבסיס אינו המוצר, וזה מרענן וגם רמז היכן נמצא הערך.

פוסט ההשקה של Moondream מפרט את יכולת האימון כאחד מארבעה יעדים, בנימוק שמשימות ראייה אמיתיות דורשות התמחות — פירוש צילום רנטגן, זיהוי אנשים במצוקה בקהל — ושגם בני אדם זקוקים לאימון לשם כך. החברה הוציאה את Lens לשם כך, וההשקה של Moondream 3.1 הלכה רחוק יותר: ציוני הבנצ'מרק שפורסמו עבור 3.1 הופקו באמצעות כוונון עדין של LoRAs לכל משימה על ערכת האימון של כל בנצ'מרק עצמו דרך Lens, ואז קיפול מה שלמדו בחזרה למשקולות הבסיס באמצעות זיקוק on-policy distillation, כך שהצ'קפוינט שניתן להורדה מקבל ציון טוב בלי כוונון. זה שווה קריאה שנייה. זהו תהליך עבודה לגיטימי וגילוי שקוף באופן יוצא דופן, והוא גם אומר שהמספרים האלה אינם נתונים קרים מחוץ לקופסה — המשימות המדוברות קיבלו את ערכות האימון שלהן מוזנות למודל.

המקבילה מבית OpenBMB היא Self-Replay Fine-Tuning, המכוונת לבעיה אחרת: הוספת יכולת בלי לשכוח יכולות קיימות, ובעלות נמוכה. הטענה המרכזית שלה נוגעת לשימור ולא לציון שיא.

אם אתה מתכוון לבצע כיוונון עדין (fine-tune) באחד מהמודלים, ההבדל המעשי הוא אותו הבדל שמלווה את כל ההשוואה הזו. המסלול של Moondream מניח GPU ושירות מתארח. זה של MiniCPM-V 4.7 מניח שאתה יכול לבצע כיוונון עדין על המסגרות שאתה כבר מריץ, ואז לפרוס למכשירים שאתה כבר מכוון אליהם, עם סיפור כימות על-מכשיר שפורסם שיוביל לשם.

היכן שכבת ניתוב מצדיקה את מקומה

אף אחד מהמודלים כאן לא מוגש דרך OrcaRouter — שניהם צ'קפוינטים במשקולות פתוחות שאתה מארח בעצמך, ואחד מהם מאבד את נקודת הקצה המתארחת שלו בחודש הבא. זה הופך את השאלה המעניינת לזו ששני הכרטיסים מתחמקים ממנה: מה קורה לבקשות שהמודל שבחרת מתמודד איתן רע?

התשובה הסטנדרטית היא מודל שני, והעלות הסטנדרטית של מודל שני היא אינטגרציה: SDK נוסף, סכימת אימות נוספת, מדיניות ניסיונות חוזרים נוספת. זהו סוג העבודה שבולע בשקט ספרינט שלם ואחר כך הופך לתחזוקה קבועה. מיזוג המודלים של OrcaRouter נועד לגרסה המצומצמת יותר של הבעיה הזו — פאנל של מודלים שעונים יחד בקריאות שבהן תשובתו של מודל אחד אינה מהימנה מספיק לבדה — וה-DSL לניתוב נועד לגרסה הרחבה יותר, ומאפשר לך להרכיב כמה מודלים לקריאה אחת כך שמודל מקומי זול מטפל ברוב הקל ומשהו גדול יותר לוקח את השארית.

מאחורי מפתח אחד עומדים יותר מ-200 מודלים במחיר המחירון של הספק, בלי תוספת רווח, מה שאומר שהורדת מחיר מצד ספק מגיעה אליך באותו יום ולא במחזור החיוב הבא, ומעבר אוטומטי בין ספקים (failover) קורה כאשר ספק במעלה הזרם נפגע. עבור VLM באירוח עצמי, שכבת הניתוב יושבת מעל המודל במקום להחליף אותו. זהו תיאור כן של המקום שבו זה משתלב בהשוואה הזו, ובמערכת שבה MiniCPM-V 4.7 35B-A3B נמצא במכשיר ומודל מתארח מכסה את הפספוסים, זה החלק שמונע מהשניים להפוך לשתי מערכות.

איזה מהם, נקבע לפי האילוץ שבאמת יש לך

אם המודל צריך לרוץ על המכשיר, MiniCPM-V 4.7 35B-A3B הוא התשובה, וזה לא מתקרב. OpenBMB בנתה את כל המהדורה סביב בעיית האחסון שמונעת מ-35B MoE לרוץ על טלפון — תזמון מומחים, קוונטיזציה שכבה-שכבה, פענוח ספקולטיבי — ופרסמה את המספר שנובע מכך: יותר מ-13 טוקנים לשנייה בכ-3 GB. שום דבר ב-Moondream 3 Preview לא מתייחס לבעיה הזו, כי Moondream בחרה שלא תהיה לה הבעיה הזו.

אם ה-GPU בתמונה והמשימה היא זיהוי מעוגן, Moondream 3 Preview הוא הכלי המיוחד יותר. זיהוי והצבעה נייטיביים עם קואורדינטות מובנות ועקבות הסקה מעוגנות הניתנות לבדיקה הם מוצר שונה ממודל מולטימודלי כללי שגם קורא טקסט בתמונות, ואם אדם סוקר את הפלט, העקבה היא התכונה.

אם אתם מתלבטים בין השניים, אל תכריעו לפי טבלאות הבנצ'מרק. הריצו את התמונות שלכם בשניהם עם הפרומפטים שלכם ודרגו את הפלטים, כי הנתון היחיד בהשוואה הזו שישרוד מפגש עם עומס העבודה שלכם הוא זה שאתם מייצרים בעצמכם. ובדקו את הרישיון לפני המודל, כי Apache 2.0 ורישיון source-available עם הגבלת שירות מתארח הם החלטה שונה לחלוטין — אחד מהם עשוי לסיים את ההערכה עוד לפני שמספרי הדיוק בכלל משנים.

השוואות כמו זו הן גם המקום שבו מצבי הכשל מתגלים: תקריות AI מתועדות וכשלי סוכנים שמאחורי מודלים מהסוג הזה נאספים בארכיון תקריות AI של OrcaRouter, שבו כל רשומה נושאת את מקורותיה, החומרה, דירוג הביטחון ודגל המחלוקת שלה.