MiniCPM-V 4.7 מול NVIDIA Nemotron 3.5 Super VL: המכונה הזולה ביותר שבאמת מריצה כל אחד מהם

שניהם מודלים חזותיים-לשוניים במשקולות פתוחות, שניהם mixture-of-experts, ושניהם דוחסים טוקנים חזותיים לפני שמודל השפה רואה אותם. ההחלטה בין MiniCPM-V 4.7 35B-A3B לבין NVIDIA Nemotron 3.5 Super VL אינה אפוא החלטה על ארכיטקטורה. זוהי החלטה על המכונה הקטנה ביותר שאתם מוכנים לקנות, ועל מה שהמכונה הזו קונה לכם במונחים של דפים לשעה. כשמתמחרים כך, שני המודלים נופלים לשיחות רכש שונות לחלוטין: האחד פועל מהורדה של 21 GB על חומרה שסביר שכבר יש לכם, והאחר דורש ארבעה H100 ב-BF16 או H200 בודד ב-FP4. המאמר הזה עושה את החשבון שדפי המפרט משאירים לכם — שכבה אחר שכבה של זיכרון, ועמוד אחר עמוד. מערך החזון נשאר על החומרה שלכם. התזמור סביבו לא חייב להישאר שם. ראו את הקטלוג המתארח למעלה מ-200 מודלים מתארחים במפתח אחד, מחיר המחירון מועבר הלאה ללא תוספת רווח. הכשלים המתועדים של בינה מלאכותית ותקריות הסוכנים מאחורי מהדורות כמו זו נאספים בארכיון התקריות של OrcaRouter AI שבו כל ערך נושא את המקורות שלו, חומרה, דרגת ביטחון ודגל מחלוקת.

שני סולמות קוונטיזציה, שתי קומות שונות מאוד

OpenBMB ו-NVIDIA פתרו את אותה הבעיה — מודל גדול מדי עבור המכשיר שעליו אתה רוצה להריץ אותו — בשני כיוונים מנוגדים. MiniCPM-V 4.7 35B-A3B משאיר קבוצה פעילה קטנה בזיכרון ומזרים מומחים מהאחסון, ואז משלח את כל הדבר בכל גדלי GGUF כדי שתוכל לבחור את הגבול התחתון שלך. Nemotron 3.5 Super VL משאיר את המודל המלא בזיכרון ובמקום זאת מאמן שכבה של 4 סיביות (NVFP4) שמקצרת את דרישת הזיכרון בערך פי ארבעה ללא קנס כימות בדיעבד.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21.2 GB בדיסק. נכנס בכרטיס גרפי לצרכנים בנפח 24 GB עם שוליים דקים, או ב-Mac עם 32 GB עם מקום עודף.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 GB / 69.4 GB. כרטיס של 48 GB או תחנת עבודה של 96 GB, בהתאם לכמות ההקשר שתרצו לצד המשקולות.

• Nemotron 3.5 Super VL, BF16 — כ-231.8 GiB של משקולות על פני 64 שברים. מתכון ההגשה של NVIDIA עצמה הוא tensor-parallel 4 על 4x H100, או TP2 על 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — נפרס על 1x DGX Spark, 1x H200, 2x H100 או 1x GB200, לפי כרטיס המודל שלו.

השורה האחרונה היא המספר שמשנה את שיחת הרכש. מודל 120B על H200 אחד במקום ארבעה H100 אינו חיסכון שולי; זה ההבדל בין הזמנת אשכול לבין צומת בודד. ומכיוון ש-NVIDIA מבצעת את המרת ה-4-bit במהלך האימון באמצעות זיקוק מודע לקוונטיזציה ולא בדיעבד, היא טוענת שאין תקורת הסקה — טענה שהכרטיס מציין אך אינו מבסס אותה בפער דיוק מפורסם בין BF16 ל-NVFP4.

עמודים בשעה, זה המספר שמכריע הכול

תפוקה של טוקנים לשנייה היא מדד עקיף גרוע לעבודה עם מסמכים, מפני שהעלות של עמוד נשלטת בעיקר לפי מספר הטוקנים החזותיים שהמקודד פולט לפני שמודל השפה אומר מילה. כאן שני העיצובים נבדלים בצורה החדה ביותר, וכאן השפה השיווקית היא הפחות מועילה.

MiniCPM-V 4.7 35B-A3B מבצע דחיסה בתוך מגדל הראייה, באמצעות טכניקת דחיסה מוקדמת ש-OpenBMB מייחסת ל-LLaVA-UHD v4, עם דגימה יורדת משולבת של 4x ו-16x. ברירת המחדל היא 16x; 4x הוא מסלול הפרטים העדינים, שנבחר לכל תמונה. עמוד טקסט צפוף מקבל את המסלול הזול, ואילו תרשים חלקים מקבל את היקר. הדחיסה מתרחשת לפני שמודל השפה נכנס לתמונה, וזה בדיוק מה שהופך מודל 35B לישים בטלפון.

Nemotron 3.5 Super VL אינו מוביל עם דחיסה. התשובה שלו היא הקשר: עד מיליון טוקנים, קלט וידאו של עד שתי דקות, ושכבת Mamba-2 היברידית כדי למנוע מרצף ארוך מאוד להפוך לריבועי. מתכון הווידאו שלו דוגם ב-2 FPS ו-256 פריימים כברירת מחדל, ויורד ל-1 FPS ו-128 פריימים ב-1080p — מדיניות דגימה ולא טריק דחיסה, וכזו שניתן לכוונן כלפי מעלה אם עומס העבודה הוא תנועה צפופה.

ההשלכה המעשית: MiniCPM-V 4.7 מעניק לך עלות טוקנים קבועה ונמוכה לכל עמוד, ומבקש ממך להשלים עם אובדן הפרטים; Nemotron 3.5 Super VL מאפשר לך לשמור על הפרטים ומבקש שתשלם על ההקשר. בסקירת חוזה בת מאה עמודים, הראשון זול יותר לכל עמוד, והשני טוב יותר בעמוד שבו הסעיף נמצא בהערת שוליים בגופן 6 נקודות. עבור סרטון ניתוח באורך שתי דקות, רק השני בכלל נכלל בדיון.

אחת מהמהדורות האלה כוללת מספרים; האחרת כוללת גרפים.

זהו החלק בהשוואה שאף כמות של כוח חישוב חומרתי לא תתקן, ולכן מקומו כאן ולא קבור בהערת שוליים.

כרטיס המודל של NVIDIA כולל טבלת בנצ'מרקים בת כארבעים שורות, והוא גלוי באופן לא שגרתי: הוא מפרט את קווי הבסיס, וכמה שורות מראות שהמודל מפסיד. מול Qwen3.5-122B-A10B, לפי המספרים של NVIDIA עצמה, MMLU-ProX עומד על 76.91 לעומת 83.2, tau2-bench telecom על 73.19 לעומת 87.2, OCRBench v2 Chinese על 59.15 לעומת 67.3, ו-MathVision על 78.16 לעומת 83.3. הוא מנצח ב-GPQA-Diamond 89.52 מול 86.7, ב-SWE-bench Pro 51.78 מול 44.9 וב-CritPt 10.86 מול 1.1. כל נתון, כולל קווי הבסיס, נאסף באמצעות מערך הבדיקה NeMo Gym של NVIDIA עצמה — כך נאמר בכרטיס ישירות, והוא מפרסם הערות שחזור. הורץ על ידי הספק, מסומן ביושר, וההפסדים נותרו בפנים.

הכרטיס של MiniCPM-V 4.7 מכיל חמישה תרשימי הערכה ואין בו טבלה מספרית. הטענות ההשוואתיות הן כיווניות: ציון כולל גבוה יותר בזמן הסקה קצר יותר מאשר Qwen3.6 35B-A3B במצב Instruct, ושיפורים ניכרים לעומת Qwen3.5 0.8B עבור גרסת 1B. אין ציון לכל מבחן בנפרד לצטט, אין רשימת בסיס לבדיקה, ואין משקולות מפורסמות עבור המדד המשולב שמוצג בגרף. זה לא אותו דבר כמו מודל גרוע — ההנדסה מתועדת ב-config.json והמשקולות ניתנות לבדיקה בייט אחר בייט — אבל זה כן אומר שאי אפשר לבנות את חצי הדיוק של השוואה זו. כל מי שמציג טבלה של ציוני MiniCPM-V 4.7 מול מספרים של Nemotron 3.5 Super VL קורא את הגרף של ספק אחד כאילו היה מדידה, ואת הטבלה של האחר כאילו הייתה ניטרלית.

נתיבי הריצה, ואיזה מהם ינשך אתכם בהמשך

סיפור הפריסה של MiniCPM-V 4.7 הוא תפריט: SGLang, vLLM, llama.cpp ו-Ollama, מסלול OpenVINO עבור Intel CPU, GPU ו-NPU, כוונון עדין דרך SWIFT ו-LLaMA-Factory, כימות ב-GGUF, BNB, AWQ, GPTQ ו-FP8, ותמיכת יום-0 מוצהרת עבור שבבי Rockchip, Houmo, Intel, AMD ו-Arm לצד iOS, Android ו-HarmonyOS. הרוחב הוא המוצר. המחיר של הרוחב הוא שאיש לא אימת את הצירוף הספציפי שלך, ולמסלול ה-upstream הנוכחי של llama.cpp יש פגם פעיל: מיקומי סמני התמונה מחושבים באופן שגוי, כך שהקואורדינטות המוחזרות יושבות באופן שיטתי נמוך מדי כששואלים היכן משהו נמצא. תיקון נבדק פתוח ולא ממוזג נכון ל-20 באוקטובר.

הסיפור של Nemotron 3.5 Super VL הוא צר ועמוק: vLLM בתג image מקובע ו-SGLang בתג מקובע, כאשר Multi-Token Prediction מובנה בארכיטקטורה כך שאין צורך במודל טיוטה נפרד. הכרטיס מפרט גרסאות משום שהגרסאות הן השילוב המאומת. סטייה מהן היא הדרך שבה פריסה עובדת הופכת להפעלת דיבוג.

אם אתם בוחרים חומרה שתתאים למודל, קחו את MiniCPM-V 4.7. אם אתם בוחרים מודל שיתאים לחומרה שכבר יש לכם, קחו את Nemotron 3.5 Super VL ופעלו בדיוק לפי הגרסאות של הכרטיס שלו.

היכן מקומו של נתב בארכיטקטורת שתי קופסאות

התבנית שמופיעה בייצור אינה בחירה בין השניים. זהו מודל קטן על המכשיר או על המחשב המקומי שעושה עבודה שחייבת להיות מיידית ופרטית, ומודל גדול שמטפל בעבודה שחייבת להיות נכונה. MiniCPM-V 4.7 35B-A3B נבנה לתפקיד הראשון; Nemotron 3.5 Super VL נבנה לשני, עם חלון של מיליון טוקנים ו-12B פרמטרים פעילים כדי לשאת מסמכים ארוכים ולולאות סוכניות.

הרצה של שניהם משמעה שתי ערימות מודלים, שני מערכי מצבי כשל — וברגע שמוסיפים מודל טקסט לתזמור סביבם, שלושה. כאן OrcaRouter עוזר בלי להגזים במה שהוא: אף אחד משני הצ'ק-פוינטים אינו בקטלוג שלנו, משום ששניהם משקלים פתוחים שאתם מארחים בעצמכם, אבל מודלי הטקסט והקוד שסובבים אותם כן נמצאים בו. מפתח אחד ליותר מ-200 מודלים מתארחים, מחיר המחירון של הספק מועבר כפי שהוא עם 0% תוספת, ומעבר אוטומטי לגיבוי כאשר ספק במעלה הזרם נחלש. מערך הראייה נשאר על החומרה שלכם; שאר הצינור מפסיק להזדקק לחוזה חדש בכל פעם שמוסיפים שלב.

מה זה עולה לך לטעות לגבי כל אחד מהם

קנה את הקופסה הקטנה וגלה שהיית צריך הסקה על מסמכים ארוכים, וכבר הוצאת כמה אלפי דולרים ושבוע. קנה ארבעה H100 וגלה שהעומס היה קבלות, וכבר הוצאת הרבה יותר על יכולת שלעולם לא תפעיל. האסימטריה הזו היא הטיעון האמיתי להתחיל בשכבה הזולה ולהסלים — והיא הסיבה לכך שהגרסה במכשיר ראויה לתשומת הלב שהיא מקבלת, למרות שסיפור המדדים שלה דק יותר.

שובר השוויון, אם יש לך את שתי האפשרויות זמינות, הוא היכן שהפיקסלים נמצאים. פריימים שאינם יכולים לצאת מהבניין הולכים למודל שרץ בתוכו. פריימים שזקוקים למיליון טוקנים של הקשר וללולאת הסקה הולכים לזה שנבנה בדיוק לשם כך, ואתה מקבל את גרסאות הריצה המוצמדות כמחיר הכניסה.