כרטיס כותרת עם הכיתוב "MiniCPM-V 4.7 נגד Gemma 4 12B", עם כתובית "אחד מספק בנצ'מרקים. השני מספק תמונה שלהם.", עם שני כרטיסים מעוגלים המחולקים במפריד אנכי דק — השמאלי מסומן MiniCPM-V 4.7 ו"תרשים בלבד", והימני מסומן Gemma 4 12B ו"טבלה מספרית".
Engineering & Research

MiniCPM-V 4.7 לעומת Gemma 4 12B: אחד משחרר בנצ'מרקים, והשני משחרר תמונה שלהם

מחבר

Rowan Sterling

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

פתח את כרטיס המודל של MiniCPM-V 4.7 וגלול לקטע ההערכה. תמצא שלוש תמונות: תרשים חזית של ביצועים מול זמן הסקה, השוואת חזון-שפה כוללת, והשוואת שפה כוללת. לא תמצא טבלה. כעת פתח את הכרטיס של Gemma 4 12B וגלול לאותו מקום. תמצא את MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision ושיעור שגיאות בפענוח מסמכים, שלכל אחד מהם מספר שאפשר להעתיק לגיליון אלקטרוני. שני המודלים הם בעלי משקלים פתוחים, שניהם Apache 2.0, שניהם ממוצבים כמודלים רב-מודליים שמתאימים לחומרה שבבעלותך — ורק אחד מהם יאפשר לך לבדוק את עבודתו. כשלי ה-AI המתועדים ותקריות הסוכנים שמאחורי שחרורים כמו זה נאספים בארכיון תקריות ה-AI של OrcaRouter שבו כל רשומה כוללת מקורות משלה, חומרה, דרגת ביטחון וסימון שנוי במחלוקת.

האסימטריה הזו היא ההשוואה האמיתית. MiniCPM-V 4.7, שיצא לאור על ידי OpenBMB ב-12 באוקטובר 2026, ו-Gemma 4 12B, שיצא לאור על ידי Google DeepMind ב-3 ביוני 2026, אינם אותו סוג של אובייקט, וההבדל אינו בגודל. הוא בכמה מהטענה של עצמו כל ספק מוכן להעלות על הכתב.

מה כל ספק יגיד לך, במספרים

הכרטיס של Gemma 4 12B מפרסם את ציוניו מול חמישה דגמי אחים וקודמו, כאשר מערכת ההערכה מצוינת לפי בנצ'מרק. עבור גרסת 12B Unified בפרט, היצרן מדווח על 77.2 ב-MMLU Pro, 77.5 ב-AIME 2026 ללא כלים, 72.0 ב-LiveCodeBench v6, 78.8 ב-GPQA Diamond, ELO של 1659 ב-Codeforces, 69.0 ב-Tau2 בממוצע על פני שלושה ריצות, 83.4 ב-MMMLU, ו—המספר שממסגר בצורה הכנה ביותר מהו מודל 12B—5.2 ב-Humanity's Last Exam ללא כלים. בצד הראייה הוא מדווח על 69.1 ב-MMMU Pro, 79.7 ב-MATH-Vision, ומרחק עריכה ממוצע של 0.164 ב-OmniDocBench 1.5, כאשר נמוך יותר טוב.

אלה מספרי ספק. אף גורם עצמאי לא חייב להסכים איתם, ובמודל פרוס כה נרחב חלקם לא ישרדו מפגש עם הארנס אחר. אבל הם ניתנים להפרכה, וזו התכונה שחשובה. אם תקבל 62 ב-MMLU Pro בהערכה שלך, תדע שמשהו לא תקין בהגדרה שלך או בכרטיס.

כרטיס המידע של MiniCPM-V 4.7 כולל ארבע טענות מספריות בפרוזה וללא טבלת בנצ'מרקים כלל. גרסת 35B-A3B מפענחת בקצב של 13 טוקנים או יותר לשנייה תוך שימוש בכ-3 GB זיכרון ב-iPhone 17 Pro Max. Lookahead Expert Scheduling מספק האצה פי 5 במכשירים אמיתיים. גרסת 1B עוקפת את Qwen3.5 0.8B בציון הכולל וביעילות ההסקה. ובמצב Instruct, 35B-A3B מגיעה לציון כולל גבוה יותר בזמן הסקה קצר יותר מאשר Qwen3.6 35B-A3B. כל השאר — כל ציר של ההשוואה — נמצא בתוך תמונות הגרפים.

זה לא חוסר יושר. תרשימים נושאים מידע, ותרשים חזית הוא אולי סיכום טוב יותר של פשרה בין מהירות לאיכות מאשר טבלת ציונים במדדים שונים שנמדדו בגדלי אצווה שונים. אבל לא ניתן לצטט תרשים, לא ניתן לגזור אותו מחדש, ולא ניתן להשוות אותו לתרשים של ספק אחר בלי שמישהו יקרא מיקומי פיקסלים. כאשר ההערכה הציבורית היחידה של מודל היא תמונה, הגישה הנכונה היא להתייחס למודל כלא-מדוד עד שמישהו ימדוד אותו.

The Google blog post introducing Gemma 4 12B, showing the release headline, the model description and the published benchmark figures for MMLU Pro, AIME 2026, LiveCodeBench v6 and GPQA Diamond.

שתי הארכיטקטורות פותרות בעיות שונות

קראו מעבר לסעיפי ההערכה והעיצובים מתפצלים בחדות, וזה האות השימושי יותר מכל ציון בודד.

Gemma 4 12B אינו כולל אנקודר. אין מגדל ראייה נפרד ואין אנקודר שמע נפרד: פיסות תמונה גולמיות וצורות גל של שמע מוקרנות ישירות למרחב ההטמעה של מודל השפה דרך שכבות ליניאריות קלות משקל. הסיבה שמציין Google היא השהיה וכוונון עדין במעבר יחיד — מודל אחד, אימון אחד, כל המודאליות. המחיר הוא שהחברה מהמרת על כך שטרנספורמר decoder-only יכול ללמוד לראות מספיק טוב בלי חזית חזותית ייעודית. הנתון שלה ב-MMMU Pro, 69.1, לעומת 76.9 של הדגם האח, 31B, שכן כולל אנקודר ראייה עם כ-550 מיליון פרמטרים, מרמז שההימור גובה מחיר מסוים ביכולת הסקה חזותית עדינה.

MiniCPM-V 4.7 הולך בכיוון ההפוך. הוא שומר על מגדל ראייה ייעודי — רוחב מוסתר של 1152, 27 שכבות, אריחים של 980 פיקסלים — ומשקיע את המאמץ ההנדסי שלו בהפיכת המגדל הזה לזול. הדחיסה המוקדמת בתוך ה-ViT, שאומצה מ-LLaVA-UHD v4, מקצצת טוקנים חזותיים בתוך המקודד ולא לאחריו, ומתג דגימה יורדת משולב של 4×/16× מאפשר לקורא לבחור בין פירוט לעלות לכל בקשה. בצד השפה, ה-35B-A3B הוא תערובת של 256 מומחים שמפעילה 8 מומחים לכל טוקן, המשולבת בתבנית 3:1 של קשב ליניארי לקשב מלא לאורך 40 שכבות.

התוצאה המעשית של העיצוב הזה היא שמסלול הווידאו של MiniCPM מפורש באופן יוצא דופן. הכרטיס חושף את max_num_frames כ-128, פרמטר stack_frames שמרכיב תת-פריימים לרשת בין פריימים ראשיים, והנחיות נפרדות למספר פרוסות עבור תמונות (36) לעומת וידאו (1). אם אתם בונים משהו שקורא הקלטות מסך או וידאו של הרצאות, רמת השליטה הזו במה שנדגם היא התכונה. Gemma 4 12B מטפל גם בווידאו, כרצפים של פריימים, אך הכרטיס שלו מתעד את הפורמט ולא את שיקולי הדגימה.

השורות שבאמת מכריעות את זה

• פרמטרים — 35.21B בסך הכול, 8 מתוך 256 מומחים פעילים, בתוספת מודל דחוס נלווה של 1.55B לעומת 11.95B דחוס

מודאליות קלט — טקסט, תמונה ווידאו, כאשר OCR וניתוח PDF מודגשים לעומת טקסט, תמונה, וידאו ואודיו מקורי

• הקשר — 262,144 טוקנים לעומת 262,144 טוקנים ב-12B, ו-128K בדגמי האחים מסדרת E

• רישיון — Apache 2.0, משקלים ניתנים להורדה לעומת Apache 2.0, משקלים ניתנים להורדה

• הערכה שפורסמה — תרשימי חזית והשוואה, ארבע טענות בפרוזה לעומת טבלה מספרית מלאה על פני שמונה אחים

• הערכה עצמאית — אין רשומה של Artificial Analysis לאף אחד משני וריאנטי 4.7 נכון לכתיבת שורות אלה, לעומת עמוד Artificial Analysis עם דירוג אינטליגנציה ותפוקה

• זיכרון ב-BF16 — כ-70 GB של משקלים עבור 35B-A3B, כ-3.1 GB עבור 1B לעומת כ-24 GB

• פורמטים מכומתים שסופקו — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 לעומת ה-checkpoint במעלה הזרם, בתוספת בניות GGUF ו-QAT מהקהילה מבית Google ומצדדים שלישיים

• מסלולי הגשה בשמות שהספק נותן להם — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO לעומת Transformers, כאשר האקוסיסטם הרחב יותר מסופק על ידי הקהילה

• סיפור העיבוד על המכשיר — אפליקציות iOS, Android ו-HarmonyOS, בתוספת תמיכת Day-0 ב-Rockchip, Houmo, Intel, AMD ו-Arm, לעומת עיצוב שמותאם למחשבים ניידים ולכרטיסי GPU לצרכנים

שלושה עומסי עבודה, שלוש תשובות

הבנת מסכים ומסמכים בהיקף גדול. כאן מכוון העיצוב של MiniCPM-V 4.7, וכאן התיעוד שלו הוא החזק ביותר. מצב ההקטנה פי 4, הגדרת 36 הפרוסות, רשומות ה-cookbook של OCR וניתוח PDF, ובקרות דגימת הפריימים המפורשות עבור וידאו — כולם מתארים צינור עיבוד להפיכת תוכן מרונדר לטקסט מובנה. גם Gemma 4 12B אמין כאן — מרחק העריכה שלו ב-OmniDocBench של 0.164 הוא נתון אמיתי של ניתוח מסמכים — אך כרטיס הספק מתייחס לניתוח מסמכים כיכולת אחת מבין רבות ולא כעיקרון המארגן.

כל דבר שצריך לשמוע. Gemma 4 12B מקבל אודיו באופן נייטיבי, עם CoVoST ב-38.5 ו-FLEURS ב-0.069 בכרטיס שלו. MiniCPM-V 4.7 לא. עבודת האודיו של OpenBMB נמצאת בקו MiniCPM-o הנפרד, והכרטיס של 4.7 אינו מפרט מודאליות אודיו כלל. אם הקלט שלך כולל דיבור, ההשוואה נגמרת לפני שהיא מתחילה — מודל אחד זקוק לשלב תמלול לפניו והשני לא.

כרטיס GPU צרכני בודד עם תקציב קבוע. Gemma 4 12B ב-4-bit נכנס מתחת ל-8 GB ומשאיר מקום ל-context; ה-35B-A3B ב-4-bit לא נכנס בכרטיס צרכני אחד, וסיפור הביצועים של הכרטיס שלו עצמו עוסק בטלפונים שמחזיקים 3 GB resident, לא ב-GPU עם 70 GB של משקולות מומחים להעברת דפים. אם האילוץ הוא "כרטיס אחד שכבר יש לך", ה-12B הוא התשובה, וגרסת ה-1B היא ה-MiniCPM היחיד שרלוונטי.

הפער שעל הקונה לגלם במחיר

שני המודלים זמינים להורדה בחינם, כך ששורת הרישיון היא תיקו והעלות האמיתית היא כל מה שאחריה. עבור Gemma 4 12B, למערכת האקוסיסטם היו ארבעה וחצי חודשים להדביק פערים: גרסאות מכומתות מ-Google עצמה, המרות GGUF קהילתיות, צ'קפוינטים של QAT ואינדוקס עצמאי שמאפשר להשוות אותו למאה מודלים אחרים באותו קנה מידה. עבור MiniCPM-V 4.7, אתם שמונה ימים לתוך ארכיטקטורה חדשה — model_type חדש, פריסת attention חדשה, גרסת Transformers מינימלית — והכרטיס של הספק עצמו נפתח בהערה על אי-התאמות בגרסאות CUDA ששוברות פענוח וידאו דרך torchcodec.

זו אינה ביקורת על המודל. זהו המס הסטנדרטי שמוטל על אימוץ של כל דבר בשבועיים הראשונים שלו, וזו הסיבה לכך שהשקה שקטה עם הערכה מבוססת תרשימים בלבד היא מועמדת גרועה למסלול ייצור ומועמדת טובה למבחן זה לצד זה. הדרך להפוך את המבחן הזה לזול היא להשאיר את המודל הקיים פעיל ומשרת בזמן שאתם מעריכים את החדש, וזו בעיית ניתוב ולא בעיית מודלינג.

OrcaRouter מריץ יותר מ-200 מודלים מתארחים מאחורי נקודת קצה אחת תואמת OpenAI ללא תוספת מחיר, מחיר המחירון של הספק עובר ישירות, כך שהעלות של ניסיון מודל שני היא שינוי קונפיגורציה ולא חוזה שני. ה-DSL לניתוב שלו יכול להחזיק מודל ראשי וגיבוי בקריאה אחת, וכשל אוטומטי שומר על המסלול הראשי פעיל כשספק חווה שעה רעה. הערת הכיסוי היא החלק החשוב כאן: הקטלוג שלנו כולל Gemma 4 26B-A4B ו-Gemma 4 31B, לא את ה-12B הזה, והוא אינו כולל כלל את MiniCPM-V 4.7. שני המודלים שהמאמר עוסק בהם הם צ'קפוינטים שאתם מריצים בעצמכם — הראוטר הוא מה שיושב סביבם, לא דרך לקרוא להם.

The OrcaRouter model page for google/gemma-4-31b-it, showing the model entry, its context window and the provider routing options available through the platform.

מה יפתור את זה?

ההשוואה כרגע חד-צדדית באופן שקל לציין וקל לתקן. ל-Gemma 4 12B יש מספרים שאפשר להתווכח איתם. ל-MiniCPM-V 4.7 יש טענות שאפשר רק לקבל או לדחות: 13 טוקנים לשנייה, 3 GB, האצה פי 5, טוב יותר ממתחרה שנקוב בשמו לפי ציון כולל שאינו נקוב. כל אחד מאלה היה מועיל יותר כשורה בטבלה, וברור ש-OpenBMB מסוגלת להפיק כזו — הכרטיסים המוקדמים יותר של המשפחה כללו רשתות בנצ'מרק סטנדרטיות.

אז הגישה השימושית היא א-סימטרית בכוונה. אם אתם צריכים החלטה השבוע, Gemma 4 12B הוא המודל שאת התנהגותו ניתן לחזות מנתונים שפורסמו, ותמיכת האודיו שלו היא יכולת ששום מידת סבלנות לא תוסיף ל-MiniCPM-V 4.7. אם אתם בונים לטלפונים, ל-HarmonyOS, ללוח Rockchip, או לקריאת מסכים ומסמכים שבהם מסלול הדגימה היורדת פי 4 הוא בדיוק המתאים, ההנדסה של MiniCPM-V 4.7 ספציפית יותר לבעיה שלכם מכל מה ש-Google שלחה בגודל הזה — והיעדר הטבלה הוא סיבה למדוד אותו בעצמכם ולא סיבה לפסול אותו.

A two-column scoreboard titled "MiniCPM-V 4.7 vs Gemma 4 12B — the scoreboard", with matching rows on both sides: parameters 35B total and 3B active against 11.95B dense; modalities text, image and video against text, image, video and audio; 262,144-token context on both; Apache 2.0 on both; charts only against a numeric table for published evaluation; and no independent score against an indexed independent score.

דבר אחרון שראוי לומר בפשטות, מפני שזה החלק שלא מתאים למסגור של אף אחד משני הספקים. אף אחד מהמודלים האלה אינו מתחרה על אותו קונה כמו API חזיתי. הם מתחרים בהחלטה שלא להריץ מודל מקומית בכלל. הטיעון החזק ביותר של Gemma 4 12B הוא שארבעה חודשים של מערכת אקולוגית אומרים שהמסלול המשעמם עובד; הטיעון החזק ביותר של MiniCPM-V 4.7 הוא שמודל 1B בנפח 3 GB רץ במקום שאליו 12B לא יכול להגיע. בחרו קודם את האילוץ, ואחר כך את המודל — טבלת ה-benchmark, כשתופיע, רק תסדר מחדש מודלים בתוך קטגוריה שכבר בחרתם.