MiniCPM-V 4.7-35B-A3B-DSpark: ה-Draft 389M של OpenBMB נוחת עם כרטיס שהמודל הבסיסי שלו מעולם לא קיבל
- OrcaחדשOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 65 tok/s
- openaiחדשOpenAI: GPT-6.1 Sol2026-09-2952אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 158 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238אינטליגנציה
- OpenAIOpenAI: GPT-6 Sol2026-09-2248אינטליגנציה
- AnthropicAnthropic: Claude Opus 5.52026-09-2258אינטליגנציה
- xAIGrok 4.72026-09-2146אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 לכל 1M טוקנים · 42 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 לכל 1M טוקנים · 478 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040אינטליגנציה
- OpenAIOpenAI: GPT-6 Astra2026-09-0453אינטליגנציה77כתיבת קוד
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241אינטליגנציה76כתיבת קוד
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245אינטליגנציה76כתיבת קוד
- AnthropicAnthropic: Claude Fable 5.12026-09-0153אינטליגנציה82כתיבת קוד
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 לכל 1M טוקנים · 57 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 לכל 1M טוקנים · 194 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642אינטליגנציה72כתיבת קוד
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 לכל 1M טוקנים · 228 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845אינטליגנציה75כתיבת קוד
MiniCPM-V-4.7-35B-A3B-DSpark הוא מודל טיוטה בעל 389,223,169 פרמטרים. הוא אינו עונה על שאלות, אינו רואה תמונות, ובפני עצמו הוא חסר תועלת. כל תפקידו הוא לנחש את חמישה-עשר האסימונים הבאים, כדי ש-MiniCPM-V-4.7-35B-A3B יוכל לאמת בלוק שלם במעבר קדמי אחד במקום לייצר אסימון אחד בכל פעם. זהו פענוח ספקולטיבי, ו-OpenBMB הפיצה טיוטה עבור המודל החזותי-לשוני החדש שלה בגודל 35B לפני אחד-עשר ימים בלי לומר על כך מילה בפומבי.
מה שהופך את זה לראוי לעמוד שלם אינו הטיוטה. אלא המסמכים הנלווים לו. לנקודת השמירה של DSpark יש כרטיס מודל: רישיון, טבלת מפרטים, מתכון אימון, וטבלת אורכי קבלה לשבע קטגוריות משימות. למודל האב בעל 35 מיליארד הפרמטרים לא היה דבר מזה כשהוא הופיע. אז בפעם הראשונה, יש מספרים ממשיים המצורפים לשחרור של MiniCPM-V 4.7 — והם מספרים על מודל האב, שנמדדו בעקיפין, באמצעות קובץ בנפח 0.78 GB שמטרתו המוצהרת היא לגרום לו לפעול מהר יותר.
כל מה שלהלן מפריד בין מה שמופיע על הכרטיס לבין מה שהכרטיס אינו קובע. נתוני הקבלה הם של OpenBMB עצמה, ואף אחד מחוץ למעבדה לא שחזר אותם. טבלת הבנצ'מרק של מודל הבסיס עדיין אינה קיימת.
מהו בעצם ה-checkpoint של DSpark
המאגר openbmb/MiniCPM-V-4.7-35B-A3B-DSpark מתוארך ל-8 באוקטובר 2026. זהו צ'קפוינט בקובץ בודד — model.safetensors, ובנוסף config.json ו-README — תחת Apache-2.0, מתויג לאנגלית ולסינית. טיוטה שנייה, openbmb/MiniCPM-V-4.7-1B-DSpark, נוצרה שנייה אחת קודם, כך ששתיהן נדחפו ל-hub באותה אצווה ולא התגלו זו אחר זו.
כל טיוטה עומדת מול יעד אחד ורק אותו. הכרטיס אומר זאת במפורש: נקודת ביקורת זו "מאומנת להתאמה מדויקת עם MiniCPM-V-4.7-35B-A3B והטוקנייזר שלו." אוצר המילים הוא של המודל האב, כל 248,144 הטוקנים שבו, שזו דרישה ולא אופטימיזציה — מודל טיוטה שהטוקנים שלו לא ממופים אחד לאחד לאלה של היעד לא יכול להציע דבר שהיעד יוכל לקבל. אותה מגבלה היא הסיבה לכך שטיוטה אחות קיימת בנפרד במקום שמודל טיוטה אחד ישרת את המשפחה.
הארכיטקטורה אינה עותק מוקטן של ההורה. היא מחסנית קשב בת חמש שכבות, רוחב מוסתר של 2,048, 8 ראשי שאילתה מול 2 ראשי מפתח/ערך, גודל ביניים של 6,144, ו-RoPE עם תטא של 10,000,000. השדה architectures קורא Qwen3DSparkModel — אותו עמוד שדרה ממשפחת Qwen3 שממנו מגיעה מחסנית השפה של ההורה, מקוצר לכדי שלד.
החלק המעניין הוא האופן שבו הסטאב מדבר אל היעד. הוא לא קורא את השכבה הסופית של היעד. הוא שואב מצבים חבויים מחמש שכבות ביניים — [3, 11, 19, 27, 35] מתוך 40 של האב — ומקרין אותם דרך dsparkשהוא מסוג פרוג'קטור. שאיבה מאמצע המחסנית ולא מהסוף היא מכוונת: מצבים מאמצע הרשת זולים יותר ליישור ונושאים מידע שהשכבה הסופית כבר דחסה ללוגיטים של הטוקן הבא. התצורה גם מציידת ראש ביטחון עם רכיב מרקוב בדרגה 256, שהוא המנגנון מהמאמר של DSpark להחליט כמה מבלוק מוצע שווה לאמת.
טבלת הקבלה היא כרטיס, לא מדידה
הנה כל מה שמספרי ש-OpenBMB פרסמה לגבי מידת היעילות של הצמד הזה, מבוטא כאסימונים מתקבלים לכל שלב אימות, עם סיום EOS טבעי, וכן max_new_tokens=8192:
• ראייה, MMMU — 5.098 טוקנים שהתקבלו לכל צעד.
• ראייה, MathVista — 6.126.
• חזון, הסקה ב-CharXiv (אימות) — 5.479.
• Vision, OCRBench — 5.407.
• טקסט, ווב — 6.687.
• טקסט, קוד — 7.387.
• טקסט, כללי — 3.501.
שלושה דברים לגבי הטבלה ההיא ראויים להיאמר בקול רם. ראשית, מדובר בדיווח עצמי. אף אחד מחוץ ל-OpenBMB לא הריץ את הצ'קפוינט הזה ופרסם מספר, וכאשר רק הורדה אחת תועדה בריפו, אף אחד מחוץ ל-OpenBMB לא הריץ אותו בכלל. שנית, אורך הקבלה הוא תכונה של הצמד, לא של המודל — הוא מודד עד כמה הפלט של MiniCPM-V-4.7-35B-A3B צפוי, ולא עד כמה הפלט הזה טוב. מודל יעד שחוזר על עצמו מעניק למודל הטיוטה ניצחון קל. שלישית, הפיזור הוא הסיפור: 7.387 בקוד לעומת 3.501 בטקסט כללי מהווים פער של פי שניים בין הקטגוריה הטובה ביותר לגרועה ביותר, והעובדה שקוד הוא הקל ביותר משקפת את פני השטח של הקוד, בעלי אנטרופיה נמוכה וחזרתיות גבוהה, יותר מאשר חוזק כלשהו במודלים.
יש גם קריאה חשבונית פשוטה שהכרטיס מותיר במשתמע. מנסח טיוטות שמציע 15 טוקנים ומתוכם 5 עד 7 מתקבלים עדיין מקדם כמה טוקנים בכל מעבר קדמי של היעד, כך שהתקרה כאן היא רווח תפוקה גדול — אבל זו אינה הטענה הנאיבית של "מהיר פי 5", מכיוון שאימות בלוק של 15 טוקנים עולה יותר מיצירת טוקן אחד, ועל ההצעות שנדחו משלמים ואז זורקים אותן. הפער הזה הוא בדיוק מה שמאמר DSpark עוסק בו, ולכן הקונפיגורציה חושפת מתג לכיבוי אימות אדפטיבי.
מה שהטיוטה מספרת לנו במקרה על מודל הבסיס
MiniCPM-V 4.7 תייג את ההשקה שלו ככזו שיצאה בשקט — משקלים, בלי פוסט השקה. זה עכשיו השתנה, באופן קטן אך אמיתי. מאגר האב ב-openbmb/MiniCPM-V-4.7-35B-A3B נוצר ב-7 באוקטובר 2026. עד 12 באוקטובר הוא נשא כרטיס מודל מלא עם README, עמוד השקה בסגנון Hugging Face, רשימת טענות, מקטע על-מכשיר, וטבלת משקלים. מאז המאגר גדל למשפחת כימות — גרסאות FP8, int4, AWQ, GPTQ ו-GGUF, כל אחת במאגר משלה, כולן עודכנו ב-12 באוקטובר — ו-27 לייקים מול 166 הורדות.
אז התמונה המדויקת היא שחרור דו-שלבי, לא שחרור שקט. המשקלים נחתו ב-6 וב-7 באוקטובר. צ'קפוינטים של הטיוטה הגיעו לאחר מכן, ב-8 באוקטובר. התיעוד, הגרסאות המכומתות וסיפור ההרצה על המכשיר הגיעו עד 12 באוקטובר. OpenBMB עדיין לא פרסמה פוסט בבלוג או דוח טכני עבור המשפחה, ועדיין אין טבלת בנצ'מרקים בכרטיס האב — טענות הביצועים נמצאות בתוך תמונות תרשים מקושרות ולא כטקסט שקורא יכול לצטט.
הטענה שכן מופיעה בטקסט היא הטענה המרכזית: עם Lookahead Expert Scheduling, קוונטיזציה לפי שכבות, ו"אינטגרציית דגימה ספקולטיבית DSpark", מודל 35B-A3B מתואר כמודל ה-MoE הראשון בקוד פתוח שרץ בצורה חלקה על המכשיר, בקצב של 13+ טוקנים לשנייה ב-iPhone 17 Pro Max. הנתון הזה מדווח על ידי הספק, לא משוחזר, וללא הסתייגות — אין פורמט קוונטיזציה, אין בילד, אין פרומפט, אין שיטת מדידה. הצ'קפוינט DSpark הוא אחת משלוש הטכניקות שהטענה נשענת עליהן, מה שהופך אותו ליחיד מבין השלושה שאפשר להוריד ולבחון. הוא גם זה שהראיות שלו הן שורת בנצ'מרק אחת שלא נקראה לכל משימה.
להריץ את זה, אם אתה רוצה
הכרטיס מגיע עם מתכון אחד והוא פקודת vLLM, לא אמירה מעורפלת. הוא מגיש את היעד בגודל tensor-parallel של 2 עם אורך מודל מקסימלי של 40,960, FLASH_ATTN בשני ה-backends של ה-attention של השפה ושל המקודד המולטימודלי, מצב visual downsample של 4x, enable_thinking מוגדר ל-false, ותצורת ספקולטיבית מופנית אל ה-checkpoint DSpark עם 15 אסימונים ספקולטיביים ואימות אדפטיבי מושבת. שני פרטים בשורה הזו ראויים לציון בפני עצמם: --max-num-seqs 1 פירושו שההגדרה שפורסמה מגישה רצף אחד בכל פעם, ו---disable-custom-all-reduce עם מעבר היתוך all-reduce מושבת פירושו שזו תצורה שכווננה לעבוד ולא להיות מהירה ככל האפשר. התייחסו למתכון כנקודת התחלה ש-OpenBMB הצליח להריץ, ולא כטענת תפוקה.
מעטפת החומרה היא המחסום האמיתי. היעד הוא כ-70 GB של משקולות BF16 לפני KV cache, ומודל הטיוטה מוסיף על גבי זה כ-0.78 GB. שני מאיצים הם המינימום המוצהר, מה שמציב את זה הרחק מחוץ לטלפון שהשיווק של המשפחה נשען עליו — פריסה על-גבי המכשיר עבור מודל 35B-A3B משמעותה קוונטיזציה אגרסיבית ו-offloading, וזה בדיוק לשם מה נועדה עבודת ה-LES והקוונטיזציה השכבתית, ואף אחד מאלה אינו נמצא במתכון ה-vLLM שלמעלה.
חוסר הסימטריה הזה הוא ההחלטה המעשית עבור רוב הצוותים. הגשת MiniCPM-V 4.7 דורשת שני GPUs שבבעלותך; קריאה אל MoE רב-מודאלי מתארח דומה לא עולה דבר מראש. Qwen3.6 35B A3B הוא ההשוואה הישירה הקרובה ביותר — אותו מבנה של 35B סה״כ, 3B פעילים, אותו הקשר של 262K, קלט של תמונות וווידאו — והוא מוגש דרך OrcaRouter החל מ-$0.248 למיליון אסימוני קלט ו-$1.485 למיליון אסימוני פלט בהתאם למסלול הספק, עם העברה אוטומטית לגיבוי אם אחד מהמסלולים האלה נחלש. MiniCPM-V 4.7 אינו מודל מתארח ב-OrcaRouter, והמאמר הזה לא יעמיד פנים אחרת; המסגור הכנה הוא ששני אלה חלופות בנקודת החלטה, והמתארח הוא זה שאפשר למדוד אחר הצהריים.
מה יהפוך את זה לניתן לבדיקה?
ה-checkpoint של DSpark הוא Apache-2.0, גודלו פחות מג'יגה-בייט, והוא מגיע עם פקודת serving שמישהו עם שני GPUs יכול להדביק למסוף כבר היום. השילוב הזה הופך אותו למסלול הזול ביותר לנתון עצמאי על MiniCPM-V 4.7 — לא ציון בנצ'מרק, אלא משהו כמעט שימושי באותה מידה: אורך קבלה משוחזר. אם גורם חיצוני מגיע ל-5.1 ב-MMMU ול-3.5 בטקסט כללי, הכרטיס מהימן וסיפור היעילות של המשפחה זוכה לנקודת נתונים חיצונית ראשונה. אם אורך הקבלה מתקבל נמוך באופן מהותי, הטבלה שפורסמה נמדדה בתנאים שהמתכון אינו משחזר, וטענת 13 טוקנים לשנייה יורשת את הספק הזה.
מה שעדיין חסר הוא הדבר שכרטיס מודל נועד לו בדרך כלל. אין ציון MMMU, אין ציון OCRBench, אין תוצאת הבנת מסמכים, אין מספר עיגון ואין נתון השהיה עבור MiniCPM-V 4.7 עצמו — שום דבר שעונה על השאלה אם המודל הזה טוב. הטבלה של מודל הטיוטה אינה יכולה לשמש כתחליף לכך, וקריאה של אורך קבלה גבוה כאות איכות היא בדיוק הטעות שאליה המספרים מזמינים. תחזית בסגנון ChatGPT היא קלה עבור מודל טיוטה ואינה אומרת דבר על נכונות התחזית.
אז: ארטיפקט אמיתי, רישיון אמיתי, פיסת ראיה מפורסמת אחת ממש חדשה על מודל שלא היו לו כאלה — ופער הערכה שהוא בדיוק רחב כפי שהיה ב-7 באוקטובר. הקובץ הבא לרענון הוא עדיין כרטיס המודל של ההורה.
