כרטיס כותרת שכותרתו 'WeMM-Video-4B' עם כותרת המשנה "המודל האודיו־ויזואלי של Tencent, ב-Hugging Face ללא פוסט השקה", שלושה כרטיסים עם הכיתוב 'השם על הכרטיס 4B / 5.61B פרמטרים בפועל', 'מאגרים 18 / נוצרו ב-19 דקות' ו'מחיר אירוח: אין / אירוח עצמי בלבד', וכיתוב תחתון עם הטקסט 'הנתונים מתוך מאגר Hugging Face ו- arXiv 2611.26409; אין בנצ'מרקים בלתי תלויים.'
Engineering & Research

WeMM-Video-4B: המודל האודיו-חזותי השקט בגודל 5.6B של Tencent

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הקובץ המסומן WeMM-Video-4Bשוקל 10.45 GiB, ובשני בתים לכל פרמטר BF16, זה מסתכם ל-5.61 מיליארד פרמטרים — לא ארבעה. המטא-דאטה של safetensors של Tencent עצמה אומרת את אותו הדבר: 5,611,746,312 פרמטרים. ה-"4B" בשם הוא עמוד השדרה הלשוני, לא ה-checkpoint. התקלה האריתמטית הקטנה הזו היא הדרך הנכונה להיכנס למשפחת WeMM-Video, כי כמעט כל דבר מעניין בשחרור הזה הוא פער בין התווית לדבר עצמו: משפחה בת ארבעה גדלים שפורסמה ללא פוסט השקה, חבילת בנצ'מרקים שמנצחת את Qwen3-Omni-30B-A3B-Instruct ו-MiniCPM-o-4.5-9B בווידאו בעוד שהיא מפסידה ל-Qwen3.5-Omni-Flash באודיו, והטמעת מיקום של 256K שכל תצורה משולחת מקצצת מרצונה ל-8,192 טוקנים. המשקולות אמיתיות, המאמר פומבי, ואף אחד עדיין לא הוריד ממנו דבר.

להלן מופרדים שלושה דברים שכרטיסי ה-Hugging Face של משפחת המודלים מערבבים יחד: מה שניתן למדוד במאגר, מה שרק דוחות ההערכה של Tencent עצמה מדווחים עליו, ומה שאף אחד מחוץ ל-WeChat Vision לא אישר.

הקובץ בשם 4B מכיל 5.61 מיליארד פרמטרים

Hugging Face רושמת ספירת פרמטרים כוללת לכל מאגר, ועבור ארבעת הצ'קפוינטים הבסיסיים של WeMM-Video הם גבוהים באופן עקבי בכ-1.2 עד 1.6 מיליארד מהגודל המצוין בשם.

• WeMM-Video-2B — 3.28B בסך הכול לעומת תווית "2B".

• WeMM-Video-4B — 5.61B בסך הכל לעומת תווית "4B".

• WeMM-Video-9B — 10.49B בסך הכול לעומת תווית של "9B".

• WeMM-Video-35BA3B — 36.18B בסך הכול לעומת תווית "35B-A3B", שבה רק שלושה מיליארד מהם פעילים לכל טוקן.

קריאת אינדקס ה-safetensors של ה-4B מבהירה את העודף. מבין 1,268 הטנסורים שלו, מודל השפה מכיל 4.21B פרמטרים, ערמת השמע מכילה 1.07B ומגדל הראייה מכיל 0.33B. כ-19 אחוזים מהצ'קפוינט הם אוזניים. המאמר מאשר שמוסכמת השמות מכוונת: שלושת המודלים הצפופים בנויים על Qwen3.5-2B, Qwen3.5-4B ו-Qwen3.5-9B, ומודל תערובת המומחים על Qwen3.6-35B-A3B.

זה חשוב לכל מי שמעריך את גודל הפריסה. מודל "4B" שדורש מקום ל-5.61B פרמטרים — 10.45 GiB ב-BF16 לפני כל KV cache או אקטיבציה — יושב במכונה אחרת מזו שמספר הכרטיס מרמז עליה.

שמונה־עשר מאגרים, תשע־עשרה דקות, בלי הכרזה

המשפחה לא נשרה החוצה בהדרגה. חותמות הזמן של יצירת הריפוזיטוריות ב-Hugging Face מציבות את כל שמונה-עשר הריפוזיטוריות — ארבעה גדלים כפול חמש רמות דיוק — בחלון שבין 08:53:50 ל-08:59:06 UTC ב-17 בנובמבר 2026, בהפרש של כארבעה-עשר שניות זו מזו, וזהו חתימה של סקריפט העלאה ולא של אדם שלוחץ על פרסום. הריפוזיטורי ב-GitHub Tencent/WeMM-Video נוצר ב-02:29:33 UTC באותו יום, כאשר הקומיט הראשוני המשמעותי שלו הגיע ב-19 בנובמבר ועדכוני ה-README נמשכו אל תוך 20 בנובמבר.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

המאמר פורסם לאחר מכן, ב-19 בנובמבר: arXiv 2611.26409, "WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding", שנים-עשר מחברים, הוגש בשעה 16:58 UTC. זהו דו״ח טכני מלא עם שבע טבלאות תוצאות וקישור ל-pipeline להערכה ולשחזור. כלומר, זה אינו שחרור לא מתועד — אלא שחרור מתועד שאיש לא הכריז עליו. לא הצלחנו למצוא פוסט בבלוג של Tencent, עמוד השקה של WeChat Vision, הודעה לעיתונות או מסלול בתשלום שמפנה למשפחת המודלים; כרטיסי המודל, ה-README ב-GitHub ומאמר ה-arXiv הם כל התיעוד הציבורי, והם נכתבו זה עבור זה.

נתוני ההתקבלות מספרים את אותו סיפור. בזמן כתיבת הדברים, כל אחד מארבעת הצ'קפוינטים הבסיסיים הראה אפס הורדות, ושמונה-עשר המאגרים שביניהם צברו שלוש לייקים. לא Artificial Analysis ולא LMArena מציינים מודל WeMM. כל זה אינו ראיה לאיכות — זוהי ראיה לתפוצה, וזו הסיבה שלצ'קפוינט 4B שמשיג ציון גבוה מ-30B במספר מבחני וידאו אין מספר עצמאי המצורף לו.

מה יש בתוך הצ'קפוינט?

אם מסירים את המסגור המשפחתי, ה-4B הוא מערך אומני סטנדרטי בעל שלושה מגדלים, עם בחירת עמוד שדרה חריגה אחת.

• מגדל שפה — 32 שכבות, גודל נסתר 2,560, 16 ראשי קשב מול 4 ראשי מפתח-ערך, ממד ראש 256, אוצר מילים 248,320. השלד היברידי: שכבת קשב מלא אחת בכל בלוק רביעי, כאשר שלוש האחרות משתמשות בקשב לינארי, ולכן כל מתכון הגשה במאגר נושא דגל מטמון SSM מסוג float32.

• מגדל חזותי — 24 בלוקים בגודל חבוי 1,024, גודל טלאי 16, מיזוג מרחבי 2, טלאי זמני 2, ומקרין ל־2,560. זהו המקודד המקורי של עמוד השדרה, שנשמר ולא הוחלף, והמאמר מקפיא אותו מהשלב השני של האימון המקדים ואילך מכיוון שהוא "כבר מספק ייצוגים חזותיים חזקים דיים."

• מגדל אודיו — בסגנון Whisper, 32 שכבות מקודד ו-32 שכבות מפענח ברוחב 1,280, עם Q-Former ברמת חלון שדוחס חלונות של 0.1 שנייה ל-10 אסימוני אודיו בשנייה. האודיו מגיע ב-16 kHz בנתחים של 30 שניות. זהו החלק שאותחל מ-Qwen2.5-Omni, וב-1.07B פרמטרים זהו הפער הגדול ביותר בין השם לקובץ.

• Fusion — טוקנים חזותיים ושמעיים משתלבים לסירוגין בסדר כרונולוגי עם חותמות זמן טקסטואליות מפורשות, במקום שייאספו לזרמים נפרדים.

• מצבים — מצב Instruct לתשובות ישירות ומצב Thinking שמפיק עקבות חשיבה לפני התגובה, מוחלפים ברמת תבנית הצ'אט באמצעות enable_thinking.

• רישיון — Apache 2.0 בכל האוסף, כאשר קובץ הרישיון של T​encent מחריג רכיבי צד שלישי ש"נותרים כפופים לתנאים המקוריים שלהם". ההחרגה אינה מפורטת בכרטיס המודל.

256K בקונפיגורציה, 8K בפקודת ההגשה

תצורת הטקסט מצהירה על max_position_embeddings של 262,144. כל פקודת שירות ש־Tencent מפרסמת — הן פרופילי vLLM והן פרופילי SGLang — מעבירה max-model-len 8192 או context-length 8192. הנתון 256K הוא מרווח אדריכלי, לא תצורה נתמכת, ושום דבר במאגר לא מסביר כיצד להגיע אליו.

לתקציב הפריימים יש אותה צורה. ברירות המחדל של המעבד עצמו נדיבות: 2 פריימים לשנייה, עד 128 פריימים, 25,165,824 פיקסלים בסך הכול. המתכון של vLLM דורס את שלושתם כלפי מטה — fps 2, max_frames 16, total_pixels 262144. שש-עשרה פריימים הם מה שמקבלים כשמעתיקים את הפקודה. קליפ שנדגם ב-16 פריימים הוא קלט שונה מקליפ שנדגם ב-128, והמאמר אינו מציין באיזו דגימה השתמשו בהערכות הווידאו שלו.

• מגבלות מדיה לכל בקשה, כפי שנמסרו — ארבע תמונות, שני סרטונים, שני פריטי שמע.

• הקשר, כפי שנשלח — 8,192 טוקנים, כאשר האודיו צורך 10 טוקנים לשנייה לפני ספירת פריימים של וידאו.

עבור מודל 4B, שני המספרים האלה הם האילוץ המכריע בעבודה אמיתית. שמונת אלפים טוקנים הם כשלוש עשרה דקות של אודיו ולא דבר אחר; סרטון עם פס קול מוציא את התקציב על שני הזרמים בבת אחת. בנצ'מרקים לווידאו ארוך שלהלן הורצו בתנאים שהמאגר אינו מתאר.

הבנצ'מרקים הם של המחברים עצמם

כל מספר במאמר הזה מגיע מהדוח הטכני של WeMM-Video. המאמר אומר זאת במפורש — "עבור מודלים קיימים, אנו מדווחים על תוצאות רשמיות כאשר הן זמינות, ואחרת על ההערכות שלנו" — ואף צד שלישי לא שחזר אף חלק ממנו. המוד גם משתנה בין טבלאות, וזה חשוב יותר מכפי שזה בדרך כלל היה, כי מצב Thinking אינו בחינם: טבלאות הווידאו מדווחות על Thinking עבור 2B, 4B ו-9B, טבלת האודיו מדווחת על Instruct מכיוון שהמחברים שפטו שמבחני אודיו סטנדרטיים הם משימות "תפיסתיות ישירות", וטבלאות התמונה והטקסט חוזרות ל-Thinking. השוואת שורה של 4B בטבלת האודיו מול שורה מתחרה בטבלת הווידאו אינה השוואה.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

עם ההסתייגות הזו, טבלת הווידאו האומני־מודלית היא המקום שבו ה־4B מצדיק את גודל הקובץ שלו.

איפה ה-4B מנצח את ה-30B

טבלה 2 במאמר מעמידה את WeMM-Video-4B מול Qwen3-Omni-30B-A3B-Instruct ו-MiniCPM-o-4.5-9B במבחני בנצ'מרק משותפים לאודיו-ויזואלי, כולם במצב Thinking. ה-4B מנצח ברובם, מול מודל שגדול ממנו פי שבעה.

• Video-MME עם אודיו — WeMM-Video-4B 83.9, Qwen3-Omni-30B-A3B-Instruct 77.3, MiniCPM-o-4.5-9B 69.2.

• Video-MME v2 עם אודיו — 48.1 לעומת 36.3 ו-28.1, הפער הרחב ביותר בטבלה.

• Daily-Omni — 82.5 לעומת 70.7 ו-80.2.

• WorldSense — 60.3 לעומת 54.0 ו-55.7.

• OmniVideoBench — 49.7 לעומת 45.4 ו-37.2.

טבלת הווידאו השקט חזקה אף יותר, והיא זו שצריכה להכריע ברכישה. בהסרת פס הקול ובדיקת הראייה בלבד: Video-MME 75.7 לעומת 70.5 ו-70.4, LVBench 65.3 לעומת 50.2 ו-50.9, LongVideoBench 74.8 לעומת 63.5 ו-66.0, EgoSchema 74.2 לעומת 66.4 ו-60.4. יתרון של 15 נקודות ב-LVBench ב-4B אינו תוצר של עיגול; הבנת וידאו ארוך היא בדיוק המקום שבו מודלי omni קטנים נשברו היסטורית.

שורות התמונה והטקסט תחרותיות ולא דומיננטיות. MMMU 78.4 לעומת 76.9 של Qwen3.5-Omni-Flash, ‏MathVista 85.2 לעומת 82.9, ‏DocVQA 96.5 לעומת 95.3, ‏IFEval 91.3 לעומת 85.2. אלו השורות שסביר ביותר שקורא יזדקק להן בפועל, והן מחזיקות מעמד.

איפה זה מפסיד, ולמה

ההפסדים ספציפיים וראויים להיקרא בשמם, כי טבלה שמציגה רק את הניצחונות היא בדיוק הדבר שהבלוג הזה קיים כדי להימנע ממנו.

• שמע, מול מודל פלאש קנייני — ‏Qwen3.5-Omni-Flash משיג 80.4 ב-MMAU ו-74.0 ב-MMAR לעומת 75.2 ו-67.3 של WeMM-Video-4B. הניצחון היחיד של ה-4B בתחום השמע הוא ב-MMAU-Pro עם 68.1 לעומת 64.8.

• וידאו, בפינות — Video-Holmes 58.8 לעומת 64.3 של MiniCPM-o-4.5-9B, ו-FutureOmni 50.9 לעומת 55.1 של Qwen3-Omni-30B-A3B-Instruct ו-56.1 של MiniCPM. שני מבחנים שבהם מתחרה קטן או ישן יותר מנצח באופן מוחלט.

• תמונה וטקסט — MMMU-Pro 64.7 לעומת 68.2, OCRBench 85.7 לעומת 89.1, GPQA 73.2 לעומת 76.4, MMLU-Pro 78.3 לעומת 79.9. בין נקודה אחת לשש נקודות מאחורי מודל קנייני המיועד להגשה, וזה עבור צ'ק-פוינט של 5.61B מקום מכובד להיות בו מאחור.

הקריאה היא ש-WeMM-Video-4B כוונן לווידאו אודיו-חזותי משותף ושמר על מעמדו בכל מקום אחר. אם התפקיד שלך הוא לתאר מה קורה בקליפ ולסכם מה נאמר לאורכו, המספרים טובים. אם התפקיד שלך הוא OCR צפוף או הסקת מסקנות מטקסט ברמת תואר שני, אותו צ'קפוינט הוא פשרה.

להריץ אותו משמעו להחיל טלאי על סביבת ההרצה שלך עצמה.

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

לא vLLM ולא SGLang תומכים בארכיטקטורה הזו במעלה הזרם. חיפוש במעקב הגרסאות (issue tracker) של vLLM אינו מעלה כל בקשה עבור WeMM-Video, ובמקום זאת המאגר מספק ספריית patch: שכבות מקור (source overlays) עם מניפסטים של SHA-256 עבור ארבע מהדורות מדויקות במעלה הזרם — vLLM 0.18.0 ו-0.31.0, SGLang 0.5.16 ו-0.5.19 — שכל אחת מהן מוצמדת לשילוב ספציפי של PyTorch, Transformers ו-CUDA 12.9, כאשר נדרשים Python 3.12 ו-FFmpeg, ו-TorchCodec זקוק ל-CUDA 12 NPP בנתיב המקשר (linker path). בנוסף, SGLang מקמפל קרנלים של CUDA בשימוש הראשון, כך ששרשרת כלים של C++ ו-Ninja מהוות חלק מההתקנה.

גם נתיב ה-GGUF אינו קיצור דרך. זוהי חבילה של שלושה קבצים — קובץ שפה של 4.90 GiB, מקרן חזותי של 0.63 GiB וקובץ אודיו של 2.00 GiB — שנבנתה עבור "WeMM native runtime" שאותו מהדרים מהמאגר, ולא עבור llama.cpp או Ollama. המניפסט של Tencent עצמו מתייג את הייצוא exported_unvalidated, וקובץ ההיקף הנלווה אומר quantized_candidate_not_validated. זהו תיוג גלוי לב באופן חריג ויש לקרוא אותו כפשוטו: חבילת Q4_K_M מוצעת, לא מובטחת.

מה ש-Tencent כן טוענת כמאומת הוא צר: vLLM המתוקן טען את ה-checkpoint על H20 והשלים בדיקות יצירה עבור טקסט, תמונה, אודיו ווידאו עם פס קול, וה-checkpoint המקומי עבר טעינה ישירה ב-Transformers וכן בדיקת יצירת טקסט ב-CPU. אין נתוני תפוקה, אין נתוני השהיה, אין נתוני צריכת זיכרון ואין נתוני מקביליות. עבור מודל שנקודת המכירה שלו היא וידאו, ״הוא ייצר״ הוא הרף המינימלי של מה שנדרש לשם החלטת פריסה.

OrcaRouter אינו מגיש את WeMM-Video-4B. הקטלוג שלו אינו כולל כלל צ'קפוינט של WeMM, כך שאין מחיר אירוח לצטט ואין נקודת קצה להפנות אליה; נכון להיום זו מטלת אירוח עצמי עם טלאי שמוחל על מנוע ההסקה של מישהו אחר. עבור החצי החזותי בלבד של העבודה יש חלופות פתוחות בפלטפורמה — Qwen3-VL-235B-A22B-Thinking ו-Qwen3-VL-8B-Thinking שתיהן מקבלות תמונות ופריימים של וידאו — נגישות דרך מפתח אחד תואם OpenAI, ללא מקבילה של WeMM לחצי האודיו. אם מארח תואם יתחיל להגיש את המשקולות האלה, מחיר המחירון של הספק יעבור הלאה בתוספת 0%, אבל זה תנאי, לא עובדה נוכחית.

מה עדיין לא אושר?

ארבעה דברים שקונה היה מקבל בדרך כלל מהשקה ולא יכול לקבל כאן.

• מחיר. אין כזה. אין נקודת קצה מתארחת, אין תעריף לפי טוקן, אין רשימת שותפים. העלות היחידה היא ה-GPU שכבר יש לך.

• הערכה עצמאית. אין רשומה ב-Artificial Analysis, אין הגשה ל-arena, אין שחזור על ידי צד שלישי. צינור ההערכה פומבי, שזה הדבר הטוב הבא וזה לא אותו הדבר.

• תנאי הערכה. מספרי הפריימים, תקציבי הפיקסלים ואורכי ההקשר ששימשו להרצות הבנצ'מרק אינם מצוינים במאמר, והמתכון המסופק משתמש ב־16 פריימים בעוד שברירת המחדל של המעבד היא 128.

• החריגה לרישיון צד שלישי. Tencent מציינת שרכיבים בתוך האוסף נשארים בתנאים המקוריים שלהם אך אינה מפרטת אותם. מערך השמע נובע מ-Qwen2.5-Omni ועמוד השדרה מ-Qwen3.5, שניהם ברישיון Apache 2.0, דבר שמעודד ולא מכריע.

דבר מזה אינו סיבה לפסול את השחרור. זה סיבה להתייחס למשפחה כפי שהיא בבירור: שמונה־עשרה מאגרי קוד ודו״ח טכני שהועלו לרשת בחלון של תשע־עשרה דקות, כששלב ההכרזה דולג. התיעוד טוב יותר מזה של רוב ההשקות המוכרזות. התפוצה היא אפס.

עבור צוות שזקוק להבנה משותפת של אודיו ווידאו על חומרה שבשליטתו, WeMM-Video-4B הוא ה-checkpoint הקטן המעניין ביותר שפורסם החודש, ומספרי הווידאו מצדיקים את מאמץ ההטלאה. עבור כל מי שזקוק ל-endpoint עד יום שישי, התשובה הכנה היא שזה עדיין לא כזה — המשקלים קיימים, ה-runtime הוא שכבת-על של קוד מקור, והבנצ'מרקים היחידים הם של המחברים. שימו לב לשחזור העצמאי הראשון, למיזוג upstream של vLLM, או למחיר של שירות מתארח. מה שיגיע ראשון יגיד לכם יותר מאשר עוד שורה בטבלה 2.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה