כרטיס כותרת שנוצר עם הכיתוב 'Hy4 flash vision: שני צ'קפוינטים, שני מספרים', המציג שני כרטיסים זה לצד זה: 74.8 עבור מודל Hy4 flash instruct על פרוסת MMMU-Pro בת 300 פריטים מ-SGLang PR 51937, ו-52.0 עבור צ'קפוינט הבסיס Hy4 flash בכרטיס המודל של Tencent, מופרדים על ידי מפריד 'לא רווח'.
Guides & Insights

Hy4 flash Vision: 74.8 ב-MMMU-Pro, ומדוע 52.0 עדיין עומד

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

ב-20 בנובמבר 2026, בקשת משיכה פתוחה ב-SGLang הציעה תמיכה בראייה-שפה עבור Hunyuan-4-Flash — השם שבו מכנה המסגרת את Hy4 flash, המודל בעל 220 מיליארד פרמטרים ש-Tencent העלתה ל-API שלה ב-16 בנובמבר ופתחה כמשקולות יום לאחר מכן. קבור בתיאור ה-PR, תחת כותרת בשם "דיוק / בדיקות", נמצא מספר ה-MMMU-Pro הראשון שמישהו פרסם עבור גרסת instruct של המודל: 74.78%, בממוצע על פני שלוש הרצות על 300 הדוגמאות הראשונות. כרטיס המודל של Tencent עצמה מדווח על 52.0 ב-MMMU-Pro עבור Hy4 flash. שני הנתונים רחוקים זה מזה ב-22.8 נקודות ואין לגרוע אחד מהשני, משום שהם אינם מתארים את אותו הדבר. להבין מה כל אחד מהם כן מתאר זה רוב מה שקורא צריך לפני שיחליט אם Tencent Hy4 נשאר המודל שאליו פונים כשמדובר בתמונה.

מה שה-pull request למעשה מכיל

ה-PR הוא אחד משלושה שמפצלים שינוי כולל קודם, והוא מונח במפורש על גבי זה של מודל הטקסט. נכון ל-21 בנובמבר הוא פתוח, לא מוזג, מכיל קומיט יחיד על פני שמונה קבצים (+1,883 / −13), וכל שלושת חריצי ה-CI מציגים "Skipped — add the run-ci label". לא הושלמה סקירה של בעל קוד. תמיכת הטקסט שעליה הוא נשען גם היא עדיין פתוחה. לכן דבר מכאן לא יצא בבנייה משוחררת של SGLang; הערך ב-cookbook עבור Hy4 flash עדיין מתאר הגשת טקסט בלבד ואומר במפורש שהתמיכה "עדיין לא נמצאת ב-wheel משוחרר של SGLang".

מה שה-diff עושה הוא לחבר את מגדל הראייה לנתיב ההגשה מקצה לקצה. החלקים החשובים:

• ה-ViT והמקרן שלו מפוצלים על פני מקביליות טנסורית של attention, כך שמגדל התמונה אינו צוואר בקבוק בדרג בודד בצומת עם מספר GPUs.

• קידוד מיקום רב-מודלי הוא MRoPE משתלב — מיקומים לכל משבצת (t,‏ h,‏ w) — המועברים גם אל שכבות הקשב וגם אל ה-rope של IndexPool שבאמצעותו שכבות ה-sparse בוחרות הקשר, וזה החלק שהיה נשבר בשקט אילו רק המסלול ה-dense היה מומר.

• מלמדים את גיבוב ה-Engram לשחזר מזהי טוקן של תמונות ווידאו שנמצאים תחת ערכי ריפוד ולדלג על גיבובם, כך שטבלאות הזיכרון של n-gram לא צורכות טוקני מדיה כאילו היו טקסט.

• דגל language_model_only מאפשר לאותו מנוע לשרת את מודל הטקסט בלי להקים את הנתיב הרב-מודלי בכלל.

הפרט האחרון הזה הוא הסיכום הכנה של היכן הדברים עומדים: הקוד נכתב כך שיכולת הראייה תהיה אופציונלית, כי ברוב הפריסות של מודל עם 12B פרמטרים פעילים היא אכן תהיה כזו.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

למה 74.8 זה לא קפיצה של 22 נקודות

שלושה דברים מפרידים בין הנתון של יחסי הציבור לבין זה של הכרטיס, וכל אחד מהם מזיז את המספר בכיוון מחמיא.

The first is the checkpoint. T​encent's card reports multimodal scores for base models only, and says so in as many words: "Multimodal results are reported only for Hy4 flash Base and Hy4 Base." Hy4 flash Base scores 52.0 on MMMU-Pro (Standard, 10 options, 4-shot); the larger Hy4 Base scores 59.6. The instruct checkpoints — the ones anyone actually deploys — have no published multimodal score at all. The PR measures the instruct model, so it is filling a genuine gap rather than beating a number it was compared against.

השנייה היא האליציטציה. ה-PR רץ בטמפרטורה 0.9 ו-top-p 1.0 עם reasoning_effort=high ותקציב השלמה של 32,768 טוקנים. הערכת הבסיס של Tencent היא 4-shot, ללא שרשרת חשיבה. במשימת בחירה מרובה עם עשר אפשרויות, מודל instruct שמותר לו לנמק לפני שהוא עונה יגבר על מודל בסיס 4-shot כמעט מעצם המבנה; הפער הזה הוא ה-post-training, לא שיפור בראייה. התייחס ל-74.8 כ"מודל ה-instruct, כשנשאל כראוי" ול-52.0 כ"מודל הבסיס, כשנשאל בדרך הסטנדרטית". אלו שתי מדידות שונות של שני ארטיפקטים שונים.

השלישי הוא תת-הקבוצה. ה-PR מעריך את 300 הדוגמאות הראשונות, לא את הקבוצה המלאה, ואינו אומר כיצד נדגמו אותן 300. ב-300 פריטים ובפרופורציה קרובה ל-0.75, שגיאת התקן של הדגימה לבדה היא כ-2.5 נקודות, ולכן רווח של 95% סביב הנתון הבודד הזה הוא בקירוב ±5 נקודות לפני כל השפעה של סדר השאלות. שלוש הריצות של ה-PR עצמו הניבו 74.33, 75.33 ו-74.67 — פער של נקודה אחת, שהוא צר יותר משגיאת הדגימה, וכדאי לדעת זאת: שונות בין ריצות על תת-קבוצה קבועה ממעיטה בכמה המספר היה משתנה עם 300 שאלות אחרות. תצורה שנייה באותו PR, הסטאק המלא עם קוד הפענוח הספקולטיבי אך ללא ספקולציה, מגיעה לממוצע של 74.00 על אותה תת-קבוצה ומציגה פער של 5.3 נקודות בין שלוש הריצות שלה. אף אחד מהנתונים אינו שגוי. אף אחד מהם אינו תוצאת בנצ'מרק במובן הדרוש להחלטת רכש.

מה שה-PR כן מבסס, והחלק הזה מוצק, הוא שהצינור מחווט כראוי ולא רק מתקמפל. GSM8K על 200 פריטים משיג 97.00% עם מגדל הראייה טעון — בטווח נקודה אחת ממה שדיווח הענף הטקסטואלי בלבד, כך שהנתיב הרב-מודלי אינו מדרדר את ראש השפה. פרומפטים סינתטיים של תמונות שכיסו צורות וצבעים, OCR, תרשים עמודות וספירת קווים נענו נכון. זהו מבחן עשן שעבר, וזו הטענה הנכונה להשמיע על PR: הקוד עובד. מספר הדיוק הוא תופעת לוואי של הרצתו.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

הטוקנים של וידאו שאינם אומרים וידאו

כותרת ה-PR אומרת קלט תמונה ווידאו, ה-diff מכיל video_start_token_id, video_end_token_id ו-video_token_id, ואחד מהמעבדים שהשתנו מטפל בדגימת פריימים של וידאו. יהיה קל לסווג את Hy4 flash כמודל וידאו על בסיס זה. אל תעשו זאת. אותו diff מכיל מנגנון הגנה מפורש — "HYV4 vision does not support video token compression" — כאשר גם דגלי הדחיסה המרחבית והזמנית מוגדרים ל-false. כרטיס הספק מעולם לא טוען לווידאו: הוא אומר שהמודל "natively accepts text and image inputs, generates text". ומתכון ה-vLLM שכבר משרת את המודל מגדיר --limit-mm-per-prompt '{"image":1,"video":0}', תמונה אחת וללא וידאו לכל פרומפט.

אז קבועי הווידאו הם צנרת של מסלול שסגור בשני קצותיו: ה-framework מזהה את מזהי הטוקנים כדי שלא ייחנק מהם, ומשבית את הדחיסה שהטמעת וידאו אמיתית הייתה זקוקה לה. כל מי שקורא "קלט תמונה ווידאו" בסיכום PR ומתכנן צינור וידאו סביב מודל open-weight של 220B קורא מפת דרכים, לא יכולת.

מה שאתה יכול להריץ בפועל היום

התמונה שונה בהתאם לסביבת ההרצה, וזו המסקנה המעשית.

• vLLM — כבר משרת את נתיב הראייה. המתכון שפורסם מציין את המחלקה HYV4FlashVLForConditionalGeneration ומאפשר כברירת מחדל תמונה אחת לכל פרומפט. זהו המסלול שקיים כעת.

• SGLang — הגשת טקסט קיימת דרך image ‏lmsysorg/sglang:hy4-flash, ולעמוד ה-cookbook שלו אין שום אזכור של vision, image או מולטימודאליות בשום מקום. Vision הוא ה-PR הפתוח שלמעלה; הוא יהפוך לזמין כאשר ה-stack ימוזג ו-wheel יופץ, ולא לפני כן.

• ה-API של Tencent עצמו — קלט תמונות היה חלק מתיאור ההשקה, והקטלוג שלנו מציג את tencent/hy4-flash כטקסט+תמונה→טקסט עם חלון הקשר של 1,048,576 טוקנים, 65,536 טוקני פלט ו-$0.0175 למיליון קלט לעומת $0.07025 למיליון פלט. אלו ערכי קטלוג שנקראו היום, לא ציטוט מחדש של כרטיס ה-RMB משבוע ההשקה, והשניים אינם תואמים — התעריפים ביבשת ממירים לכפי ארבעה בערך ממחיר הקלט. לא שלחנו קריאת תמונה כדי לאמת את חלק הראייה עבור הכתבה הזו, והאי-התאמה בין שתי מסגרות ההגשה היא סיבה טובה לבדוק זאת בעצמך לפני שתהיה תלוי בזה.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

הסיבה לבדוק ולא להניח היא שמודל יכול להיות מפורסם כמולטימודלי, להיות מולטימודלי במשקולות שלו, ובכל זאת להיות טקסט-בלבד בנקודת הקצה שאתה במקרה קורא לה. זה בדיוק המצב שבו Hy4 flash נמצא כבר חמישה ימים: מקודד הראייה נשלח יחד עם הצ'קפוינטים, ומערכות ההגשה מדביקות את הפער PR אחד בכל פעם.

לאן זה משאיר את הבחירה

אם אתם זקוקים היום להבנת תמונות מקו ה-Hunyuan, ואתם צריכים שזו תהיה שאלה מוכרעת ולא פרויקט אינטגרציה, התשובה היא עדיין Tencent Hy4. היא הפכה לזמינה באופן כללי ב-4 בנובמבר, עם ראייה ממוחשבת ושימוש במחשב כיכולות דגל, וההתנהגות המתועדת שלה כוללת קריאת תרשימים ודיאגרמות עדינים, ולא את הסידור של תמונה אחת לכל פרומפט שברירת המחדל של מתכון ה-flash מכתיבה. היא גם יקרה פי כמה: $0.834 לקלט ו-$2.501 לפלט למיליון באותו קטלוג. Hy4 flash במחיר $0.0175 הוא מודל בתמחור סחורתי עם נתיב ראייה אמיתי אך כזה שחובר רק לאחרונה.

כלל ההחלטה שלהלן אינו זוהר. נתבו עבודות טקסט ומסמכים ל-Hy4 flash כעת. נתבו עבודות תמונה ל-Tencent Hy4 עד ש-T​encent תפרסם ציוני מולטימודל של instruct-model או שמחסנית SGLang תתמזג ותתאפשר בדיקת wheel ששוחרר — המוקדם מביניהם, ונכון ל-21 בנובמבר אף אחד מהם לא קרה. אין סיבה לבחור באחד ולזנוח את האחר: שניהם על מפתח אחד כאן, מחירי המחירון של הספק מועברים הלאה בתוספת 0%, וכלל ניתוב יכול לשלוח בקשות עם תמונות למודל הדגל בעוד הטקסט הולך למודל הזול בלי חוזה שני או שינוי קוד. מעבר אוטומטי לגיבוי מכסה את המקרה שבו מסלול הראייה החדש יותר מתגלה כזה שנשבר תחת תמונות אמיתיות.

מה לראות בהמשך

שלושה דברים היו משנים את היצירה הזו, וכל אחד מהם ניתן לבדיקה.

מיזוג הסטאק. ה-PR של הראייה יושב על גבי PR של טקסט שהוא עצמו לא מוזג; שניהם זקוקים לסקירה, ו-CI לא רץ על אף אחד מהם. עד ש-wheel יופץ, אף משתמש SGLang לא יוכל להגיש תמונות Hy4 flash, בלי קשר למה שה-diff אומר.

T​encent מפרסמת נתונים מולטימודליים עבור מודל instruct. טבלת המולטימודל של הכרטיס מכסה רק צ'קפוינטים בסיסיים, וזו השמטה לא שגרתית להשקה שהובילה עם מולטימודליות. שורת MMMU-Pro על סט מלא עבור Hy4 flash instruct, שתופעל על ידי T​encent או על ידי מעריך בלתי תלוי, תחליף כל אומדן במאמר הזה במדידה.

Artificial Analysis מוסיפה את המודל. נכון ל-21 בנובמבר אין רשומה של Hy4 flash בלוח הדירוגים — כתובת ה-URL של המודל מחזירה 404 — ולכן אין אינדקס, מהירות או ציון מנורמל לפי מחיר של צד שלישי שכנגדם אפשר לבדוק את כל זה. הסיקור בשבוע ההשקה של המודל נשען על חבילת WorkIndex של Tencent עצמה ועל מבחן עיוור פנימי בהשתתפות 85 אנשים; אף אחד מהם אינו נוגע ביכולות ראייה.

עד שאחד מאלה יגיע, 74.8 שייך למשפט עם המסייגים שלו מחוברים אליו: צ'ק-פוינט instruct, 300 פריטים, מאמץ חשיבה גבוה, שלוש הרצות, בדיקה מדגמית של מחבר framework אחד על PR שטרם עבר סקירה. זהו המספר הטוב ביותר שקיים עבור צד הראייה של Hy4 flash. זהו רף נמוך מכפי שזה נשמע, והקריאה הישרה היא שהראייה של המודל מיושמת כעת באופן מוכח ועדיין ברובה אינה נמדדת.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה