Une carte de titre générée indiquant « Hy4 flash vision : deux checkpoints, deux chiffres », montrant deux cartes côte à côte : 74,8 pour le modèle Hy4 flash instruct sur un échantillon MMMU-Pro de 300 éléments issu de la PR SGLang 51937, et 52,0 pour le checkpoint de base Hy4 flash sur la fiche modèle de Tencent, séparées par un séparateur « pas un gain ».
Guides & Insights

Hy4 flash Vision : 74,8 MMMU-Pro, et pourquoi 52,0 tient toujours

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le 20 novembre 2026, une pull request ouverte contre SGLang proposait une prise en charge vision-langage pour Hunyuan-4-Flash — le nom que le framework donne à Hy4 flash, le modèle de 220 milliards de paramètres que T​encent a mis sur son API le 16 novembre et dont il a publié les poids un jour plus tard. Enfoui dans la description de la PR, sous un intitulé « Accuracy / Tests », se trouve le premier score MMMU-Pro que quiconque ait publié pour une version instruct du modèle : 74,78 %, en moyenne sur trois exécutions portant sur les 300 premiers exemples. La propre fiche modèle de T​encent indique 52,0 sur MMMU-Pro pour Hy4 flash. Les deux chiffres diffèrent de 22,8 points et ne doivent pas être soustraits l’un de l’autre, car ils ne décrivent pas la même chose. Déterminer ce que chacun décrit réellement constitue l’essentiel de ce dont un lecteur a besoin avant de décider si T​encent Hy4 reste le modèle à appeler lorsqu’une image est en jeu.

Ce que contient réellement la pull request

Cette PR est l’une des trois issues de la scission d’une modification omnibus antérieure, et elle est explicitement empilée par-dessus celle du modèle texte. Au 21 novembre, elle est ouverte, non fusionnée, comporte un seul commit sur huit fichiers (+1 883 / −13), et les trois emplacements CI affichent « Skipped — add the run-ci label ». Aucune revue de code-owner n’a été effectuée. Le support texte sur lequel elle s’appuie est lui aussi toujours ouvert. Rien de tout cela n’a donc été livré dans une version publiée de SGLang ; l’entrée du cookbook pour Hy4 flash ne décrit encore que le service texte et indique sans détour que le support « is not in a released SGLang wheel yet ».

Ce que fait le diff, c’est câbler la tour de vision dans le chemin de service de bout en bout. Les éléments qui comptent :

• Le ViT et son projecteur sont fragmentés selon le parallélisme de tenseur des attentions, de sorte que la tour d'images ne constitue pas un goulot d'étranglement sur un seul rang au sein d'un nœud multi-GPU.

• L’encodage de position multimodal est un MRoPE entrelacé — positions (t, h, w) par emplacement — propagé à la fois dans les couches d’attention et dans le rope d’IndexPool que les couches éparses utilisent pour sélectionner le contexte, ce qui est la partie qui casserait silencieusement si seul le chemin dense était converti.

• Le hachage Engram est entraîné à restaurer les identifiants de tokens d'images et de vidéos qui se trouvent sous des valeurs de remplissage et à éviter de les hacher, afin que les tables de mémoire de n-grammes ne consomment pas les tokens multimédias comme s'il s'agissait de texte.

• Un indicateur language_model_only permet au même moteur de servir le modèle texte sans du tout instancier le chemin multimodal.

Ce dernier détail résume honnêtement la situation : le code est écrit de sorte que la vision soit optionnelle, car pour la plupart des déploiements d’un modèle à 12B actifs, elle le sera.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Pourquoi 74,8 ne représente pas une hausse de 22 points

Trois éléments séparent le chiffre des relations publiques de celui de la carte, et chacun fait bouger le nombre dans le sens flatteur.

Le premier point est le checkpoint. La fiche de Tencent ne rapporte des scores multimodaux que pour les base modèles, et le dit en ces termes : « Les résultats multimodaux ne sont rapportés que pour Hy4 flash Base et Hy4 Base. » Hy4 flash Base obtient 52,0 sur MMMU-Pro (Standard, 10 options, 4-shot) ; le plus grand Hy4 Base obtient 59,6. Les checkpoints instruct — ceux que tout le monde déploie réellement — n'ont aucun score multimodal publié. La PR mesure le modèle instruct, elle comble donc une véritable lacune plutôt que de battre un chiffre auquel il était comparé.

Le second est l’élicitation. Le PR tourne à une température de 0,9 et top-p 1,0 avec reasoning_effort=high et un budget de complétion de 32 768 jetons. L’évaluation de base de T​encent est en 4-shot, sans chaîne de pensée. Sur une tâche à choix multiples à dix options, un modèle instruct autorisé à raisonner avant de répondre battra presque par construction un modèle de base en 4-shot ; cet écart relève du post-entraînement, pas d’une amélioration de la vision. Considérez 74,8 comme « le modèle instruct, interrogé correctement » et 52,0 comme « le modèle de base, interrogé de manière standard ». Ce sont deux mesures différentes de deux artefacts différents.

Le troisième est le sous-ensemble. La PR évalue les 300 premiers exemples, pas l'ensemble complet, et ne dit pas comment ces 300 ont été sélectionnés. Avec 300 éléments et une proportion proche de 0,75, l'erreur type d'échantillonnage à elle seule est d'environ 2,5 points, si bien qu'un intervalle à 95 % sur ce chiffre unique est d'environ ±5 points avant tout effet d'ordre des questions. Les trois exécutions de la PR elle-même ont donné 74,33, 75,33 et 74,67 — un écart d'un point, qui est plus étroit que l'erreur d'échantillonnage, et cela vaut la peine de le savoir : la variance d'une exécution à l'autre sur un sous-ensemble fixe sous-estime de combien le chiffre varierait sur 300 autres questions. Une seconde configuration dans la même PR, la pile complète avec le code de décodage spéculatif mais sans spéculation, obtient une moyenne de 74,00 sur le même sous-ensemble et présente un écart de 5,3 points entre ses trois exécutions. Aucun des deux chiffres n'est faux. Aucun n'est non plus un résultat de benchmark au sens où une décision d'achat en aurait besoin.

Ce que la PR établit, et cette partie est solide, c’est que le pipeline est correctement câblé plutôt que simplement compilé. GSM8K sur 200 éléments obtient 97,00 % avec la tour de vision chargée — à un point de ce que rapportait la branche texte seule, donc le chemin multimodal ne dégrade pas la tête linguistique. Des invites d’image synthétiques couvrant des formes et des couleurs, l’OCR, un diagramme en barres et un décompte de lignes ont reçu des réponses correctes. C’est un test de fumée qui a réussi, et c’est la bonne affirmation à faire à propos d’une PR : le code fonctionne. Le chiffre de précision est un effet secondaire de son exécution.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Les jetons vidéo qui ne signifient pas vidéo

Le titre de la PR mentionne l’entrée d’images et de vidéos, le diff contient video_start_token_id, video_end_token_id et video_token_id, et l’un des processeurs modifiés gère l’échantillonnage des trames vidéo. Il serait facile de classer Hy4 flash comme modèle vidéo sur cette base. Ne le faites pas. Le même diff contient une garde explicite — « HYV4 vision does not support video token compression » — avec les indicateurs de compression spatiale et temporelle tous deux définis à false. La fiche du fournisseur ne revendique jamais la vidéo : elle indique que le modèle « accepte nativement les entrées texte et image, génère du texte ». Et la recette vLLM qui sert déjà le modèle définit --limit-mm-per-prompt '{"image":1,"video":0}', soit une image et aucune vidéo par prompt.

Donc les constantes vidéo constituent la plomberie d’un chemin fermé aux deux extrémités : le framework reconnaît les identifiants de tokens pour ne pas buter dessus, et désactive la compression dont une véritable implémentation vidéo aurait besoin. Quiconque lit « image and video input » dans un résumé de PR et prévoit un pipeline vidéo autour d’un modèle open-weight de 220B lit une feuille de route, pas une capacité.

Ce que vous pouvez réellement exécuter aujourd'hui

The picture differs by runtime, which is the practical takeaway.

• vLLM — assure déjà le traitement du chemin vision. La recette publiée nomme la classe HYV4FlashVLForConditionalGeneration et autorise par défaut une seule image par prompt. C'est la route qui existe actuellement.

• SGLang — le service de texte existe via l'image lmsysorg/sglang:hy4-flash, et la page du cookbook qui lui est consacrée ne mentionne nulle part la vision, l'image ou le multimodal. La vision correspond à la PR ouverte ci-dessus ; elle ne sera disponible qu'une fois la stack fusionnée et une wheel publiée, et pas avant.

• L'API propre à Tencent — l'entrée d'images faisait partie de la description du lancement, et notre propre catalogue répertorie tencent/hy4-flash comme texte+image→texte avec un contexte de 1 048 576 jetons, 65 536 jetons de sortie et 0,0175 $ par million de jetons d'entrée contre 0,07025 $ par million de jetons de sortie. Ce sont des valeurs de catalogue consultées aujourd'hui, et non une nouvelle citation de la grille tarifaire en RMB de la semaine du lancement, et les deux ne concordent pas — les tarifs de la Chine continentale correspondent à environ quatre fois le prix d'entrée. Nous n'avons pas envoyé d'appel avec image pour vérifier le volet vision pour cet article, et le désaccord entre les deux frameworks de service est une bonne raison de le tester vous-même avant de vous y fier.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

La raison de tester plutôt que de présumer est qu’un modèle peut être annoncé comme multimodal, être multimodal dans ses poids, et rester uniquement textuel sur le point de terminaison que vous appelez. C’est exactement l’état dans lequel se trouve Hy4 flash depuis cinq jours : l’encodeur visuel a été livré avec les checkpoints, et les piles de service rattrapent leur retard une PR à la fois.

Où cela laisse le choix

Si vous avez besoin dès aujourd’hui de compréhension d’images de la gamme Hunyuan et que vous voulez une réponse tranchée plutôt qu’un projet d’intégration, la réponse reste Tencent Hy4. Il est passé en disponibilité générale le 4 novembre, avec la vision et l’utilisation d’ordinateur comme capacités phares, et son comportement documenté inclut la lecture de graphiques et de diagrammes détaillés plutôt que la configuration à une seule image par requête à laquelle la recette flash est configurée par défaut. Il coûte aussi plusieurs fois le prix : 0,834 $ en entrée et 2,501 $ en sortie par million, sur le même catalogue. Hy4 flash à 0,0175 $ est un modèle au prix d’un produit de base, avec une capacité de vision bien réelle mais tout récemment raccordée.

La règle de décision qui suit manque de panache. Acheminez dès maintenant le travail de texte et de documents vers Hy4 flash. Acheminez le travail d’image vers Tencent Hy4 jusqu’à ce que Tencent publie les scores multimodaux du modèle instruct ou que la pile SGLang soit fusionnée et qu’une wheel publiée puisse être testée — selon ce qui arrive en premier, et aucune des deux ne s’est produite au 21 novembre. Il n’y a aucune raison d’en choisir une et d’abandonner l’autre : les deux sont sur une seule clé ici, les prix catalogue du fournisseur sont répercutés avec 0 % de marge, et une règle de routage peut envoyer les requêtes contenant des images vers le modèle phare tandis que le texte va au modèle bon marché, sans second contrat ni modification de code. Le basculement automatique couvre le cas où le chemin de vision plus récent s’avère être celui qui défaille face à de vraies images.

Que regarder ensuite

Trois choses changeraient ce texte, et chacune est vérifiable.

La fusion de la pile. La PR vision repose sur une PR texte qui n’est elle-même pas fusionnée ; les deux doivent être relues, et la CI n’a tourné sur aucune des deux. Tant qu’aucune wheel n’est publiée, aucun utilisateur de SGLang ne peut servir des images Hy4 flash, quoi que dise le diff.

Tencent publie les chiffres multimodaux du modèle instruct. Le tableau multimodal de la fiche modèle ne couvre que les checkpoints de base, et c’est une omission inhabituelle pour un lancement qui a mis en avant la multimodalité. Une ligne MMMU-Pro sur l’ensemble complet pour Hy4 flash instruct, exécutée par Tencent ou par un évaluateur indépendant, remplacerait chaque estimation de cet article par une mesure.

Artificial Analysis ajoute le modèle. Il n’y a aucune entrée Hy4 flash au classement au 21 novembre — l’URL du modèle renvoie une erreur 404 — donc il n’existe aucun indice, score de vitesse ou score normalisé par le prix provenant de tiers pour vérifier tout cela. La couverture du lancement du modèle s’appuyait sur la propre suite WorkIndex de Tencent et sur un test à l’aveugle interne mené auprès de 85 personnes ; ni l’une ni l’autre ne concerne la vision.

Jusqu’à ce que l’un de ces résultats soit publié, 74,8 doit figurer dans une phrase avec ses qualificatifs : un checkpoint instruct, 300 items, un effort de raisonnement élevé, trois exécutions, la vérification ponctuelle d’un auteur de framework sur une PR qui n’a pas été relue. C’est le meilleur chiffre qui existe pour le volet vision de Hy4 flash. C’est une barre moins haute qu’il n’y paraît, et la lecture honnête est que la vision du modèle est désormais manifestement implémentée et encore largement non mesurée.

Comparés dans cet article1

Détecté à partir de cet article