Una scheda del titolo generata che riporta 'Hy4 flash vision: due checkpoint, due numeri', che mostra due schede affiancate: 74,8 per il modello Hy4 flash instruct su una porzione di 300 elementi di MMMU-Pro da SGLang PR 51937, e 52,0 per il checkpoint base di Hy4 flash sulla model card di Tencent, separate da un divisore 'non un guadagno'.
Guides & Insights

Hy4 flash Vision: 74,8 MMMU-Pro, e perché 52,0 resta ancora valido

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

On 20 November 2026, an open pull request against SGLang proposed vision-language support for Hunyuan-4-Flash — the framework's name for Hy4 flash, the 220-billion-parameter model T​encent put on its API on 16 November and opened as weights a day later. Buried in the PR description, under a heading called "Accuracy / Tests", is the first MMMU-Pro number anyone has published for an instruct build of the model: 74.78%, averaged over three runs on the first 300 examples. T​encent's own model card reports 52.0 on MMMU-Pro for Hy4 flash. The two figures are 22.8 points apart and they should not be subtracted from each other, because they do not describe the same thing. Working out what each one does describe is most of what a reader needs before deciding whether T​encent Hy4 stays the model to call when an image is involved.

Cosa contiene effettivamente la pull request

La PR è una delle tre che hanno suddiviso una precedente modifica omnibus ed è esplicitamente impilata sopra quella del modello di testo. Al 21 novembre è aperta, non unita, contiene un singolo commit su otto file (+1.883 / −13) e tutti e tre gli slot CI riportano "Saltato — aggiungi l'etichetta run-ci". Nessuna revisione del code owner è stata completata. Anche il supporto testuale su cui si basa è ancora aperto. Quindi nulla di quanto descritto è stato distribuito in una build SGLang rilasciata; la voce del cookbook per Hy4 flash descrive ancora solo il serving testuale e afferma esplicitamente che il supporto "non è ancora presente in un wheel SGLang rilasciato".

Quello che fa il diff è collegare la vision tower al percorso di serving end to end. Gli elementi che contano:

• Il ViT e il suo proiettore sono partizionati secondo il parallelismo tensoriale dell'attenzione, così la torre delle immagini non rappresenta un collo di bottiglia su un singolo rank in un nodo multi-GPU.

• La codifica posizionale multimodale è MRoPE interlacciata — posizioni per slot (t, h, w) — propagata sia ai layer di attenzione sia al rope di IndexPool che i layer sparsi usano per selezionare il contesto, ovvero la parte che si romperebbe silenziosamente se venisse convertito solo il percorso denso.

• L'hashing di Engram viene addestrato a ripristinare gli ID dei token di immagini e video che si trovano sotto valori di padding e a saltarne l'hashing, così le tabelle di memoria n-gram non consumano i token multimediali come se fossero testo.

• Un flag language_model_only consente allo stesso motore di servire il modello testuale senza attivare affatto il percorso multimodale.

Quel ultimo dettaglio è l'onesta sintesi della situazione: il codice è scritto in modo che la visione sia opzionale, perché per la maggior parte delle implementazioni di un modello con 12B attivi lo sarà.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Perché 74,8 non è un salto di 22 punti

Tre cose separano il dato del PR da quello della scheda, e ciascuna sposta il numero nella direzione lusinghiera.

The first is the checkpoint. T​encent's card reports multimodal scores for base models only, and says so in as many words: "Multimodal results are reported only for Hy4 flash Base and Hy4 Base." Hy4 flash Base scores 52.0 on MMMU-Pro (Standard, 10 options, 4-shot); the larger Hy4 Base scores 59.6. The instruct checkpoints — the ones anyone actually deploys — have no published multimodal score at all. The PR measures the instruct model, so it is filling a genuine gap rather than beating a number it was compared against.

The second is the elicitation. The PR runs at temperature 0.9 and top-p 1.0 with reasoning_effort=high and a 32,768-token completion budget. T​encent's base evaluation is 4-shot, no chain of thought. On a ten-option multiple-choice task, an instruct model allowed to reason before answering will beat a 4-shot base model almost by construction; that gap is the post-training, not a vision improvement. Treat 74.8 as "the instruct model, asked properly" and 52.0 as "the base model, asked in the standard way". They are two different measurements of two different artefacts.

Il terzo è il sottoinsieme. La PR valuta i primi 300 esempi, non l'insieme completo, e non dice come siano stati estratti quei 300. Con 300 elementi e una proporzione vicina a 0,75, il solo errore standard di campionamento è di circa 2,5 punti, quindi un intervallo al 95% su quel singolo valore è all'incirca ±5 punti prima di qualsiasi effetto dovuto all'ordine delle domande. Le tre esecuzioni della PR stessa hanno dato 74,33, 75,33 e 74,67 — una differenza di un punto, che è più stretta dell'errore di campionamento, e vale la pena saperlo: la varianza tra esecuzioni su un sottoinsieme fisso sottostima quanto il numero cambierebbe su altre 300 domande. Una seconda configurazione nella stessa PR, lo stack completo con il codice di decodifica speculativa ma senza speculazione, ha una media di 74,00 sullo stesso sottoinsieme e mostra una differenza di 5,3 punti tra le sue tre esecuzioni. Nessuno dei due valori è sbagliato. Nessuno dei due è un risultato di benchmark nel senso che serve a una decisione di approvvigionamento.

Ciò che la PR stabilisce davvero, e questa parte è solida, è che la pipeline è cablata correttamente anziché limitarsi a compilare. GSM8K su 200 elementi ottiene il 97,00% con la vision tower caricata — entro un punto da quanto riportato dal ramo solo testo, quindi il percorso multimodale non sta degradando il language head. Prompt sintetici con immagini che coprono forme e colori, OCR, un grafico a barre e un conteggio delle linee hanno ricevuto risposte corrette. Questo è uno smoke test superato, ed è l'affermazione giusta da fare su una PR: il codice funziona. Il numero di accuratezza è un effetto collaterale della sua esecuzione.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

I token video che non significano video

Il titolo della PR parla di input di immagini e video, il diff contiene video_start_token_id, video_end_token_id e video_token_id, e uno dei processori modificati gestisce il campionamento dei fotogrammi video. Sarebbe facile etichettare Hy4 flash come modello video su questa base. Non fatelo. Lo stesso diff contiene un controllo esplicito — "HYV4 vision does not support video token compression" — con entrambi i flag di compressione spaziale e temporale impostati su false. La scheda del fornitore non dichiara mai il video: afferma che il modello "accetta nativamente input testuali e di immagini, genera testo". E la ricetta vLLM che già serve il modello imposta --limit-mm-per-prompt '{"image":1,"video":0}', un'immagine e nessun video per prompt.

Quindi le costanti video sono infrastrutture di supporto per un percorso chiuso a entrambe le estremità: il framework riconosce gli ID dei token così da non inciampare su di essi e disattiva la compressione di cui avrebbe bisogno una vera implementazione video. Chi legge «input di immagini e video» in un riepilogo di PR e pianifica una pipeline video attorno a un modello open-weight da 220B sta leggendo una roadmap, non una capacità.

Cosa puoi effettivamente eseguire oggi

Il quadro varia a seconda del runtime, ed è questo il punto pratico.

• vLLM — gestisce già il percorso visivo. La ricetta pubblicata indica la classe HYV4FlashVLForConditionalGeneration e consente per impostazione predefinita un'immagine per prompt. Questa è la via che esiste ora.

• SGLang — il serving testuale è disponibile tramite l'immagine lmsysorg/sglang:hy4-flash, e la pagina del cookbook che la riguarda non menziona in alcun punto vision, immagini o multimodalità. La vision è la PR aperta sopra; diventa disponibile quando lo stack viene unito e viene rilasciato un wheel, e non prima.

• T​encent's own API — image input was part of the launch description, and our own catalogue lists tencent/hy4-flash as text+image→text with a 1,048,576-token context, 65,536 output tokens and $0.0175 per million input against $0.07025 per million output. Those are catalogue values read today, not a re-quote of the RMB card from launch week, and the two do not agree — the mainland rates convert to roughly four times the input price. We did not send an image call to verify the vision leg for this piece, and the disagreement between the two serving frameworks is a good reason to test it yourself before you depend on it.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Il motivo per testare invece di dare per scontato è che un modello può essere pubblicizzato come multimodale, essere multimodale nei suoi pesi e comunque essere solo testo sull'endpoint che ti capita di chiamare. È esattamente lo stato in cui si trova Hy4 flash da cinque giorni: il codificatore visivo è stato distribuito con i checkpoint, e gli stack di serving hanno recuperato terreno una PR alla volta.

Dove questo lascia la scelta

If you need image understanding from the Hunyuan line today and you need it to be a decided question rather than an integration project, the answer is still T​encent Hy4. It went generally available on 4 November with vision and computer use as headline capabilities, and its documented behaviour includes reading fine-grained charts and diagrams rather than the single-image-per-prompt arrangement the flash recipe defaults to. It is also several times the price: $0.834 input and $2.501 output per million on the same catalogue. Hy4 flash at $0.0175 is a commodity-priced model with a vision path that is real but newly wired.

The decision rule that follows is unglamorous. Route text and document work to Hy4 flash now. Route image work to Tencent Hy4 until either T​encent publishes instruct-model multimodal scores or the SGLang stack merges and a released wheel can be tested — whichever comes first, and neither has happened as of 21 November. There is no reason to pick one and abandon the other: both are on one key here, provider list prices pass through at 0% markup, and a routing rule can send image-bearing requests to the flagship while text goes to the cheap model without a second contract or a code change. Automatic failover covers the case where the newer vision path turns out to be the one that breaks under real images.

Cosa guardare dopo

Tre cose cambierebbero questo pezzo, e ognuna è verificabile.

Il merging dello stack. La PR vision si basa su una PR di testo che è a sua volta non mergiata; entrambe richiedono revisione e la CI non è stata eseguita su nessuna delle due. Finché non viene rilasciata una wheel, nessun utente SGLang può servire immagini Hy4 flash, indipendentemente da ciò che dice il diff.

T​encent publishing instruct-model multimodal numbers. The card's multimodal table covers base checkpoints only, and that is an unusual omission for a launch that led with multimodality. A full-set MMMU-Pro row for Hy4 flash instruct, run by T​encent or by an independent evaluator, would replace every estimate in this article with a measurement.

Artificial Analysis adding the model. There is no Hy4 flash entry on the leaderboard as of 21 November — the model URL 404s — so there is no third-party index, speed or price-normalised score to check any of this against. Launch-week coverage of the model leaned on T​encent's own WorkIndex suite and an 85-person internal blind test; neither touches vision.

Finché uno di questi non si concretizza, 74.8 va inserito in una frase con i suoi qualificatori: un checkpoint instruct, 300 elementi, sforzo di ragionamento elevato, tre esecuzioni, la verifica puntuale di un autore del framework su una PR che non è stata revisionata. È il miglior numero esistente per il lato visione di Hy4 flash. È un'asticella più bassa di quanto sembri, e la lettura onesta è che la visione del modello è ora dimostrabilmente implementata e ancora in larga parte non misurata.

Confrontati in questo articolo1

Rilevato da questo articolo