Ett genererat titelkort med texten "Hy4 flash vision: två checkpoints, två siffror", som visar två kort sida vid sida: 74.8 för Hy4 flash instruct-modellen på en MMMU-Pro-del med 300 objekt från SGLang PR 51937, och 52.0 för Hy4 flash base-checkpointen på Tencent:s modellkort, åtskilda av en avdelare med texten "inte en vinst".
Guides & Insights

Hy4 flash Vision: 74,8 MMMU-Pro, och varför 52,0 fortfarande står sig

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

On 20 November 2026, an open pull request against SGLang proposed vision-language support for Hunyuan-4-Flash — the framework's name for Hy4 flash, the 220-billion-parameter model T​encent put on its API on 16 November and opened as weights a day later. Buried in the PR description, under a heading called "Accuracy / Tests", is the first MMMU-Pro number anyone has published for an instruct build of the model: 74.78%, averaged over three runs on the first 300 examples. T​encent's own model card reports 52.0 on MMMU-Pro for Hy4 flash. The two figures are 22.8 points apart and they should not be subtracted from each other, because they do not describe the same thing. Working out what each one does describe is most of what a reader needs before deciding whether T​encent Hy4 stays the model to call when an image is involved.

Vad pull requesten faktiskt innehåller

PR:en är en av tre som delar upp en tidigare omnibusändring, och den är uttryckligen staplad ovanpå den för textmodellen. Sedan den 21 november är den öppen, ej sammanslagen, innehåller en enda commit över åtta filer (+1 883 / −13), och alla tre CI-platser visar "Hoppades över – lägg till etiketten run-ci". Ingen granskning av kodägare har slutförts. Det textstöd som den bygger på är också fortfarande öppet. Så inget av detta har levererats i ett släppt SGLang-bygge; cookbook-posten för Hy4 flash beskriver fortfarande enbart textservering och säger rent ut att stödet "inte finns i ett släppt SGLang-wheel ännu".

Vad diffen gör är att koppla in visiontornet i serveringsvägen från början till slut. De delar som spelar roll:

• ViT:n och dess projektor är shardade över tensorparallellism för attention, så bildtornet är inte en flaskhals på en enskild rank på en nod med flera GPU:er.

• Multimodal positionskodning är interleaved MRoPE – per-slot-positioner (t, h, w) – som bärs in i både uppmärksamhetslagren och IndexPool-ropen som de glesa lagren använder för att välja kontext, vilket är delen som tyst skulle gå sönder om bara den täta vägen konverterades.

• Engram-hashning lärs ut för att återställa bild- och videotoken-id:n som ligger under paddingvärden och för att hoppa över hashning av dem, så att n-gram-minnestabellerna inte konsumerar medietoken som om de vore text.

• En language_model_only-flagga låter samma motor betjäna textmodellen utan att den multimodala vägen sätts upp överhuvudtaget.

Den sista detaljen är den ärliga sammanfattningen av var detta befinner sig: koden är skriven så att vision är valfritt, eftersom det kommer att vara det för de flesta driftsättningar av en modell med 12B aktiva parametrar.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Varför 74,8 inte är ett hopp på 22 punkter

Tre saker skiljer PR-siffran från kortets, och var och en flyttar numret i den smickrande riktningen.

The first is the checkpoint. T​encent's card reports multimodal scores for base models only, and says so in as many words: "Multimodal results are reported only for Hy4 flash Base and Hy4 Base." Hy4 flash Base scores 52.0 on MMMU-Pro (Standard, 10 options, 4-shot); the larger Hy4 Base scores 59.6. The instruct checkpoints — the ones anyone actually deploys — have no published multimodal score at all. The PR measures the instruct model, so it is filling a genuine gap rather than beating a number it was compared against.

The second is the elicitation. The PR runs at temperature 0.9 and top-p 1.0 with reasoning_effort=high and a 32,768-token completion budget. T​encent's base evaluation is 4-shot, no chain of thought. On a ten-option multiple-choice task, an instruct model allowed to reason before answering will beat a 4-shot base model almost by construction; that gap is the post-training, not a vision improvement. Treat 74.8 as "the instruct model, asked properly" and 52.0 as "the base model, asked in the standard way". They are two different measurements of two different artefacts.

Den tredje är delmängden. PR:en utvärderar de första 300 exemplen, inte hela uppsättningen, och anger inte hur dessa 300 valdes ut. Vid 300 poster och en andel nära 0,75 är själva urvalsstandardfelet omkring 2,5 punkter, så ett 95-procentigt intervall för den enskilda siffran är ungefär ±5 punkter innan någon effekt av frågeordning. PR:ens egna tre körningar landade på 74,33, 75,33 och 74,67 – en spridning på en punkt, vilket är mindre än urvalsfelet, och det är värt att veta: variansen mellan körningar på en fast delmängd underskattar hur mycket siffran skulle röra sig på 300 andra frågor. En andra konfiguration i samma PR, hela stacken med den spekulativa avkodningskoden men utan spekulation, har i genomsnitt 74,00 på samma delmängd och visar en spridning på 5,3 punkter över sina tre körningar. Ingen av siffrorna är fel. Ingen av dem är ett benchmarkresultat i den mening ett upphandlingsbeslut behöver.

Det PR:en faktiskt fastställer, och den här delen är solid, är att pipelinen är korrekt ihopkopplad snarare än bara kompilerar. GSM8K på 200 objekt ger 97,00 % med visionstornet laddat – inom en procentenhet från vad den textbaserade grenen rapporterade, så den multimodala vägen försämrar inte språkhuvudet. Syntetiska bildpromptar som omfattade former och färger, OCR, ett stapeldiagram och en linjeräkning besvarades korrekt. Det är ett smoke-test som har gått igenom, och det är rätt påstående att göra om en PR: koden fungerar. Siffran för noggrannhet är en bieffekt av att köra den.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

De videotokens som inte betyder video

PR-titeln säger bild- och videoinmatning, diffen innehåller video_start_token_id, video_end_token_id och video_token_id, och en av de ändrade processorerna hanterar sampling av videoramar. Det vore lätt att klassa Hy4 flash som en videomodell på den grunden. Gör inte det. Samma diff innehåller en explicit spärr – ”HYV4 vision stöder inte videotokenkomprimering” – där både flaggan för spatial och flaggan för temporal komprimering är satta till false. Leverantörens modellkort hävdar aldrig video: där står det att modellen ”har inbyggt stöd för text- och bildindata och genererar text”. Och vLLM-receptet som redan används för att servera modellen sätter --limit-mm-per-prompt '{"image":1,"video":0}', alltså en bild och ingen video per prompt.

Så videokonstanterna är infrastruktur för en väg som är stängd i båda ändar: ramverket känner igen token-id:na så att det inte kvävs av dem, och inaktiverar den komprimering som en riktig videoimplementation skulle behöva. Den som läser "bild- och videoinmatning" i en PR-sammanfattning och planerar en videopipeline kring en modell med öppna vikter på 220B läser en färdplan, inte en förmåga.

Vad du faktiskt kan köra idag

Bilden ser olika ut beroende på körtid, vilket är det praktiska att ta med sig.

• vLLM — hanterar redan vision-sökvägen. Det publicerade receptet namnger klassen HYV4FlashVLForConditionalGeneration och tillåter som standard en bild per prompt. Detta är den väg som finns nu.

• SGLang – textbetjäning finns via avbildningen lmsysorg/sglang:hy4-flash, och cookbook-sidan för den nämner inte vision, bild eller multimodal någonstans. Vision är den öppna PR:en ovan; den blir tillgänglig när stacken har mergats och ett wheel har släppts, och inte tidigare.

• T​encent's own API — image input was part of the launch description, and our own catalogue lists tencent/hy4-flash as text+image→text with a 1,048,576-token context, 65,536 output tokens and $0.0175 per million input against $0.07025 per million output. Those are catalogue values read today, not a re-quote of the RMB card from launch week, and the two do not agree — the mainland rates convert to roughly four times the input price. We did not send an image call to verify the vision leg for this piece, and the disagreement between the two serving frameworks is a good reason to test it yourself before you depend on it.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Anledningen till att testa i stället för att anta är att en modell kan marknadsföras som multimodal, vara multimodal i sina vikter och ändå vara enbart textbaserad på den slutpunkt du råkar anropa. Det är exakt det läge som Hy4 flash har befunnit sig i under fem dagar: visionskodaren levererades med checkpointarna, och serveringsstackarna har kommit ikapp en PR i taget.

Var detta lämnar valet

If you need image understanding from the Hunyuan line today and you need it to be a decided question rather than an integration project, the answer is still T​encent Hy4. It went generally available on 4 November with vision and computer use as headline capabilities, and its documented behaviour includes reading fine-grained charts and diagrams rather than the single-image-per-prompt arrangement the flash recipe defaults to. It is also several times the price: $0.834 input and $2.501 output per million on the same catalogue. Hy4 flash at $0.0175 is a commodity-priced model with a vision path that is real but newly wired.

The decision rule that follows is unglamorous. Route text and document work to Hy4 flash now. Route image work to Tencent Hy4 until either T​encent publishes instruct-model multimodal scores or the SGLang stack merges and a released wheel can be tested — whichever comes first, and neither has happened as of 21 November. There is no reason to pick one and abandon the other: both are on one key here, provider list prices pass through at 0% markup, and a routing rule can send image-bearing requests to the flagship while text goes to the cheap model without a second contract or a code change. Automatic failover covers the case where the newer vision path turns out to be the one that breaks under real images.

Vad du ska titta på härnäst

Tre saker skulle ändra den här texten, och var och en går att kontrollera.

Sammanslagningen av stacken. Vision-PR:en ligger ovanpå en text-PR som i sig själv är osammanslagen; båda behöver granskas, och CI har inte kört på någon av dem. Tills ett wheel har släppts kan ingen SGLang-användare serva Hy4 flash-bilder oavsett vad diffen säger.

T​encent publishing instruct-model multimodal numbers. The card's multimodal table covers base checkpoints only, and that is an unusual omission for a launch that led with multimodality. A full-set MMMU-Pro row for Hy4 flash instruct, run by T​encent or by an independent evaluator, would replace every estimate in this article with a measurement.

Artificial Analysis adding the model. There is no Hy4 flash entry on the leaderboard as of 21 November — the model URL 404s — so there is no third-party index, speed or price-normalised score to check any of this against. Launch-week coverage of the model leaned on T​encent's own WorkIndex suite and an 85-person internal blind test; neither touches vision.

Tills ett av dessa är på plats hör 74,8 hemma i en mening med sina kvalificerare bifogade: en instruct-checkpoint, 300 objekt, hög resonemangsansträngning, tre körningar, en framework-författares stickprov på en PR som inte har granskats. Det är det bästa tal som finns för Hy4 flashs visionsida. Det är en lägre ribba än det låter, och den ärliga tolkningen är att modellens vision nu är påvisbart implementerad och fortfarande till stor del omätt.

Jämförda i den här artikeln1

Identifierat från den här artikeln