Wygenerowana karta tytułowa o treści „Hy4 flash vision: dwa checkpointy, dwie liczby”, przedstawiająca dwie karty obok siebie: 74,8 dla modelu Hy4 flash instruct na 300-elementowym wycinku MMMU-Pro z SGLang PR 51937 oraz 52,0 dla bazowego checkpointu Hy4 flash na karcie modelu Tencent, oddzielone separatorem „to nie zysk”.
Guides & Insights

Hy4 flash Vision: 74.8 MMMU-Pro i dlaczego 52.0 wciąż się utrzymuje

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

20 listopada 2026 r. otwarty pull request zgłoszony do SGLang zaproponował obsługę wizyjno-językową dla Hunyuan-4-Flash — nazwy, której framework używa na określenie Hy4 flash, modelu o 220 miliardach parametrów, który T​encent udostępnił w swoim API 16 listopada, a dzień później opublikował jako wagi. W opisie PR, pod nagłówkiem „Dokładność / Testy”, ukryta jest pierwsza liczba MMMU-Pro, jaką ktokolwiek opublikował dla wersji instruct modelu: 74,78%, uśredniona po trzech uruchomieniach na pierwszych 300 przykładach. Karta modelu T​encent podaje 52,0 w MMMU-Pro dla Hy4 flash. Te dwie liczby różnią się o 22,8 punktu i nie należy ich od siebie odejmować, ponieważ nie opisują tego samego. Ustalenie, co każda z nich faktycznie opisuje, to większość tego, czego czytelnik potrzebuje, zanim zdecyduje, czy T​encent Hy4 pozostaje modelem, który należy wywołać, gdy w grę wchodzi obraz.

Co tak naprawdę zawiera pull request

PR jest jednym z trzech, które dzielą wcześniejszą zmianę zbiorczą, i jest wyraźnie nałożony na ten dotyczący modelu tekstowego. Na dzień 21 listopada jest otwarty, niezmergowany, zawiera pojedynczy commit obejmujący osiem plików (+1,883 / −13), a wszystkie trzy sloty CI pokazują „Skipped — add the run-ci label”. Nie ukończono żadnej recenzji code-ownera. Obsługa tekstu, na której się opiera, również pozostaje otwarta. Tak więc nic z tego nie trafiło do wydanej kompilacji SGLang; wpis w cookbooku dla Hy4 flash nadal opisuje wyłącznie obsługę tekstu i wprost stwierdza, że obsługa „nie znajduje się jeszcze w wydanym wheelu SGLang”.

To, co robi ten diff, to podłączenie wieży wizyjnej do ścieżki serwowania od początku do końca. Najważniejsze elementy:

• ViT i jego projektor są podzielone na shardy w ramach tensorowej równoległości uwagi, dzięki czemu wieża obrazowa nie stanowi wąskiego gardła pojedynczego ranka w węźle z wieloma GPU.

• Multimodalne kodowanie pozycji to przeplatane MRoPE — pozycje (t, h, w) dla każdego slotu — przenoszone zarówno do warstw uwagi, jak i do rope'a IndexPool, którego warstwy rzadkie używają do wyboru kontekstu; to właśnie ta część po cichu by się zepsuła, gdyby przekonwertowano wyłącznie ścieżkę gęstą.

• Szkoli się haszowanie Engram, aby przywracało identyfikatory tokenów obrazów i wideo, które występują pod wartościami dopełnienia, oraz aby pomijało ich haszowanie, dzięki czemu tabele pamięci n-gramów nie zużywają tokenów multimediów tak, jakby były tekstem.

• Flaga language_model_only pozwala temu samemu silnikowi obsługiwać model tekstowy bez uruchamiania ścieżki multimodalnej.

Ten ostatni szczegół to uczciwe podsumowanie sytuacji: kod został napisany tak, aby obsługa wizji była opcjonalna, ponieważ w przypadku większości wdrożeń modelu z 12 mld aktywnych parametrów tak właśnie będzie.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Dlaczego 74,8 to nie jest skok o 22 punkty

Trzy rzeczy odróżniają liczbę z PR-u od liczby z karty, a każda z nich przesuwa ją w korzystnym kierunku.

Pierwsza kwestia to checkpoint. Karta Tencent podaje wyniki multimodalne wyłącznie dla modeli base i mówi to wprost: „Wyniki multimodalne są podawane tylko dla Hy4 flash Base i Hy4 Base”. Hy4 flash Base uzyskuje 52,0 w MMMU-Pro (Standard, 10 opcji, 4-shot); większy Hy4 Base uzyskuje 59,6. Checkpointy instruct — te, które faktycznie się wdraża — nie mają w ogóle opublikowanego wyniku multimodalnego. PR mierzy model instruct, więc wypełnia rzeczywistą lukę, a nie przebija liczby, z którą go porównano.

Drugi element to elicytacja. PR działa przy temperaturze 0,9 i top-p 1,0 z reasoning_effort=high oraz budżetem ukończenia wynoszącym 32 768 tokenów. Bazowa ewaluacja Tencenta to 4-shot, bez łańcucha myśli. W zadaniu wielokrotnego wyboru z dziesięcioma opcjami model instruowany, któremu pozwala się rozumować przed odpowiedzią, niemal z założenia pokona model bazowy w trybie 4-shot; ta różnica to post-training, a nie poprawa widzenia. Traktuj 74,8 jako „model instruowany, zapytany właściwie”, a 52,0 jako „model bazowy, zapytany w standardowy sposób”. To dwa różne pomiary dwóch różnych artefaktów.

Trzecia kwestia dotyczy podzbioru. PR ocenia pierwsze 300 przykładów, a nie pełny zbiór, i nie mówi, jak wybrano te 300. Przy 300 elementach i proporcji bliskiej 0,75 sam standardowy błąd próbkowania wynosi około 2,5 punktu, więc 95-procentowy przedział dla tej jednej liczby to mniej więcej ±5 punktów, zanim uwzględni się jakikolwiek efekt kolejności pytań. Trzy własne przebiegi PR dały wyniki 74,33, 75,33 i 74,67 — rozrzut wynoszący jeden punkt, który jest węższy niż błąd próbkowania, i warto o tym wiedzieć: wariancja między przebiegami na stałym podzbiorze zaniża to, jak bardzo liczba zmieniłaby się na innym zestawie 300 pytań. Druga konfiguracja w tym samym PR — pełny stos z kodem dekodowania spekulacyjnego, ale bez spekulacji — osiąga średnio 74,00 na tym samym podzbiorze i wykazuje rozrzut 5,3 punktu między trzema przebiegami. Żadna z tych liczb nie jest błędna. Żadna nie jest wynikiem benchmarku w takim sensie, jakiego potrzebuje decyzja zakupowa.

To, co PR faktycznie ustala — i ta część jest solidna — to że pipeline jest poprawnie spięty, a nie tylko się kompiluje. GSM8K na 200 elementach osiąga 97,00% przy załadowanej wieży wizyjnej — w granicach jednego punktu od tego, co raportowała gałąź tekstowa, więc ścieżka multimodalna nie pogarsza głowicy językowej. Syntetyczne prompty obrazowe obejmujące kształty i kolory, OCR, wykres słupkowy oraz zliczanie linii zostały poprawnie obsłużone. To test dymny, który przeszedł, i to jest właściwe stwierdzenie, jakie można sformułować na temat PR-a: kod działa. Liczba dokładności jest efektem ubocznym jego uruchomienia.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Tokeny wideo, które nie oznaczają wideo

Tytuł PR-a mówi o wejściu obrazu i wideo, diff zawiera video_start_token_id, video_end_token_id i video_token_id, a jeden ze zmodyfikowanych procesorów obsługuje próbkowanie klatek wideo. Na tej podstawie łatwo byłoby zaklasyfikować Hy4 flash jako model wideo. Nie rób tego. Ten sam diff zawiera wyraźny zabezpiecznik — „HYV4 vision does not support video token compression” — z obiema flagami kompresji przestrzennej i czasowej ustawionymi na false. Karta dostawcy nigdy nie twierdzi, że to wideo: mówi, że model „natywnie przyjmuje dane wejściowe w postaci tekstu i obrazów, generuje tekst”. A przepis vLLM, który już obsługuje model, ustawia --limit-mm-per-prompt '{"image":1,"video":0}', jeden obraz i brak wideo na prompt.

Stałe wideo to więc infrastruktura dla ścieżki zamkniętej z obu końców: framework rozpoznaje identyfikatory tokenów, żeby się na nich nie wywracać, i wyłącza kompresję, której potrzebowałaby prawdziwa implementacja wideo. Ktoś, kto w podsumowaniu PR czyta „obraz i wideo na wejściu” i planuje pipeline wideo wokół 220B modelu z otwartymi wagami, czyta plan rozwoju, a nie realną możliwość.

Co faktycznie możesz uruchomić już dziś

Obraz sytuacji różni się w zależności od środowiska uruchomieniowego i to jest praktyczny wniosek.

• vLLM — obsługuje już ścieżkę wizyjną. Opublikowana recepta wskazuje klasę HYV4FlashVLForConditionalGeneration i domyślnie pozwala na jeden obraz na prompt. To jest trasa, która istnieje obecnie.

• SGLang — serwowanie tekstu jest dostępne za pośrednictwem obrazu lmsysorg/sglang:hy4-flash, a poświęcona mu strona cookbook nie zawiera nigdzie żadnej wzmianki o wizji, obrazach ani funkcjach multimodalnych. Obsługa wizji to wspomniany powyżej otwarty PR; staje się dostępna, gdy stack zostanie scalony i zostanie wydany wheel — i nie wcześniej.

• Własne API Tencent — wejście obrazowe było częścią opisu premiery, a nasz katalog wymienia tencent/hy4-flash jako tekst+obraz→tekst z kontekstem 1 048 576 tokenów, 65 536 tokenami wyjściowymi i ceną 0,0175 USD za milion tokenów wejściowych wobec 0,07025 USD za milion tokenów wyjściowych. To wartości katalogowe odczytane dzisiaj, a nie ponowne wycenienie karty w RMB z tygodnia premiery, i te dwie wartości się nie zgadzają — stawki kontynentalne przeliczają się na około czterokrotność ceny wejściowej. Nie wysłaliśmy wywołania z obrazem, aby zweryfikować część wizyjną na potrzeby tego tekstu, a rozbieżność między tymi dwoma frameworkami obsługi to dobry powód, by przetestować to samodzielnie, zanim zaczniesz na tym polegać.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Powód, dla którego należy testować, a nie zakładać, jest taki, że model może być reklamowany jako multimodalny, być multimodalny w swoich wagach, a mimo to pozostawać wyłącznie tekstowy na punkcie końcowym, do którego akurat wywołujesz. Dokładnie w takim stanie Hy4 flash znajduje się od pięciu dni: enkoder wizji został dostarczony wraz z checkpointami, a stosy serwujące nadrabiały zaległości jedna PR na raz.

Gdzie to pozostawia wybór

Jeśli potrzebujesz dziś rozumienia obrazów z linii Hunyuan i ma to być rozstrzygnięte pytanie, a nie projekt integracyjny, odpowiedź nadal brzmi T​encent Hy4. Stał się powszechnie dostępny 4 listopada, a jego kluczowymi możliwościami są wizja i korzystanie z komputera; jego udokumentowane zachowanie obejmuje odczytywanie szczegółowych wykresów i diagramów, a nie domyślnego w przepisie flash układu jednego obrazu na prompt. Jest też kilkukrotnie droższy: $0.834 na wejściu i $2.501 na wyjściu za milion w tym samym katalogu. Hy4 flash w cenie $0.0175 to model wyceniony jak towar masowy, ze ścieżką wizyjną, która jest realna, ale świeżo podłączona.

Wynikająca z tego reguła decyzyjna jest mało efektowna. Kieruj teraz prace związane z tekstem i dokumentami do Hy4 flash. Kieruj prace związane z obrazami do Tencent Hy4 do momentu, gdy albo Tencent opublikuje wyniki multimodalne modelu instruct, albo stack SGLang zostanie scalony i będzie można przetestować wydany wheel — w zależności od tego, co nastąpi pierwsze, przy czym na dzień 21 listopada nie wydarzyło się ani jedno. Nie ma powodu wybierać jednego i porzucać drugiego: oba są tutaj na jednym kluczu, ceny listowe dostawcy są przenoszone z 0% marżą, a reguła routingu może kierować żądania zawierające obrazy do flagowego modelu, podczas gdy tekst trafia do taniego modelu — bez drugiej umowy i bez zmiany kodu. Automatyczne przełączanie awaryjne obejmuje przypadek, w którym nowsza ścieżka wizyjna okaże się tą, która zawodzi na rzeczywistych obrazach.

Co obejrzeć dalej

Trzy rzeczy zmieniłyby ten tekst, a każdą z nich można zweryfikować.

Scalanie stosu. PR dotyczący wizji opiera się na PR tekstowym, który sam nie został scalony; oba wymagają przeglądu, a CI nie uruchomiło się dla żadnego z nich. Dopóki nie zostanie wydany wheel, żaden użytkownik SGLang nie może serwować obrazów Hy4 flash, niezależnie od tego, co mówi diff.

T​encent publikuje multimodalne wyniki modeli instruct. Multimodalna tabela na karcie obejmuje wyłącznie bazowe checkpointy, a to nietypowe pominięcie jak na premierę, która stawiała na multimodalność. Wiersz MMMU-Pro dla pełnego zestawu dla Hy4 flash instruct, przeprowadzony przez T​encent lub niezależnego ewaluatora, zastąpiłby każde oszacowanie w tym artykule pomiarem.

Artificial Analysis dodaje model. Na dzień 21 listopada na liście rankingowej nie ma wpisu Hy4 flash — URL modelu zwraca 404 — więc nie ma zewnętrznego indeksu, prędkości ani wyniku znormalizowanego względem ceny, z którymi można by to porównać. Relacje z tygodnia premiery modelu opierały się na własnym pakiecie WorkIndex firmy Tencent i wewnętrznym ślepym teście na 85 osobach; żadne z nich nie dotyczy wizji.

Dopóki któreś z nich się nie pojawi, 74,8 należy podawać w zdaniu wraz z dołączonymi kwalifikatorami: checkpoint instruct, 300 elementów, wysoki wysiłek rozumowania, trzy przebiegi, wyrywkowe sprawdzenie przez jednego z autorów frameworka na PR, który nie został poddany przeglądowi. To najlepsza liczba, jaka istnieje dla strony wizyjnej Hy4 flash. To niższa poprzeczka, niż to brzmi, a uczciwa interpretacja jest taka, że można teraz wykazać, że wizja modelu została zaimplementowana, i wciąż jest w dużej mierze niezmierzona.

Porównane w tym artykule2

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie