Um cartão de título gerado com o texto "Hy4 flash vision: dois checkpoints, dois números", mostrando dois cartões lado a lado: 74,8 para o modelo instruct Hy4 flash em uma fatia de 300 itens do MMMU-Pro do PR 51937 do SGLang, e 52,0 para o checkpoint base Hy4 flash no cartão de modelo da Tencent, separados por um divisor "não é um ganho".
Guides & Insights

Hy4 flash Vision: 74,8 no MMMU-Pro, e por que 52,0 ainda se mantém

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Em 20 de novembro de 2026, um pull request aberto no SGLang propôs suporte a visão-linguagem para Hunyuan-4-Flash — o nome que o framework dá ao Hy4 flash, o modelo de 220 bilhões de parâmetros que a T​encent disponibilizou em sua API em 16 de novembro e liberou os pesos um dia depois. Escondido na descrição do PR, sob um título chamado "Precisão / Testes", está o primeiro número de MMMU-Pro que alguém publicou para uma build instruct do modelo: 74,78%, com média de três execuções nos primeiros 300 exemplos. O próprio model card da T​encent informa 52,0 no MMMU-Pro para o Hy4 flash. As duas cifras estão separadas por 22,8 pontos e não devem ser subtraídas uma da outra, porque não descrevem a mesma coisa. Entender o que cada uma descreve de fato é a maior parte do que um leitor precisa antes de decidir se o T​encent Hy4 continua sendo o modelo a chamar quando há uma imagem envolvida.

O que o pull request realmente contém

O PR é um de três que dividiram uma alteração omnibus anterior, e está explicitamente empilhado sobre o que trata do modelo de texto. Em 21 de novembro, ele está aberto, não foi mesclado, contém um único commit em oito arquivos (+1.883 / −13), e os três slots de CI exibem "Ignorado — adicione o rótulo run-ci". Nenhuma revisão de code owner foi concluída. O suporte a texto no qual ele se baseia também continua aberto. Portanto, nada aqui foi lançado em uma build do SGLang; a entrada do cookbook para o Hy4 flash ainda descreve apenas o serviço de texto e afirma categoricamente que o suporte "ainda não está em um wheel do SGLang lançado".

O que o diff faz é ligar o vision tower ao caminho de serving de ponta a ponta. As partes que importam:

• O ViT e seu projetor são particionados pelo paralelismo de tensor de atenção, de modo que a torre de imagens não é um gargalo de rank único em um nó com múltiplas GPUs.

• A codificação de posição multimodal é o MRoPE intercalado — posições (t, h, w) por slot — levado tanto para as camadas de atenção quanto para a rope do IndexPool que as camadas esparsas usam para selecionar contexto, que é justamente a parte que falharia silenciosamente se apenas o caminho denso fosse convertido.

• Ensina-se ao hashing do Engram a restaurar os ids de tokens de imagem e vídeo que estão sob valores de padding e a ignorar o hashing dos mesmos, para que as tabelas de memória de n-gramas não consumam tokens de mídia como se fossem texto.

• Um sinalizador language_model_only permite que o mesmo mecanismo atenda o modelo de texto sem precisar sequer montar o caminho multimodal.

Esse último detalhe é o resumo honesto da situação: o código foi escrito de modo que a visão seja opcional, porque, para a maioria das implantações de um modelo com 12B ativos, ela será.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Por que 74,8 não é um salto de 22 pontos

Três coisas separam o número do PR do número do cartão, e cada uma move o número na direção lisonjeira.

O primeiro é o checkpoint. O card da Tencent reporta pontuações multimodais apenas para modelos base, e o diz explicitamente: "Os resultados multimodais são reportados apenas para Hy4 flash Base e Hy4 Base." O Hy4 flash Base obtém 52,0 no MMMU-Pro (Standard, 10 opções, 4-shot); o Hy4 Base, maior, obtém 59,6. Os checkpoints instruct — os que qualquer pessoa realmente implanta — não têm nenhuma pontuação multimodal publicada. O PR avalia o modelo instruct, portanto está preenchendo uma lacuna genuína, e não superando um número com o qual foi comparado.

O segundo é a elicitação. O PR é executado com temperatura 0,9 e top-p 1,0, com reasoning_effort=high e um orçamento de conclusão de 32.768 tokens. A avaliação base da Tencent é 4-shot, sem cadeia de pensamento. Em uma tarefa de múltipla escolha com dez opções, um modelo instruct que pode raciocinar antes de responder superará um modelo base 4-shot quase por construção; essa diferença é o pós-treinamento, não uma melhoria de visão. Trate 74,8 como "o modelo instruct, questionado adequadamente" e 52,0 como "o modelo base, questionado da forma padrão". São duas medições diferentes de dois artefatos diferentes.

O terceiro é o subconjunto. O PR avalia os primeiros 300 exemplos, não o conjunto completo, e não diz como esses 300 foram selecionados. Com 300 itens e uma proporção próxima de 0,75, o erro padrão de amostragem por si só é de cerca de 2,5 pontos, então um intervalo de 95% sobre esse único número é de aproximadamente ±5 pontos antes de qualquer efeito de ordenação das perguntas. As três execuções do próprio PR deram 74,33, 75,33 e 74,67 — uma variação de um ponto, que é menor do que o erro de amostragem, e vale saber disso: a variância entre execuções em um subconjunto fixo subestima o quanto o número mudaria em outras 300 perguntas. Uma segunda configuração no mesmo PR, a pilha completa com o código de decodificação especulativa mas sem especulação, tem média de 74,00 no mesmo subconjunto e mostra uma variação de 5,3 pontos entre suas três execuções. Nenhum dos números está errado. Nenhum é um resultado de benchmark no sentido que uma decisão de compra exige.

O que o PR estabelece de fato, e essa parte é sólida, é que o pipeline está conectado corretamente, em vez de apenas compilar. O GSM8K em 200 itens obtém 97,00% com a torre de visão carregada — a um ponto do que o ramo apenas de texto relatou, então o caminho multimodal não está degradando a cabeça de linguagem. Prompts sintéticos de imagem cobrindo formas e cores, OCR, um gráfico de barras e uma contagem de linhas foram respondidos corretamente. Esse é um smoke test que passou, e é a afirmação correta a se fazer sobre um PR: o código funciona. O número de acurácia é um efeito colateral de executá-lo.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Os tokens de vídeo que não significam vídeo

O título do PR diz entrada de imagem e vídeo, o diff traz video_start_token_id, video_end_token_id e video_token_id, e um dos processadores modificados lida com amostragem de quadros de vídeo. Seria fácil classificar o Hy4 flash como um modelo de vídeo com base nisso. Não faça isso. O mesmo diff contém uma proteção explícita — "HYV4 vision does not support video token compression" — com os sinalizadores de compressão espacial e temporal definidos como false. O card do fornecedor nunca afirma vídeo: diz que o modelo "aceita nativamente entradas de texto e imagem, gera texto". E a receita do vLLM que já serve o modelo define --limit-mm-per-prompt '{"image":1,"video":0}', uma imagem e nenhum vídeo por prompt.

Então, as constantes de vídeo são apenas o encanamento de um caminho que está fechado nas duas pontas: o framework reconhece os token ids para não engasgar com eles e desativa a compressão que uma implementação real de vídeo precisaria. Qualquer pessoa que leia "entrada de imagem e vídeo" em um resumo de PR e planeje um pipeline de vídeo em torno de um modelo de pesos abertos de 220B está lendo um roadmap, não uma capacidade.

O que você pode realmente executar hoje

O cenário varia conforme o runtime, e essa é a conclusão prática.

• vLLM — já atende o caminho de visão. A receita publicada nomeia a classe HYV4FlashVLForConditionalGeneration e permite uma imagem por prompt por padrão. Esta é a rota que existe agora.

• SGLang — o serving de texto existe por meio da imagem lmsysorg/sglang:hy4-flash, e a página do cookbook sobre ele não menciona visão, imagem ou multimodal em lugar algum. A visão é o PR aberto acima; ela fica disponível quando a stack for mesclada e um wheel for publicado, e não antes disso.

• A própria API da Tencent — a entrada de imagem fazia parte da descrição do lançamento, e o nosso próprio catálogo lista tencent/hy4-flash como texto+imagem→texto, com contexto de 1.048.576 tokens, 65.536 tokens de saída e $0,0175 por milhão de entrada contra $0,07025 por milhão de saída. Esses são valores de catálogo lidos hoje, não uma recotação da tabela em RMB da semana do lançamento, e os dois não batem — as tarifas do continente convertem para aproximadamente quatro vezes o preço de entrada. Não enviamos nenhuma chamada de imagem para verificar o braço de visão para este texto, e a divergência entre as duas estruturas de serviço é um bom motivo para você mesmo testar isso antes de depender disso.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

O motivo para testar em vez de presumir é que um modelo pode ser anunciado como multimodal, ser multimodal em seus pesos e ainda assim ser somente texto no endpoint que você acaba chamando. Esse é exatamente o estado em que o Hy4 flash esteve por cinco dias: o codificador de visão foi enviado com os checkpoints, e as stacks de serving vêm se atualizando um PR de cada vez.

Onde isso deixa a escolha

Se você precisa de compreensão de imagens da linha Hunyuan hoje e precisa que isso seja uma questão decidida, e não um projeto de integração, a resposta ainda é T​encent Hy4. Ele ficou disponível em geral em 4 de novembro, com visão e uso de computador como capacidades de destaque, e seu comportamento documentado inclui a leitura de gráficos e diagramas detalhados, em vez do esquema de uma única imagem por prompt que a receita flash usa por padrão. Ele também custa várias vezes mais: US$ 0,834 de entrada e US$ 2,501 de saída por milhão no mesmo catálogo. O Hy4 flash a US$ 0,0175 é um modelo com preço de commodity e um caminho de visão que é real, mas recém-conectado.

A regra de decisão a seguir não é glamourosa. Encaminhe agora o trabalho de texto e documentos para o Hy4 flash. Encaminhe o trabalho de imagem para o Tencent Hy4 até que o T​encent publique pontuações multimodais de modelos instruct ou o stack SGLang seja mesclado e uma wheel lançada possa ser testada — o que ocorrer primeiro, e nenhum dos dois aconteceu até 21 de novembro. Não há motivo para escolher um e abandonar o outro: ambos estão em uma única chave aqui, os preços de tabela do provedor são repassados com 0% de markup, e uma regra de roteamento pode enviar solicitações com imagens para o modelo principal enquanto o texto vai para o modelo barato sem um segundo contrato ou alteração de código. Failover automático cobre o caso em que o caminho de visão mais novo acaba sendo o que quebra com imagens reais.

O que assistir a seguir

Três coisas mudariam este texto, e cada uma delas é verificável.

A mesclagem da pilha. O PR de visão está empilhado sobre um PR de texto que ainda não foi mesclado; ambos precisam de revisão, e a CI não foi executada em nenhum dos dois. Até que um wheel seja publicado, nenhum usuário do SGLang pode servir imagens Hy4 flash, independentemente do que o diff diga.

A T​encent está publicando números multimodais do modelo instruct. A tabela multimodal do card cobre apenas checkpoints base, e essa é uma omissão incomum para um lançamento que liderou com multimodalidade. Uma linha do MMMU-Pro com o conjunto completo para o Hy4 flash instruct, executada pela T​encent ou por um avaliador independente, substituiria cada estimativa neste artigo por uma medição.

A Artificial Analysis adicionando o modelo. Não há entrada do Hy4 flash no ranking em 21 de novembro — a URL do modelo retorna 404 —, portanto não há índice de terceiros, velocidade ou pontuação normalizada por preço para verificar qualquer um desses aspectos. A cobertura da semana de lançamento do modelo baseou-se no próprio conjunto WorkIndex da Tencent e em um teste cego interno com 85 pessoas; nenhum dos dois aborda visão.

Até que um desses se concretize, o 74,8 pertence a uma frase com seus qualificadores atrelados: um checkpoint instruct, 300 itens, alto esforço de raciocínio, três execuções, uma checagem pontual de um autor de framework em um PR que ainda não foi revisado. É o melhor número que existe para o lado de visão do Hy4 flash. Isso é um patamar mais baixo do que parece, e a leitura honesta é que a visão do modelo agora está demonstravelmente implementada e ainda em grande parte não medida.

Comparados neste artigo1

Detectado a partir deste artigo