Một thẻ tiêu đề được tạo ghi 'Hy4 flash vision: hai checkpoint, hai con số', hiển thị hai thẻ cạnh nhau: 74.8 cho mô hình Hy4 flash instruct trên một lát cắt MMMU-Pro gồm 300 mục từ SGLang PR 51937, và 52.0 cho checkpoint Hy4 flash base trên thẻ mô hình của Tencent, được ngăn cách bởi dải phân cách 'không phải mức tăng'.
Guides & Insights

Hy4 flash Vision: 74.8 MMMU-Pro, và vì sao 52.0 vẫn đứng vững

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

On 20 November 2026, an open pull request against SGLang proposed vision-language support for Hunyuan-4-Flash — the framework's name for Hy4 flash, the 220-billion-parameter model T​encent put on its API on 16 November and opened as weights a day later. Buried in the PR description, under a heading called "Accuracy / Tests", is the first MMMU-Pro number anyone has published for an instruct build of the model: 74.78%, averaged over three runs on the first 300 examples. T​encent's own model card reports 52.0 on MMMU-Pro for Hy4 flash. The two figures are 22.8 points apart and they should not be subtracted from each other, because they do not describe the same thing. Working out what each one does describe is most of what a reader needs before deciding whether T​encent Hy4 stays the model to call when an image is involved.

Pull request thực sự chứa những gì

PR này là một trong ba PR tách ra từ một thay đổi omnibus trước đó, và nó được xếp chồng rõ ràng lên PR về mô hình văn bản. Tính đến ngày 21 tháng 11, PR này vẫn đang mở, chưa được hợp nhất, mang một commit duy nhất trên tám tệp (+1,883 / −13), và cả ba ô CI đều ghi "Skipped — add the run-ci label". Chưa có đánh giá nào từ code owner được hoàn tất. Phần hỗ trợ văn bản mà nó dựa trên cũng vẫn đang mở. Vì vậy, chưa có nội dung nào ở đây được phát hành trong một bản dựng SGLang đã phát hành; mục cookbook cho Hy4 flash vẫn chỉ mô tả phục vụ văn bản và nói thẳng rằng hỗ trợ này "chưa có trong một bản wheel SGLang đã phát hành".

Điều mà bản diff làm là đấu nối tháp thị giác vào đường phục vụ từ đầu đến cuối. Những phần quan trọng:

• ViT và projector của nó được phân mảnh theo tensor parallelism của attention, vì vậy tháp hình ảnh không phải là nút thắt cổ chai chỉ trên một rank trên node nhiều GPU.

• Mã hóa vị trí đa phương thức là MRoPE xen kẽ — các vị trí (t, h, w) theo từng slot — được đưa vào cả các lớp attention lẫn rope IndexPool mà các lớp thưa dùng để chọn ngữ cảnh; đây chính là phần sẽ âm thầm hỏng nếu chỉ chuyển đổi nhánh dense.

Băm Engram được huấn luyện để khôi phục các id token hình ảnh và video nằm dưới các giá trị đệm và bỏ qua việc băm chúng, để các bảng bộ nhớ n-gram không tiêu thụ token phương tiện như thể chúng là văn bản.

• Cờ language_model_only cho phép cùng một engine phục vụ mô hình văn bản mà hoàn toàn không cần dựng lên đường xử lý đa phương thức.

Chi tiết cuối cùng đó là bản tóm tắt trung thực về tình trạng hiện tại của việc này: mã được viết sao cho vision là tùy chọn, bởi vì với hầu hết các triển khai của một mô hình 12B-active, nó sẽ là như vậy.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Tại sao 74,8 không phải là mức tăng 22 điểm

Ba thứ khiến con số của PR khác với con số trên thẻ, và cả ba đều đẩy con số theo hướng tâng bốc.

The first is the checkpoint. T​encent's card reports multimodal scores for base models only, and says so in as many words: "Multimodal results are reported only for Hy4 flash Base and Hy4 Base." Hy4 flash Base scores 52.0 on MMMU-Pro (Standard, 10 options, 4-shot); the larger Hy4 Base scores 59.6. The instruct checkpoints — the ones anyone actually deploys — have no published multimodal score at all. The PR measures the instruct model, so it is filling a genuine gap rather than beating a number it was compared against.

The second is the elicitation. The PR runs at temperature 0.9 and top-p 1.0 with reasoning_effort=high and a 32,768-token completion budget. T​encent's base evaluation is 4-shot, no chain of thought. On a ten-option multiple-choice task, an instruct model allowed to reason before answering will beat a 4-shot base model almost by construction; that gap is the post-training, not a vision improvement. Treat 74.8 as "the instruct model, asked properly" and 52.0 as "the base model, asked in the standard way". They are two different measurements of two different artefacts.

Thứ ba là tập con. PR đánh giá 300 ví dụ đầu tiên, không phải toàn bộ tập hợp, và không nói 300 ví dụ đó được chọn như thế nào. Với 300 mục và tỷ lệ gần 0,75, riêng sai số chuẩn của việc lấy mẫu đã là khoảng 2,5 điểm, vì vậy khoảng tin cậy 95% cho riêng con số đó là khoảng ±5 điểm trước khi tính đến bất kỳ ảnh hưởng nào của thứ tự câu hỏi. Ba lần chạy của chính PR cho kết quả 74,33, 75,33 và 74,67 — chênh lệch một điểm, tức là hẹp hơn so với sai số lấy mẫu, và điều đó đáng để biết: phương sai giữa các lần chạy trên một tập con cố định đánh giá thấp mức con số sẽ thay đổi trên một bộ 300 câu hỏi khác. Một cấu hình thứ hai trong cùng PR, toàn bộ ngăn xếp có mã giải mã suy đoán nhưng không suy đoán, trung bình đạt 74,00 trên cùng tập con và cho thấy mức chênh lệch 5,3 điểm giữa ba lần chạy. Không con số nào là sai. Cả hai cũng không phải là kết quả chuẩn mực theo nghĩa mà một quyết định mua sắm cần.

Điều mà PR thực sự xác lập, và phần này vững chắc, là pipeline đã được đấu nối đúng chứ không chỉ đơn thuần là biên dịch thành công. GSM8K trên 200 mục đạt 97,00% với vision tower đã được nạp — nằm trong khoảng một điểm so với con số mà nhánh chỉ văn bản báo cáo, vì vậy đường đa phương thức không làm suy giảm language head. Các prompt hình ảnh tổng hợp bao gồm hình dạng và màu sắc, OCR, một biểu đồ cột và đếm số dòng đều được trả lời chính xác. Đó là một smoke test đã vượt qua, và đó là tuyên bố đúng đắn cần đưa ra về một PR: mã chạy được. Con số độ chính xác chỉ là hệ quả phụ của việc chạy nó.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Những token video không có nghĩa là video

Tiêu đề PR nói là đầu vào hình ảnh và video, diff có chứa video_start_token_id, video_end_token_id và video_token_id, và một trong các processor đã sửa xử lý việc lấy mẫu khung hình video. Dựa trên cơ sở đó, rất dễ xếp Hy4 flash vào loại mô hình video. Đừng làm vậy. Cùng diff đó có một rào chắn tường minh — "HYV4 vision không hỗ trợ nén token video" — với cả cờ nén không gian và thời gian đều được đặt thành false. Model card của nhà cung cấp không hề tuyên bố về video: nó nói mô hình "chấp nhận đầu vào văn bản và hình ảnh một cách native, sinh ra văn bản". Và công thức vLLM vốn đã phục vụ mô hình đặt --limit-mm-per-prompt '{"image":1,"video":0}', một hình ảnh và không có video cho mỗi prompt.

Vậy nên các hằng số video chỉ là phần đường ống cho một lối đi bị đóng ở cả hai đầu: framework nhận diện các token id để không bị nghẹn vì chúng, đồng thời vô hiệu hóa khâu nén mà một triển khai video thực thụ sẽ cần. Bất kỳ ai đọc “image and video input” trong phần tóm tắt PR và lên kế hoạch xây dựng pipeline video quanh một mô hình open-weight 220B thì đang đọc một lộ trình, chứ không phải một năng lực.

Những gì bạn thực sự có thể chạy ngay hôm nay

Bức tranh khác nhau tùy theo runtime, và đó chính là điểm thực tế cần rút ra.

{{1}}vLLM{{/1}} — đã phục vụ luồng xử lý thị giác. Công thức được công bố đặt tên lớp là {{2}}HYV4FlashVLForConditionalGeneration{{/2}} và mặc định cho phép một hình ảnh cho mỗi lời nhắc. Đây là hướng triển khai hiện đang tồn tại.

• SGLang — text serving hiện có qua image lmsysorg/sglang:hy4-flash, và trang cookbook dành cho nó không đề cập đến vision, image hay multimodal ở bất kỳ đâu. Vision là PR đang mở nêu trên; nó sẽ khả dụng khi stack được hợp nhất và một wheel được phát hành, chứ không phải trước đó.

• T​encent's own API — image input was part of the launch description, and our own catalogue lists tencent/hy4-flash as text+image→text with a 1,048,576-token context, 65,536 output tokens and $0.0175 per million input against $0.07025 per million output. Those are catalogue values read today, not a re-quote of the RMB card from launch week, and the two do not agree — the mainland rates convert to roughly four times the input price. We did not send an image call to verify the vision leg for this piece, and the disagreement between the two serving frameworks is a good reason to test it yourself before you depend on it.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Lý do nên kiểm tra thay vì giả định là một mô hình có thể được quảng cáo là đa phương thức, có tính đa phương thức trong trọng số, mà vẫn chỉ xử lý văn bản trên endpoint mà bạn tình cờ gọi tới. Đó chính xác là trạng thái mà Hy4 flash đã ở trong năm ngày: bộ mã hóa thị giác được phát hành cùng các checkpoint, và các stack phục vụ đang bắt kịp từng PR một.

Điều này để lại sự lựa chọn ở đâu

If you need image understanding from the Hunyuan line today and you need it to be a decided question rather than an integration project, the answer is still T​encent Hy4. It went generally available on 4 November with vision and computer use as headline capabilities, and its documented behaviour includes reading fine-grained charts and diagrams rather than the single-image-per-prompt arrangement the flash recipe defaults to. It is also several times the price: $0.834 input and $2.501 output per million on the same catalogue. Hy4 flash at $0.0175 is a commodity-priced model with a vision path that is real but newly wired.

The decision rule that follows is unglamorous. Route text and document work to Hy4 flash now. Route image work to Tencent Hy4 until either T​encent publishes instruct-model multimodal scores or the SGLang stack merges and a released wheel can be tested — whichever comes first, and neither has happened as of 21 November. There is no reason to pick one and abandon the other: both are on one key here, provider list prices pass through at 0% markup, and a routing rule can send image-bearing requests to the flagship while text goes to the cheap model without a second contract or a code change. Automatic failover covers the case where the newer vision path turns out to be the one that breaks under real images.

Xem gì tiếp theo

Ba điều sẽ làm thay đổi bài viết này, và mỗi điều đều có thể kiểm chứng được.

Việc hợp nhất toàn bộ stack. PR thị giác được xếp chồng lên một PR văn bản mà bản thân PR đó vẫn chưa được hợp nhất; cả hai đều cần được đánh giá và CI chưa chạy trên PR nào. Cho đến khi một wheel được phát hành, không người dùng SGLang nào có thể phục vụ ảnh Hy4 flash, bất kể diff nói gì.

T​encent publishing instruct-model multimodal numbers. The card's multimodal table covers base checkpoints only, and that is an unusual omission for a launch that led with multimodality. A full-set MMMU-Pro row for Hy4 flash instruct, run by T​encent or by an independent evaluator, would replace every estimate in this article with a measurement.

Artificial Analysis adding the model. There is no Hy4 flash entry on the leaderboard as of 21 November — the model URL 404s — so there is no third-party index, speed or price-normalised score to check any of this against. Launch-week coverage of the model leaned on T​encent's own WorkIndex suite and an 85-person internal blind test; neither touches vision.

Cho đến khi một trong số đó thành hiện thực, 74.8 chỉ nên nằm trong một câu gắn liền với các bộ định tính của nó: một checkpoint instruct, 300 mục, nỗ lực suy luận cao, ba lần chạy, một lần kiểm tra nhanh của một tác giả framework trên một PR chưa được review. Đó là con số tốt nhất hiện có cho phần thị giác của Hy4 flash. Ngưỡng đó thấp hơn vẻ ngoài của nó, và cách hiểu trung thực là phần thị giác của mô hình giờ đây đã được chứng minh là có triển khai nhưng vẫn phần lớn chưa được đo lường.

So sánh trong bài viết này1

Phát hiện từ bài viết này