Сгенерированная карточка-заголовок с надписью «Hy4 flash vision: две контрольные точки, две цифры», на которой показаны две карточки рядом: 74.8 для instruct-модели Hy4 flash на срезе MMMU-Pro из 300 заданий из SGLang PR 51937 и 52.0 для базовой контрольной точки Hy4 flash в карточке модели Tencent, разделённые разделителем «не прирост».
Guides & Insights

Hy4 flash Vision: 74,8 MMMU-Pro, и почему 52,0 по-прежнему в силе

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

20 ноября 2026 года в открытом pull request к SGLang была предложена поддержка vision-language для Hunyuan-4-Flash — так фреймворк называет Hy4 flash, модель с 220 млрд параметров, которую T​encent выложила в свой API 16 ноября, а на следующий день открыла её веса. В описании PR, под заголовком «Accuracy / Tests», спрятано первое число MMMU-Pro, которое кто-либо опубликовал для instruct-сборки этой модели: 74,78% в среднем по трём запускам на первых 300 примерах. В собственной карточке модели T​encent указано 52,0 на MMMU-Pro для Hy4 flash. Эти два числа различаются на 22,8 пункта, и их не следует вычитать друг из друга, потому что они описывают не одно и то же. Разобраться, что именно описывает каждое из них, — это большая часть того, что нужно читателю, прежде чем решить, остаётся ли T​encent Hy4 той моделью, к которой стоит обращаться, когда речь идёт об изображении.

Что на самом деле содержит pull request

Этот PR — один из трёх, на которые было разбито более раннее общее изменение, и он явно наслоён поверх изменения для текстовой модели. По состоянию на 21 ноября он открыт, не смержен, содержит один коммит, затрагивающий восемь файлов (+1,883 / −13), а все три слота CI показывают «Skipped — add the run-ci label». Ни одно ревью владельца кода не завершено. Текстовая поддержка, на которой он основан, тоже всё ещё открыта. Таким образом, ничего из этого не попало в выпущенную сборку SGLang; запись в cookbook для Hy4 flash по-прежнему описывает только текстовое обслуживание и прямо утверждает, что поддержка «пока не входит в выпущенный wheel SGLang».

Что делает этот diff — он сквозным образом подключает vision tower к пути обслуживания. Важные составляющие:

• ViT и его проектор шардируются в рамках тензорного параллелизма по вниманию, поэтому башня изображений не является узким местом одного ранга на узле с несколькими GPU.

• Мультимодальное позиционное кодирование — это чередующийся MRoPE — позиции (t, h, w) для каждого слота — передаётся как в слои внимания, так и в rope IndexPool, который разреженные слои используют для выбора контекста; именно эта часть незаметно сломалась бы, если бы преобразовали только плотный путь.

• Хеширование Engram обучают восстанавливать идентификаторы токенов изображений и видео, скрытые под padding-значениями, и пропускать их при хешировании, чтобы таблицы памяти n-грамм не учитывали медиатокены так, будто это текст.

• Флаг language_model_only позволяет одному и тому же движку обслуживать текстовую модель, вообще не задействуя мультимодальный путь.

Эта последняя деталь — честное резюме текущего положения дел: код написан так, чтобы визуальные возможности были опциональными, поскольку для большинства развёртываний модели с 12B активных параметров они такими и будут.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Почему 74,8 — это не скачок на 22 пункта

Три вещи отличают цифру из пресс-релиза от цифры в карточке, и каждая из них сдвигает число в выгодную сторону.

Первый — это чекпоинт. Карточка Tencent сообщает мультимодальные оценки только для base-моделей и прямо говорит об этом: «Мультимодальные результаты сообщаются только для Hy4 flash Base и Hy4 Base». Hy4 flash Base набирает 52,0 балла на MMMU-Pro (Standard, 10 вариантов, 4-shot); более крупная Hy4 Base — 59,6. У instruct-чекпоинтов — тех, которые кто-то действительно развёртывает, — вообще нет опубликованной мультимодальной оценки. PR измеряет instruct-модель, поэтому он восполняет реальный пробел, а не обыгрывает показатель, с которым его сравнивали.

Второе — это элиситация. PR работает при temperature 0.9 и top-p 1.0 с reasoning_effort=high и бюджетом завершения в 32 768 токенов. Базовая оценка T​encent — 4-shot, без цепочки рассуждений. В задании с множественным выбором из десяти вариантов instruct-модель, которой разрешено рассуждать перед ответом, почти по определению победит базовую модель с 4-shot; этот разрыв — результат посттренировки, а не улучшение зрения. Рассматривайте 74,8 как «instruct-модель, которую спросили должным образом», а 52,0 — как «базовую модель, которую спросили стандартным образом». Это два разных измерения двух разных артефактов.

Третий — это подмножество. В PR оцениваются первые 300 примеров, а не весь набор, и не говорится, как были отобраны эти 300. При 300 элементах и доле около 0,75 одна только стандартная ошибка выборки составляет около 2,5 пункта, поэтому 95%-й интервал для этой единственной цифры составляет примерно ±5 пунктов ещё до какого-либо эффекта порядка вопросов. Три собственных прогона PR дали 74,33, 75,33 и 74,67 — разброс в один пункт, который меньше, чем ошибка выборки, и это стоит знать: разброс от прогона к прогону на фиксированном подмножестве занижает, насколько число сдвинулось бы на других 300 вопросах. Вторая конфигурация в том же PR — полный стек с кодом спекулятивного декодирования, но без спекуляции — в среднем даёт 74,00 на том же подмножестве и показывает разброс в 5,3 пункта по трём прогонам. Ни одна из цифр не ошибочна. Но ни одна из них и не является результатом бенчмарка в том смысле, который нужен для решения о закупке.

Что PR действительно устанавливает — и эта часть надёжна — так это то, что конвейер подключён правильно, а не просто компилируется. GSM8K на 200 элементах даёт 97,00% при загруженной vision tower — в пределах одного процентного пункта от того, что сообщала ветка, работающая только с текстом, поэтому мультимодальный путь не ухудшает языковую голову. На синтетические промпты с изображениями, охватывающие фигуры и цвета, OCR, столбчатую диаграмму и подсчёт линий, были получены правильные ответы. Это пройденный smoke-тест, и именно это уместно утверждать о PR: код работает. Число точности — побочный эффект его запуска.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Видеотокены, которые не означают видео

В заголовке PR указаны изображение и видео на входе, в диффе присутствуют video_start_token_id, video_end_token_id и video_token_id, а один из изменённых процессоров обрабатывает сэмплирование видеокадров. На этом основании было бы легко записать Hy4 flash в видеомодели. Не делайте этого. В том же диффе есть явная защитная проверка — «HYV4 vision does not support video token compression» — причём флаги пространственного и временного сжатия установлены в false. В карточке поставщика никогда не заявляется поддержка видео: там сказано, что модель «нативно принимает текстовые и графические входы и генерирует текст». А рецепт vLLM, который уже обслуживает модель, задаёт --limit-mm-per-prompt '{"image":1,"video":0}' — одно изображение и никакого видео на промпт.

Итак, видео-константы — это обвязка для пути, закрытого с обоих концов: фреймворк распознаёт id токенов, чтобы не подавиться ими, и отключает сжатие, которое понадобилось бы настоящей видеореализации. Тот, кто, прочитав «ввод изображений и видео» в описании PR, планирует видеоконвейер вокруг открытой модели на 220B, читает дорожную карту, а не описание возможности.

Что вы можете реально запустить сегодня

Картина зависит от среды выполнения — вот практический вывод.

• vLLM — уже обслуживает vision-путь. Опубликованный рецепт указывает класс HYV4FlashVLForConditionalGeneration и по умолчанию допускает одно изображение на промпт. Это маршрут, который существует сейчас.

• SGLang — текстовый сервинг доступен через образ lmsysorg/sglang:hy4-flash, и страница cookbook для него нигде не упоминает зрение, изображения или мультимодальность. Поддержка зрения — это открытый PR выше; она станет доступна, когда стек будет смержен и выйдет wheel, и не раньше.

• Собственный API Tencent — ввод изображений входил в описание запуска, а в нашем собственном каталоге tencent/hy4-flash указан как text+image→text с контекстом 1,048,576 токенов, 65,536 выходных токенов и $0.0175 за миллион входных токенов против $0.07025 за миллион выходных. Это значения каталога, считанные сегодня, а не повторная цитата карточки в юанях с недели запуска, и они не совпадают — материковые тарифы при пересчёте дают примерно в четыре раза более высокую цену за вход. Мы не отправляли запрос с изображением, чтобы проверить ветку vision для этого материала, и расхождение между двумя фреймворками обслуживания — хорошая причина проверить это самостоятельно, прежде чем полагаться на это.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Причина проверять, а не предполагать, состоит в том, что модель может рекламироваться как мультимодальная, быть мультимодальной в своих весах и при этом оставаться текстовой на том эндпоинте, который вы вызываете. Именно в таком состоянии Hy4 flash находилась пять дней: кодировщик изображений поставлялся вместе с чекпоинтами, а сервисные стеки догоняли, выпуская по одному PR за раз.

Где это оставляет выбор

Если вам сегодня нужно понимание изображений от линейки Hunyuan и нужно, чтобы это было готовым решением, а не интеграционным проектом, ответом всё ещё остаётся Tencent Hy4. Она стала общедоступной 4 ноября, а в числе главных возможностей — работа с изображениями и управление компьютером; её документированное поведение включает чтение детализированных графиков и диаграмм, а не схему «одно изображение на запрос», которая по умолчанию используется в рецепте flash. Она также стоит в несколько раз дороже: $0,834 за вход и $2,501 за выход за миллион токенов в том же каталоге. Hy4 flash за $0,0175 — это модель по цене массового продукта с реальной, но недавно подключённой поддержкой работы с изображениями.

Правило принятия решений, о котором пойдёт речь, прозаично. Направляйте текстовые и документальные задачи в Hy4 flash прямо сейчас. Направляйте задачи с изображениями в Tencent Hy4, пока T​encent не опубликует мультимодальные оценки для instruct-модели или пока стек SGLang не будет объединён и не появится возможность протестировать выпущенный wheel — смотря что наступит раньше, и по состоянию на 21 ноября не случилось ни того, ни другого. Нет причин выбирать одно и отказываться от другого: и то, и другое доступно по одному ключу здесь, цены провайдера проходят без наценки (0%), а правило маршрутизации может отправлять запросы с изображениями во флагманскую модель, тогда как текст уходит в дешёвую — без второго договора и без изменения кода. Автоматическое переключение при сбое покрывает случай, когда новый путь для работы с изображениями окажется тем самым, который ломается на реальных изображениях.

Что посмотреть дальше

Три вещи изменили бы этот материал, и каждую можно проверить.

Слияние стека. PR с поддержкой vision держится на PR с текстовой частью, который сам ещё не смержен; оба нуждаются в ревью, и ни на одном из них не запускался CI. Пока не выйдет wheel, ни один пользователь SGLang не сможет обслуживать изображения Hy4 flash, что бы ни говорилось в диффе.

T​encent публикует мультимодальные показатели instruct-модели. Мультимодальная таблица в карточке охватывает только базовые чекпоинты, и это необычное упущение для запуска, который выдвигал мультимодальность на первый план. Строка MMMU-Pro с полным набором для Hy4 flash instruct, полученная T​encent или независимым оценщиком, заменила бы каждую оценку в этой статье измерением.

Artificial Analysis добавляет модель. По состоянию на 21 ноября записи Hy4 flash в таблице лидеров нет — URL модели выдаёт 404, — поэтому нет ни стороннего индекса, ни показателей скорости, ни нормализованной по цене оценки, с которыми можно было бы всё это сверить. Публикации недели запуска модели опирались на собственный набор тестов WorkIndex от Tencent и внутренний слепой тест с участием 85 человек; ни то, ни другое не касается компьютерного зрения.

Пока ни один из них не появится, 74,8 должно стоять в предложении вместе со всеми оговорками: instruct-чекпоинт, 300 заданий, высокий уровень рассуждений, три прогона, точечная проверка одного из авторов фреймворка на PR, который ещё не прошёл ревью. Это лучшая цифра, которая существует для визуальной части Hy4 flash. Это более низкая планка, чем кажется, и честная интерпретация такова: зрение модели теперь убедительно реализовано, но по-прежнему в значительной степени не измерено.

Сравнение в этой статье1

Определено по этой статье