Eine generierte Titelkarte mit der Aufschrift „Hy4 flash vision: zwei Checkpoints, zwei Zahlen“, die zwei Karten nebeneinander zeigt: 74,8 für das Hy4 flash instruct-Modell auf einem 300 Elemente umfassenden MMMU-Pro-Ausschnitt aus SGLang PR 51937 und 52,0 für den Hy4 flash base-Checkpoint auf der Modellkarte von Tencent, getrennt durch einen „kein Gewinn“-Trenner.
Guides & Insights

Hy4 flash Vision: 74,8 MMMU-Pro, und warum 52,0 weiterhin Bestand hat

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Am 20. November 2026 schlug ein offener Pull Request gegen SGLang Vision-Language-Unterstützung fürHunyuan-4-Flash vor – den Namen des Frameworks fürHy4 flash, das 220-Milliarden-Parameter-Modell, das T​encent am 16. November in seine API aufnahm und einen Tag später als Gewichte freigab. Tief in der PR-Beschreibung, unter einer Überschrift namens „Accuracy / Tests“, verbirgt sich die erste MMMU-Pro-Zahl, die jemand für einen instruct-Build des Modells veröffentlicht hat: 74,78 %, gemittelt über drei Läufe auf den ersten 300 Beispielen. T​encents eigene Modellkarte meldet 52,0 auf MMMU-Pro für Hy4 flash. Die beiden Werte liegen 22,8 Punkte auseinander, und sie sollten nicht voneinander abgezogen werden, weil sie nicht dasselbe beschreiben. Herauszufinden, was jeder einzelne tatsächlich beschreibt, ist der größte Teil dessen, was ein Leser braucht, bevor er entscheidet, ob T​encent Hy4 das Modell bleibt, das man heranzieht, wenn ein Bild im Spiel ist.

Was der Pull-Request tatsächlich enthält

Der PR ist einer von drei, die eine frühere Omnibus-Änderung aufteilen, und er ist ausdrücklich auf der Textmodell-Änderung aufgebaut. Stand 21. November ist er offen, nicht gemergt, enthält einen einzelnen Commit über acht Dateien (+1.883 / −13), und alle drei CI-Slots zeigen „Übersprungen – füge das Label run-ci hinzu“. Es wurde keine Code-Owner-Überprüfung abgeschlossen. Die Textunterstützung, auf der er aufbaut, ist ebenfalls noch offen. Es ist also nichts davon in einem veröffentlichten SGLang-Build ausgeliefert worden; der Cookbook-Eintrag für Hy4 flash beschreibt noch immer ausschließlich Text-Serving und sagt unumwunden, dass die Unterstützung „noch nicht in einem veröffentlichten SGLang-Wheel enthalten ist“.

Was der Diff macht, ist, den Vision-Tower durchgängig in den Serving-Pfad einzubinden. Die entscheidenden Teile:

• Das ViT und sein Projektor sind über Attention-Tensor-Parallelität gesharded, sodass der Image-Tower auf einem Multi-GPU-Knoten keinen Single-Rank-Engpass darstellt.

• Die multimodale Positionskodierung ist interleaved MRoPE – Positionsangaben (t, h, w) pro Slot –, die sowohl in die Attention-Layer als auch in die IndexPool-RoPE übernommen wird, welche die Sparse-Layer zur Kontextauswahl verwenden; genau dieser Teil würde unbemerkt brechen, wenn nur der Dense-Pfad umgestellt würde.

• Dem Engram-Hashing wird beigebracht, Bild- und Video-Token-IDs wiederherzustellen, die unter Padding-Werten liegen, und sie beim Hashing zu überspringen, damit die n-Gramm-Speichertabellen keine Medientoken verbrauchen, als wären sie Text.

• Ein language_model_only-Flag ermöglicht es derselben Engine, das Textmodell zu bedienen, ohne den multimodalen Pfad überhaupt erst aufzusetzen.

Dieses letzte Detail ist die ehrliche Zusammenfassung davon, wo das Ganze steht: Der Code ist so geschrieben, dass Vision optional ist, weil das bei den meisten Deployments eines Modells mit 12B aktiven Parametern auch der Fall sein wird.

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

Warum 74,8 kein 22-Punkte-Sprung ist

Drei Dinge unterscheiden die Zahl aus der Pressemitteilung von der der Karte, und jedes davon verschiebt die Zahl in die schmeichelhafte Richtung.

Der erste Punkt ist der Checkpoint. Tencents Karte meldet multimodale Scores für Basis-Modelle ausschließlich, und sagt es mit genau diesen Worten: „Multimodale Ergebnisse werden nur für Hy4 flash Base und Hy4 Base berichtet.“ Hy4 flash Base erzielt 52,0 auf MMMU-Pro (Standard, 10 Optionen, 4-Shot); das größere Hy4 Base erzielt 59,6. Die Instruct-Checkpoints – die tatsächlich deployt werden – haben überhaupt keinen veröffentlichten multimodalen Score. Der PR misst das Instruct-Modell und füllt damit eine echte Lücke, statt eine Zahl zu übertreffen, mit der es verglichen wurde.

Das zweite ist die Elicitation. Der PR läuft bei Temperatur 0.9 und top-p 1.0 mit reasoning_effort=high und einem Completion-Budget von 32.768 Token. Die Basisevaluierung von T​encent ist 4-Shot, ohne Chain of Thought. Bei einer Multiple-Choice-Aufgabe mit zehn Optionen wird ein Instruct-Modell, dem erlaubt wird, vor der Antwort zu überlegen, ein 4-Shot-Basismodell fast konstruktionsbedingt übertreffen; diese Lücke ist das Post-Training, keine Verbesserung der Vision. Betrachte 74,8 als „das Instruct-Modell, richtig abgefragt“ und 52,0 als „das Basismodell, auf die Standardweise abgefragt“. Es sind zwei verschiedene Messungen zweier verschiedener Artefakte.

Der dritte Punkt ist die Teilmenge. Die PR bewertet die ersten 300 Beispiele, nicht den vollständigen Satz, und sagt nicht, wie diese 300 ausgewählt wurden. Bei 300 Elementen und einem Anteil nahe 0,75 beträgt allein der Standardfehler der Stichprobe etwa 2,5 Punkte, sodass ein 95%-Intervall für diese einzelne Zahl grob ±5 Punkte umfasst, bevor irgendein Effekt der Fragenreihenfolge hinzukommt. Die drei eigenen Läufe der PR ergaben 74,33, 75,33 und 74,67 — eine Spanne von einem Punkt, die schmaler als der Stichprobenfehler ist, und das ist wissenswert: Die Varianz von Lauf zu Lauf auf einer festen Teilmenge unterschätzt, wie stark sich die Zahl bei einem anderen Satz von 300 Fragen verschieben würde. Eine zweite Konfiguration in derselben PR, der vollständige Stack mit dem Code für spekulative Dekodierung, aber ohne Spekulation, erreicht im Mittel 74,00 auf derselben Teilmenge und zeigt über ihre drei Läufe eine Spanne von 5,3 Punkten. Keine der beiden Zahlen ist falsch. Keine ist ein Benchmark-Ergebnis in dem Sinne, den eine Beschaffungsentscheidung benötigt.

Was der PR tatsächlich belegt – und dieser Teil ist solide –, ist, dass die Pipeline korrekt verdrahtet ist und nicht bloß kompiliert. GSM8K erzielt bei 200 Elementen 97,00 %, wenn der Vision-Tower geladen ist – innerhalb eines Punkts von dem, was der rein textbasierte Zweig berichtet hat, sodass der multimodale Pfad den Sprachkopf nicht verschlechtert. Synthetische Bild-Prompts zu Formen und Farben, OCR, ein Balkendiagramm und eine Linienzählung wurden korrekt beantwortet. Das ist ein bestandener Smoke-Test, und das ist die richtige Aussage, die man über einen PR treffen sollte: Der Code funktioniert. Die Genauigkeitszahl ist ein Nebeneffekt seiner Ausführung.

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

Die Video-Tokens, die nicht Video bedeuten

Der PR-Titel nennt Bild- und Videoeingabe, der Diff enthält video_start_token_id, video_end_token_id und video_token_id, und einer der geänderten Prozessoren übernimmt das Sampling von Videoframes. Auf dieser Grundlage wäre es einfach, Hy4 flash als Videomodell einzuordnen. Tun Sie das nicht. Derselbe Diff enthält eine ausdrückliche Absicherung – „HYV4 vision does not support video token compression“ –, wobei sowohl die Flags für räumliche als auch für zeitliche Kompression auf false gesetzt sind. Die Modellkarte des Anbieters beansprucht nie Video: Dort heißt es, das Modell „akzeptiert nativ Text- und Bildeingaben, generiert Text“. Und das vLLM-Rezept, das das Modell bereits bereitstellt, setzt --limit-mm-per-prompt '{"image":1,"video":0}', also ein Bild und kein Video pro Prompt.

Die Video-Konstanten sind also Leitungsinfrastruktur für einen an beiden Enden geschlossenen Pfad: Das Framework erkennt die Token-IDs, damit es an ihnen nicht erstickt, und deaktiviert die Kompression, die eine echte Videoimplementierung bräuchte. Wer in einer PR-Zusammenfassung „Bild- und Videoeingabe“ liest und eine Video-Pipeline um ein offenes 220B-Modell herum plant, liest eine Roadmap, keine Fähigkeit.

Was Sie heute tatsächlich ausführen können

Das Bild unterscheidet sich je nach Laufzeit – das ist die praktische Erkenntnis.

• vLLM — bedient bereits den Vision-Pfad. Das veröffentlichte Rezept nennt die Klasse HYV4FlashVLForConditionalGeneration und erlaubt standardmäßig ein Bild pro Prompt. Das ist die Route, die es derzeit gibt.

• SGLang — Text-Serving ist über das Image lmsysorg/sglang:hy4-flash verfügbar, und die Cookbook-Seite dafür erwähnt nirgends Vision, Bild oder Multimodalität. Vision ist der oben genannte offene PR; es wird verfügbar, sobald der Stack zusammengeführt wird und ein Wheel ausgeliefert wird, und nicht vorher.

• Tencent-eigene API – die Bildeingabe war Teil der Launch-Beschreibung, und unser eigener Katalog führt tencent/hy4-flash als Text+Bild→Text mit einem Kontext von 1.048.576 Token, 65.536 Ausgabe-Token sowie 0,0175 $ pro Million Eingabe gegenüber 0,07025 $ pro Million Ausgabe. Das sind heute ausgelesene Katalogwerte, keine erneute Wiedergabe der RMB-Preiskarte aus der Launch-Woche, und die beiden stimmen nicht überein – die Festlandspreise entsprechen umgerechnet etwa dem Vierfachen des Eingabepreises. Wir haben für diesen Beitrag keinen Bildaufruf gesendet, um den Vision-Teil zu verifizieren, und die Abweichung zwischen den beiden Serving-Frameworks ist ein guter Grund, es selbst zu testen, bevor man sich darauf verlässt.

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

Der Grund, zu testen statt anzunehmen, ist, dass ein Modell als multimodal beworben werden kann, in seinen Gewichten multimodal sein kann und auf dem Endpunkt, den man zufällig aufruft, dennoch nur Text verarbeiten kann. Genau in diesem Zustand befindet sich Hy4 flash seit fünf Tagen: Der Vision-Encoder wurde mit den Checkpoints ausgeliefert, und die Serving-Stacks holen einen PR nach dem anderen auf.

Was das für die Wahl bedeutet

Wenn Sie heute Bildverständnis aus der Hunyuan-Reihe benötigen und es sich dabei um eine klare Entscheidung und nicht um ein Integrationsprojekt handeln soll, lautet die Antwort weiterhin T​encent Hy4. Es wurde am 4. November allgemein verfügbar, mit Vision und Computer Use als Hauptfunktionen, und sein dokumentiertes Verhalten umfasst das Lesen fein granularer Diagramme und Schaubilder statt der Ein-Bild-pro-Prompt-Anordnung, die das Flash-Rezept standardmäßig vorsieht. Es ist außerdem um ein Mehrfaches teurer: 0,834 $ Eingabe und 2,501 $ Ausgabe pro Million im selben Katalog. Hy4 flash zu 0,0175 $ ist ein Modell zum Massenwarenpreis mit einem Vision-Pfad, der real, aber neu angebunden ist.

Die folgende Entscheidungsregel ist unspektakulär. Text- und Dokumentenarbeit ab sofort an Hy4 flash leiten. Bildarbeit an Tencent Hy4 leiten bis entweder T​encent multimodale Scores für Instruct-Modelle veröffentlicht oder der SGLang-Stack gemergt wird und ein veröffentlichtes Wheel getestet werden kann — je nachdem, was zuerst eintritt, und keines davon ist bis zum 21. November geschehen. Es gibt keinen Grund, das eine zu wählen und das andere aufzugeben: Beide laufen hier über einen Schlüssel, Listenpreise der Anbieter werden mit 0 % Aufschlag durchgereicht, und eine Routing-Regel kann bildhaltige Anfragen an das Flaggschiff senden, während Text an das günstige Modell geht, ohne einen zweiten Vertrag oder eine Codeänderung. Automatisches Failover deckt den Fall ab, in dem sich der neuere Vision-Pfad als derjenige erweist, der unter echten Bildern bricht.

Was als Nächstes ansehen

Drei Dinge würden diesen Beitrag verändern, und jedes davon ist überprüfbar.

Das Zusammenführen des Stacks. Der Vision-PR sitzt auf einem Text-PR, der selbst noch nicht gemergt ist; beide müssen noch geprüft werden, und CI ist für keinen von beiden gelaufen. Solange kein Wheel veröffentlicht ist, kann kein SGLang-Nutzer Hy4-flash-Images bereitstellen, unabhängig davon, was der Diff sagt.

T​encent veröffentlicht multimodale Kennzahlen für Instruct-Modelle. Die multimodale Tabelle der Karte deckt nur Basis-Checkpoints ab, und das ist eine ungewöhnliche Auslassung für einen Launch, der mit Multimodalität antrat. Eine Full-Set-MMMU-Pro-Zeile für Hy4 flash instruct, durchgeführt von T​encent oder von einem unabhängigen Evaluator, würde jede Schätzung in diesem Artikel durch eine Messung ersetzen.

Artificial Analysis nimmt das Modell auf. Mit Stand vom 21. November gibt es keinen Eintrag für Hy4 flash in der Rangliste – die Modell-URL liefert einen 404-Fehler –, daher gibt es weder einen Drittanbieter-Index noch eine geschwindigkeits- oder preisnormalisierte Bewertung, gegen die sich all dies prüfen ließe. Die Berichterstattung in der Markteinführungswoche des Modells stützte sich auf Tencents eigene WorkIndex-Suite und einen internen Blindtest mit 85 Personen; keines von beiden befasst sich mit Vision.

Bis eines davon erscheint, gehört 74.8 nur in einen Satz mit den zugehörigen Einschränkungen: einem Instruct-Checkpoint, 300 Elementen, hohem Reasoning-Aufwand, drei Durchläufen, einer Stichprobenprüfung eines Framework-Autors an einem PR, der noch nicht überprüft wurde. Es ist die beste Zahl, die für die Vision-Seite von Hy4 flash existiert. Das ist eine niedrigere Hürde, als es klingt, und die ehrliche Lesart ist, dass die Vision des Modells jetzt nachweislich implementiert und noch weitgehend ungemessen ist.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt