生成されたタイトルカードには「Hy4 flash vision:2つのチェックポイント、2つの数値」と書かれ、2枚のカードが並べて表示されている。SGLang PR 51937の300項目のMMMU-ProスライスでHy4 flash instructモデルが74.8、TencentのモデルカードでHy4 flashベースチェックポイントが52.0を示し、その間は「向上ではない」という区切りで分けられている。
Guides & Insights

Hy4 flash Vision:MMMU-Proで74.8、そして52.0が依然として通用する理由

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年11月20日、SGLang に対するオープンなプルリクエストで、視覚言語サポートが提案された。対象はHunyuan-4-Flash — フレームワークがHy4 flashと呼ぶ名称で、T​encent が11月16日に API に投入し、翌日に重みとして公開した2200億パラメータのモデルである。PR の説明文には、「Accuracy / Tests」という見出しの下に、このモデルのinstruct版について誰かが公表した最初の MMMU-Pro スコアが埋もれている。それは最初の300例に対する3回の実行の平均で74.78%だ。T​encent 自身のモデルカードは、Hy4 flash の MMMU-Pro で52.0を報告している。この2つの数値は22.8ポイント離れているが、同じものを説明していないため、互いに差し引くべきではない。それぞれが何を説明しているのかを突き止めることが、画像が関わる場合にT​encent Hy4が呼び出すべきモデルであり続けるかどうかを判断する前に、読者が必要とする事柄の大半である。

プルリクエストに実際に含まれている内容

このPRは、以前の包括的な変更を分割した3つのPRのうちの1つであり、テキストモデル用のPRの上に明示的に積まれています。11月21日時点ではオープンで未マージのままで、8ファイルにまたがる単一のコミット(+1,883 / −13)を含み、3つのCIスロットはすべて「Skipped — add the run-ci label」と表示されています。コードオーナーによるレビューは完了していません。基盤となっているテキストサポートもまだオープンです。そのため、ここにあるものはリリース済みのSGLangビルドにはまだ含まれていません。Hy4 flashのcookbookエントリは依然としてテキスト提供のみを説明しており、そのサポートは「まだリリース済みのSGLang wheelには含まれていません」と明言しています。

この diff が行うのは、ビジョンタワーをサービングパスにエンドツーエンドで組み込むことです。重要なのは次の部分です:

• ViT とそのプロジェクタはアテンションのテンソル並列によってシャーディングされるため、マルチ GPU ノード上で画像タワーが単一ランクのボトルネックになることはありません。

• マルチモーダル位置エンコーディングはインターリーブされたMRoPE(スロットごとの(t, h, w)位置)であり、アテンション層と、スパース層がコンテキスト選択に使うIndexPool ropeの両方に引き継がれる。これは、デンスパスだけを変換した場合に静かに壊れる部分である。

• Engramハッシュは、パディング値の下に存在する画像・動画のトークンIDを復元し、それらをハッシュの対象から除外するように教示されているため、n-gramメモリテーブルがメディアトークンをテキストであるかのように消費してしまうことはありません。

• language_model_only フラグを使用すると、マルチモーダル経路をまったく立ち上げることなく、同じエンジンでテキストモデルを提供できます。

その最後の詳細は、これがどういう状況にあるかを正直に要約している。コードは視覚機能をオプションにする形で書かれている。なぜなら、12Bアクティブモデルのほとんどの導入では、視覚機能はオプションになるからだ。

A generated scoreboard titled 'Hy4 flash vision — the scoreboard' listing six rows: MMMU-Pro instruct 74.8 unaudited on a 300-item slice; MMMU-Pro base checkpoint 52.0 four-shot; vision encoder SigLIP2-So400m with 27 layers; video input token ids only with compression off; vLLM vision serving shipping today; SGLang vision serving an open, unreviewed pull request, with a footer noting the two MMMU-Pro figures are different measurements and not comparable.

なぜ74.8は22ポイントの急上昇ではないのか

PRの数字とカードの数字には3つの違いがあり、そのどれもが数値を都合のよい方向へ動かしている。

最初はチェックポイントです。Tencentのカードがマルチモーダルスコアを報告しているのはbaseモデルのみであり、次のように明言しています:「マルチモーダル結果はHy4 flash BaseとHy4 Baseについてのみ報告されています」。Hy4 flash BaseはMMMU-Pro(Standard、10選択肢、4-shot)で52.0を記録し、より大きなHy4 Baseは59.6を記録しています。instructチェックポイント、つまり実際に誰もがデプロイするものには、公表されたマルチモーダルスコアがまったくありません。このPRはinstructモデルを評価しているため、比較対象の数値を上回っているのではなく、真の空白を埋めているのです。

2つ目は誘出(elicitation)です。PRは temperature 0.9、top-p 1.0、reasoning_effort=high、32,768トークンの完了予算で実行されます。T​encentのベース評価は4ショットで、連鎖思考(chain of thought)はありません。10択の多肢選択タスクでは、回答前に推論することを許された instruct モデルが、ほぼ構造上 4-shot のベースモデルを上回ります。その差は事後学習(post-training)によるものであり、視覚能力の改善ではありません。74.8を「適切に問い合わせた instruct モデル」、52.0を「標準的な方法で問い合わせたベースモデル」とみなしてください。これらは2つの異なるアーティファクトの2つの異なる測定値です。

3つ目はサブセットです。PRは最初の300例を評価しており、全セットではありません。また、その300例がどのように抽出されたかは述べていません。300項目で比率が0.75付近の場合、サンプリング標準誤差だけで約2.5ポイントです。したがって、その単一の数値に対する95%区間は、質問順序の効果を考慮する前でも概ね±5ポイントです。PR自身の3回の実行は74.33、75.33、74.67で、幅は1ポイントでした。これはサンプリング誤差より狭く、知っておく価値があります:固定サブセットでの実行間分散は、別の300問では数値がどれだけ動くかを過小評価します。同じPRの2つ目の構成、つまり投機的デコーディングのコードはあるが投機を行わないフルスタックは、同じサブセットで平均74.00となり、3回の実行で5.3ポイントの幅を示します。どちらの数値も間違いではありません。どちらも、調達判断に必要な意味でのベンチマーク結果ではありません。

PRが確かに示しているのは——そしてこの点は確かだ——パイプラインが単にコンパイルを通るだけでなく、正しく配線されているということだ。ビジョンタワーをロードした状態で、200件のGSM8Kは97.00%を記録する。これはテキストのみのブランチが報告した値から1ポイント以内であり、したがってマルチモーダル経路が言語ヘッドを劣化させていない。図形や色、OCR、棒グラフ、線の本数を扱う合成画像プロンプトには正しく回答された。それは合格したスモークテストであり、PRについて下すべき正しい主張は「コードは動く」ということだ。精度の数値は、それを実行したことの副産物にすぎない。

A screenshot of the SGLang pull request 51937 page on GitHub, showing the title '[Feat] models: Hunyuan-4-Flash vision-language support', a single commit from branch hy4f/4-vl into hy4f/3-text-model, eight files changed, and an Accuracy / Tests section listing three MMMU-Pro runs at 74.33, 75.33 and 74.67 percent on the first 300 examples plus GSM8K at 97.00 percent.

動画を意味しない動画トークン

PR のタイトルには画像と動画の入力とあり、diff には video_start_token_id、video_end_token_id、video_token_id が含まれ、変更されたプロセッサの 1 つが動画フレームのサンプリングを処理しています。それに基づいて Hy4 flash を動画モデルとして登録するのは簡単でしょう。そうしないでください。同じ diff には明確なガード —「HYV4 vision does not support video token compression」— があり、空間圧縮と時間圧縮のフラグはどちらも false に設定されています。ベンダーのモデルカードは動画を一切うたっていません。モデルは「natively accepts text and image inputs, generates text」と書かれています。そして、すでにモデルを提供している vLLM レシピは --limit-mm-per-prompt '{"image":1,"video":0}' を設定しており、プロンプトごとに画像 1 枚、動画 0 本です。

つまり、動画用の定数は、両端が閉じた経路のための配管にすぎない。フレームワークはトークンIDを認識してそれらで処理が詰まらないようにし、実際の動画実装に必要な圧縮を無効化している。PR概要の「画像および動画入力」を読んで、220Bのオープンウェイトモデルを中心に動画パイプラインを計画している人は、能力ではなくロードマップを読んでいるのだ。

今日実際に実行できるもの

ランタイムによって状況が異なる、というのが実用的な要点です。

• vLLM — すでにビジョンパスを提供しています。公開されているレシピでは、クラス名を HYV4FlashVLForConditionalGeneration としており、デフォルトで1プロンプトにつき1画像を許可しています。これが現在存在するルートです。

• SGLang — テキストサービングは lmsysorg/sglang:hy4-flash イメージを通じて利用可能で、その cookbook ページには vision、image、multimodal に関する記述がどこにもありません。Vision は上記のオープン PR であり、スタックがマージされて wheel が出荷された時点で利用可能になるのであって、それより前ではありません。

• Tencent自身のAPI — 画像入力はローンチ時の説明に含まれており、当社のカタログでは tencent/hy4-flash を text+image→text として掲載しています。コンテキストは1,048,576トークン、出力は65,536トークン、価格は入力100万トークンあたり$0.0175、出力100万トークンあたり$0.07025です。これらは本日時点で読んだカタログ値であり、ローンチ週の人民元建て料金表を再引用したものではありません。そして両者は一致していません — 中国本土の料金は換算すると入力価格のおよそ4倍になります。本記事のために画像入力を検証する画像呼び出しは送信しておらず、2つのサービングフレームワーク間の不一致は、依存する前にご自身でテストする十分な理由です。

A screenshot of the OrcaRouter catalogue page for tencent/hy4-flash, showing the model described as the cost-efficient variant of Tencent Hunyuan Hy4 with a 1M-token context window, text and image input with text output, 65,536 maximum output tokens, and a published price of $0.02 input and $0.07 output per million tokens.

推測ではなくテストする理由は、モデルがマルチモーダルとして宣伝され、重みの上ではマルチモーダルであっても、たまたま呼び出したエンドポイントではテキスト専用のままである可能性があるからです。まさにこれが、Hy4 flash が5日間にわたって置かれてきた状態です。ビジョンエンコーダはチェックポイントとともに出荷され、サービングスタックはPRひとつずつ追いついてきています。

これによって選択がどうなるか

今日Hunyuanラインナップから画像理解を利用する必要があり、それを統合プロジェクトではなく確定した問いとして扱う必要があるなら、答えは依然としてTencent Hy4です。これは11月4日に一般提供を開始し、ビジョンとコンピュータ操作を主要機能として掲げています。また、その文書化された動作には、flashレシピが既定とする1プロンプトあたり1画像という構成ではなく、細粒度のグラフや図を読み取ることが含まれています。価格も数倍で、同じカタログで100万トークンあたり入力$0.834、出力$2.501です。$0.0175のHy4 flashはコモディティ価格のモデルで、視覚経路は実在しますが、新たに接続されたばかりです。

これから示す判断ルールは地味だ。テキストと文書の作業は今すぐ Hy4 flash に回す。画像の作業は Tencent Hy4 に回す。ただし、Tencent が instruct モデルのマルチモーダルスコアを公開するか、SGLang スタックがマージされてリリース済み wheel をテストできるようになるまで — どちらか早い方までで、11月21日時点ではどちらも起きていない。一方を選んでもう一方を捨てる理由はない。ここでは両方とも1つのキー上にあり、プロバイダーの定価は0%マークアップでパススルーされ、ルーティングルールによって、画像を含むリクエストはフラッグシップに、テキストは安価なモデルに送ることができ、2つ目の契約もコード変更も不要だ。自動フェイルオーバーは、新しいビジョンパスが実際の画像で壊れる方だった場合に対処する。

次に見るもの

この記事を変えるだろう3つの要素があり、そのいずれも検証可能だ。

スタックのマージ。ビジョン PR は、それ自体が未マージのテキスト PR の上にあり、どちらもレビューが必要で、CI はどちらでも実行されていません。wheel が出荷されるまで、diff に何と書かれていようと、SGLang ユーザーは Hy4 flash 画像を配信できません。

T​encentはinstructモデルのマルチモーダル数値を公開している。カードのマルチモーダル表はベースチェックポイントのみを対象としており、マルチモーダルを前面に押し出したローンチとしては異例の欠落だ。Hy4 flash instructについて、T​encent自身または独立した評価者によって実行されたフルセットのMMMU-Pro行があれば、この記事のすべての推定値は実測値に置き換わるだろう。

Artificial Analysisがこのモデルを追加している。11月21日時点でリーダーボードにHy4 flashの項目はなく、モデルのURLは404になる。したがって、これを照合できる第三者のインデックス、速度、価格で正規化したスコアは存在しない。このモデルのローンチ週の報道は、Tencent自身のWorkIndexスイートと85人による社内ブラインドテストに依拠しており、どちらもvisionには触れていない。

それらのうち一つでも公表されるまでは、74.8 は修飾条件を添えた文に置くべきだ。すなわち、instruct チェックポイント、300 項目、高い推論エフォート、3 回の実行、まだレビューされていない PR に対するフレームワーク作者の一人による抜き取り確認である。これは Hy4 flash の視覚側面について存在する最良の数値だ。それは聞こえほど高いハードルではなく、正直に読み取れば、このモデルの視覚は今や明確に実装されているが、依然として大部分は未測定だということになる。

この記事で比較したモデル1

この記事から検出