Xiaomi-Lens-0は既製のTransformerへの参入を狙う——だがそのマスクデコーダーが難点だ

本日12:01 UTCに、50028番のプルリクエストがhuggingface/transformersに対して、リポジトリで最も地味なタイトル「Add Xiaomi-Lens-0」でオープンしました。これはスタブではありません。差分は19ファイル・追加4,251行に及び、そのうち2,199行は単一のモデリングファイルで、さらに552行のテストと143行のドキュメントページがあります。そのステータスは目立たない部分です——オープンで、未レビュー、未マージ。その背後にあるモデルこそが興味深い部分であり、ローンチ投稿も添えられないまま6日間Hugging Face上に置かれています。Xiaomi-Lens-0は、Qwen3.5-4B上に構築された4Bのマルチモーダルモデルで、領域マスクをトークンとして書き出します。その実用的な影響は限定的ですが現実のものです。このような変更が出荷されるまで、標準のTransformersクラスではまったく読み込めません。

その隔たり——モデルがダウンロード可能であることと、モデルがありふれた存在になることの間の隔たり——がどうなるかは、今後数週間で決まる。以下の内容では、Xiaomiが公開したものと、あるフレームワークのPRが提案しているものを明確に分けて扱う。両者は確実性の水準が異なるのに、これまでの報道は両者を一緒くたにしてきたからだ。

Xiaomiが実際に出荷したもの、そしてその時期

リリースは5日間にわたって断片的に行われ、そのこともあって、製品発表というより研究結果の公開のように受け取られた。

• 論文 — 「Xiaomi-Lens-0 Technical Report」、arXiv:2610.23279、2026年10月16日提出、10月19日改訂。

• 重みとコード — 10月21日に公開、SeerRay-Lab/Xiaomi-Lens-0（Hugging Face）、および対応する推論リポジトリをGitHubで。

• ライセンス — 重みは Apache 2.0、ベースの Qwen3.5-4B の重みも Apache 2.0。カードでは、ベースを Alibaba Cloud に、改変を Xiaomi に帰属させている。

• チーム — Xiaoai Plus および Xiaomi の視覚理解グループである SeerRay チームとしてクレジットされています。

• サイズ — タイトル、論文、モデルカードの説明文のどこでも4B。Hugging FaceのメタデータではBF16で5Bパラメータと報告されている。Xiaomiはこの不一致を説明しておらず、率直に読めば「4B」は言語バックボーンを指し、ビジョンタワーを含む完全なチェックポイントはそれより大きい数になる、ということだ。

• ホスティング — カードのサイドバーには、このモデルがどの推論プロバイダーによってもデプロイされていないと表示されています。ファーストパーティ API も、呼び出せるホスト型エンドポイントもありません。

• 反響 — ウェイト公開から6日間で、直近1か月のダウンロード数は723件、Hugging Faceリポジトリのいいね数は25件。

見つからなかったのはローンチだった。Xiaomiのブログ投稿も、チームからのスレッドも、製品ページもない。報道は技術レポートと、重みが公開された後の業界記事にさかのぼる。これはモデルの日付を特定しようとする誰にとっても重要だ — 10月16日は論文、10月21日は成果物であり、どちらも告知ではない。

マスクはトークンであり、第2のモデルではない。

視覚言語モデルからピクセルマスクを得る通常の方法は、モデルにセグメンタを後付けすることです。言語側からボックスや点を取得し、それをSAMスタイルのデコーダのようなものに渡し、2つ目のネットワーク、2つ目の重みセット、2つ目のフォワードパスというコストを負担することになります。

Xiaomi-Lens-0 はそれをスキップする。モデルは特別な <|mask|> トークンを生成し、そのトークンの隠れ状態——論文では視覚潜在と呼ぶ——が、視覚エンコーダーのパッチグリッドに対するクエリとして使われる。単一の Transformer リファインメント層、線形投影、各パッチとのドット積、続いて2段の転置畳み込みアップサンプリングとシグモイド。パッチ特徴は空間マージャーの前で取得されるため、グリッドは依然として細粒度であり、これらは画像ごとに1回計算され、応答内のすべてのマスクトークンによって再利用される。

学習は2段階であり、アーキテクチャが明らかになれば特に意外な点はない。第1段階ではバックボーンを凍結し、社内データに加えてObjects365、LVIS、PACO、PhraseCut、およびRefCOCOファミリーでマスクデコーダのみを学習する。第2段階では、標準的な次トークン目的関数に加えて、ピクセルBCEとDiceを組み合わせたマスク損失を用いて、バックボーンとデコーダを同時に微調整する。

気にすべき結果はパラメータ削減ではない。マスクが最終回答だけでなく、推論の内部にも現れ得るということだ。Xiaomiは、思考の連鎖が領域を参照し、その都度マスクを出力する、根拠づけられた推論トレースで学習している。だからこそ4Bモデルは、「この2つのうち、私が拾うべきものはどちらか」に、最後の文だけでなく中間ステップにもマスクを付けて答えられるのだ。

ベンチマーク表をきちんと読み取ってください

見出しの数字は強力で、しかもすべてXiaomiのものだ。本日時点でArtificial Analysisの登録も、アリーナでの順位も、第三者による再現も存在しない。以下は、測定済みの事実ではなく、異例に詳細な付録を伴うベンダーの主張として扱うべきだ。

• Referringセグメンテーション — 8つの RefCOCO / RefCOCO+ / RefCOCOg スプリット全体で平均 cIoU 81.4、Qwen3-VL-Seg 4B は 78.6。SAM 3 は、Xiaomi の独自表で同じ8スプリットを平均すると約 71.7 となる。

• 参照理解 — Qwen3.5-4Bバックボーン比でPrec@0.5が平均5.6ポイント向上、RefCOCO+は7.6ポイント向上。

• COCO 2017 におけるマルチインスタンスグラウンディング — 平均 F1 は 63.9 で、GroundingPI の 63.0 と Qwen3-VL 4B の 46.5 を上回る。

• 推論セグメンテーション — ReasonSeg Test で 68.0 gIoU、比較したモデルの中で最高。

• 実体化参照 — RoboRefIt TestA で 87.0 gIoU。

• 計数 — CountQAで50.6、バックボーンの43.8から6.8向上。

そのうちの2つはもう一度見直す価値がある。というのも、出回っている要約がそれらを平板化してしまっているからだ。

1つ目は{{1}}COCOマルチインスタンスグラウンディング{{/1}}です。{{2}}Xiaomi-Lens-0{{/2}}は平均F1で{{3}}GroundingPI{{/3}}を上回りますが、緩いIoU 0.50のしきい値では実際には負けています——80.4 F1対81.2です。勝因は厳しい側にあります。IoU 0.95では27.4 F1対22.8です。これは本質的に異なる重要な差です。モデルはマスクの数を増やしているのではなく、よりタイトなマスクを生成しており、緩い重なりのみを確認するパイプラインではその改善を見逃します。

第二つ目はLensBenchです。これはXiaomiがモデルと同時に構築・公開した、1,200ユニット・4,800インストラクションのベンチマークです。一般、航空、運転、パノラマの画像をカバーし、人手によるレビューも行われており、RefCOCOの外で作業する人にとっては今回のリリースで最も有用なものです。同時に、このモデルが最も凡庸に見えるテストでもあります。一般画像ではQwen3.8-Maxが74.2 cIoUで首位となり、Xiaomi-Lens-0の63.9を上回っています。暗黙的な指示では、モデルはQwen3.8-Max、GPT-5.6-Sol、Gemini-3.6-Flash、Seed-2.1-Proに次ぐ5位です。Xiaomiが自社モデルが圧勝しないベンチマークを公開したことは、全勝の成績表よりも価値があります。

4Bモデルが実際に失敗するのはどこか

失敗モードはランダムではない。それは、そのものを名指す記述と、それを暗示する記述との間の隔たりである。

• 明示的から暗黙的へ — LensBench において、マスク cIoU は 71.4 から 54.7 に低下し、box Prec@0.5 は 85.0 から 70.0 に低下します。

• パノラマシーンにおける複数ターゲット — 論文内で最悪のスライスであり、box Prec@0.5 は 81.3 から 48.7 に、cIoU は 71.8 から 48.9 に低下します。

• 小さく、遮蔽され、曖昧な領域 — カードには、このような場合に予測がオブジェクトを見逃したり、不正確なボックスやマスクを生成したりする可能性があることが明記されています。

• 数え上げ — CountQA での 50.6 は 6.8 ポイントの改善であり、より行儀よく振る舞ってもなおほぼ五分五分です。

実装上の注意点もあり、これを製品に組み込む人なら誰でも痛い目を見ます。マスクは元のファイル上ではなく、プロセッサの画像キャンバス上でデコードされます。推論前にリサイズし、マッピングの逆変換を忘れると、マスクは形状は正しいのに位置がずれた状態で返ってきます。カードにはリサイズと座標マッピングを保持するよう書かれていますが、守らなかった場合にどうなるかは書かれていません。その答えは、静かに起きる、もっともらしく見えるエラーです。

プルリクエストで変わること、変わらないこと

PR 50028 は10月23日から進行中で、コミットは4つ、最後のコミットはプルリクエストが作成される約1分前に反映されました。設定ファイル、モジュール式ファイル、2,199行のモデリングファイル、プロセッサ、重み変換スクリプト、モデル・画像プロセッサ・トークナイザー向けの自動マッピング、ドキュメントページ、および552行のテストを追加します。CIボットはすでに xiaomi_lens0 の低速テストスイートの実行を要求しています。レビューはゼロ件です。

マージされれば、三つのことが変わります。読み込みは、Xiaomi のリポジトリに対する pip install -e . ではなく、AutoModel と AutoProcessor を使う形になります。モデルは、実際に人々が目にするドキュメントに掲載されます。そして、チェックポイントを扱う前に Transformers クラスが存在することを前提とするエコシステムツール——量子化、アダプター、トレーニングフレームワーク——の利用対象になります。

マージされる場合でも、4つのことは変わりません。引き続き、bfloat16とFlashAttention-2を備えたCUDA GPUが必要です。ホスト型エンドポイントは依然としてありません。マスクのデコーディングは、通常の生成呼び出しではなく、引き続きプロセッサを経由して実行されます。そして、数値は今日とまったく同じくベンダー報告値のまま維持されます。なぜなら、フレームワークへの移植は評価ではなくパッケージングの出来事だからです。

現状については率直に言っておく価値もある。オープンなPRは機能ではない。Transformersは独自のペースでマージを行い、メンテナーはまだ意見を述べておらず、この規模の移植は着地までに何度もラウンドを重ねるのが常だ。今日「Xiaomi-Lens-0がTransformersで動作するようになった」と書く人は、マージ1回分だけ先走っている。

今週それを実行するために必要なこと

公式な方法は Xiaomi 自身のパッケージで、実際の GPU マシンを前提としています。

• セットアップ — Python 3.10 以降、bfloat16 と FlashAttention-2 を備えた CUDA。その後、inference リポジトリ内で pip install -r requirements.txt と pip install -e . を実行します。

• 単一画像 — infer.py はチェックポイント、画像、テキストクエリ、出力パスを受け取り、注釈付き画像と生成されたテキストを書き出します。

• 出力形式 — ボックスは <bbox> タグ内で 0～1000 の範囲に正規化され、マスクは <mask> タグ内の <|mask|> トークンとして出力され、シンキングブロック内の内容は最終オーバーレイから除外されます。

• サービング — vLLM のサポートはありますが、同一マシン上で 2 つのサービスとして動作します。テキスト生成はポート 8000、マスクデコードは 8001 で、クライアントは画像のバイト列ではなくパスを渡すため同じマシン上にあります。MAX_PIXELS を上書きする場合は、両方のサービスで同じ値にする必要があります。

コミュニティによる2つのルートが存在し、どちらもXiaomiのものではありません。xiaomi-lens-mnnというPyPIパッケージは、torch依存なしで、CPU向けのMNN上での推論をfp16またはint8で再実装しています。また、非公式のComfyUIノードパックは、公式コードに対してビット単位で同一の出力を報告しています。どちらも有用なシグナルです。特にMNNへの移植は、アーキテクチャが単にラップするだけでなく再実装できるほど単純であることを示唆しているからです。

XiaomiはVRAMの数値も、レイテンシの測定値も、スループットの数値も公開していない。4Bモデルでは重みは問題ではなく、高解像度時のビジョンタワーとマスクデコードのパスこそが問題だ。そしてそのどちらについてもコストは公開されていない。これを前提にフリートを規模設計する前に、まず実測せよ。

今週は誰がそれをダウンロードすべきですか？

自然言語の説明からピクセル単位で正確なマスクが必要で、ハードウェアを自分で制御できるなら、これは寛容なライセンスの下で利用できる優れた4Bオプションの1つであり、重みもゲート制限なしで入手できます。明示的な指示に関する数値は数倍のサイズのモデルと競合でき、アーキテクチャによりパイプラインから第2のネットワーク全体が不要になり、Apache 2.0なので法務レビューも短く済みます。

今日ホスト型のセグメンテーションエンドポイントが必要なら、これはそれではありません。Xiaomi-Lens-0 は OrcaRouter のカタログにありません。当社はそれを提供しておらず、ここにある内容をそう主張していると読むべきでもありません。当社が提供しているのは比較用のセットです。本当の問いが、4B のオープンモデルがあなたの画像でホスト型ビジョンモデルを上回るかどうかなら、誠実な方法は Lens-0 をローカルで実行し、ホスト側を 1 つのキーで呼び出すことです。Qwen3-VL-8B-Instruct はたとえば、100 万入力トークンあたり $0.18、100 万出力トークンあたり $0.70 で利用でき、プロバイダーの定価でマークアップなしにパススルーされ、同じキーで カタログの残りにもアクセスできます。セカンドオピニオンが欲しい場合や、あるプロバイダーが劣化したときの自動フェイルオーバーが必要な場合に。あなたのデータでのその比較は、論文のどの表よりも価値があります。

何がこの評価を変えるでしょうか

4つのこと、重要度が高いと思われる順に。

PR 50028 のマージ。なぜなら、それは研究用の成果物を、通常の Python 環境で読み込めるものに変えるからだ。Xiaomi 以外の誰かによる LensBench または RefCOCO での独立した評価。なぜなら、現在の数値は著者が一人だけで、論文自身の弱いスライスは平均が実際のばらつきを隠していることを示唆しているからだ。vLLM または SGLang におけるネイティブなマスクパスで、2サービス構成を単一エンドポイントに集約するもの。これはデモとデプロイの違いになる。そして、誰かによるホスト型提供。これがあればモデルはプロジェクトではなく明細項目になる。

それまでは、正確な説明はこうだ。Xiaomi-Lens-0 は、実在し、ダウンロード可能な Apache-2.0 の 4B モデルであり、セグメンテーションへの異例かつ十分に文書化されたアプローチを採り、公開から6日で、ベンダーによる強い数値、それを手放しで褒めない公開ベンチマーク、そして出荷済みではなく提案段階にあるフレームワーク移植を備えている。それは、「Xiaomi が Segment Anything のキラーをただ投入した」とか「マージされるまでは見るものはない」のどちらよりも、知っておく価値が高い。