Xiaomi-Lens-0 veut s’intégrer aux Transformers standard — et son décodeur de masque est le hic

Aujourd'hui à 12:01 UTC, une pull request numérotée 50028 a été ouverte sur huggingface/transformers avec le titre le moins spectaculaire du dépôt : « Add Xiaomi-Lens-0 ». Ce n'est pas un stub. Le diff porte sur 19 fichiers et 4 251 lignes ajoutées, dont 2 199 dans un seul fichier de modélisation, plus 552 lignes de tests et une page de documentation de 143 lignes. Son statut est la partie banale — ouverte, non relue, non fusionnée. Le modèle derrière est la partie intéressante, et il est resté sur Hugging Face pendant six jours sans aucun article de lancement associé. Xiaomi-Lens-0 est un modèle multimodal 4B construit sur Qwen3.5-4B qui écrit les masques de région sous forme de tokens, et la conséquence pratique est limitée mais réelle : tant qu'une modification comme celle-ci n'est pas livrée, il est impossible de le charger avec une classe Transformers standard.

Cet écart — entre un modèle téléchargeable et un modèle ordinaire — est ce que les prochaines semaines décideront. Tout ce qui suit distingue ce que Xiaomi a publié de ce que propose une PR de framework, car ce sont deux niveaux de certitude différents et la couverture à ce jour les a confondus.

Ce que Xiaomi a réellement livré, et quand

La publication s’est faite par morceaux sur cinq jours, ce qui explique en partie pourquoi elle a été perçue comme une livraison de recherche plutôt qu’un lancement de produit.

• Article — « Xiaomi-Lens-0 Technical Report », arXiv:2610.23279, soumis le 16 octobre 2026, révisé le 19 octobre.

Poids et code — publics le 21 octobre sur SeerRay-Lab/Xiaomi-Lens-0 sur Hugging Face, avec un dépôt d’inférence correspondant sur GitHub.

• Licence — Apache 2.0 sur les poids, les poids de base Qwen3.5-4B étant également sous Apache 2.0. La fiche attribue la base à Alibaba Cloud et les modifications à Xiaomi.

• Équipe — créditée sous le nom de Xiaoai Plus et de l'équipe SeerRay, qui est le groupe de compréhension visuelle de Xiaomi.

• Taille — 4B partout dans le titre, le texte de l’article et de la fiche modèle ; les métadonnées Hugging Face indiquent 5B paramètres en BF16. Xiaomi n’explique pas cette divergence, et l’interprétation honnête est que « 4B » décrit le socle linguistique, tandis que le checkpoint complet avec la tour de vision se situe plus haut.

• Hébergement — la barre latérale de la fiche indique que le modèle n'est déployé par aucun fournisseur d'inférence. Il n'existe ni API propriétaire ni point de terminaison hébergé à appeler.

• Traction — 723 téléchargements au cours du dernier mois et 25 mentions « j'aime » sur le dépôt Hugging Face, six jours après la mise en ligne des poids.

Ce que je n’ai pas trouvé, c’est un lancement : aucun billet de blog Xiaomi, aucun fil de discussion de l’équipe, aucune page produit. La couverture remonte au rapport technique et aux articles de la presse spécialisée après l’apparition des poids. Cela importe pour quiconque cherche à dater le modèle — le 16 octobre correspond à l’article, le 21 octobre à l’artefact, et ni l’un ni l’autre n’est une annonce.

Un masque est un jeton, pas un second modèle

La façon habituelle d’obtenir des masques de pixels à partir d’un modèle vision-langage consiste à lui greffer un segmenteur. On obtient des boîtes ou des points du côté langage, on les confie à quelque chose comme un décodeur de type SAM, et l’on paie le prix d’un second réseau, d’un second jeu de poids et d’une seconde passe avant.

Xiaomi-Lens-0 passe outre. Le modèle génère un token spécial <|mask|>, et l’état caché de ce token — ce que l’article appelle un latent visuel — est utilisé comme requête contre la grille de patchs de l’encodeur visuel. Une seule couche d’affinage Transformer, une projection linéaire, un produit scalaire contre chaque patch, puis deux étapes de suréchantillonnage par convolution transposée et une sigmoïde. Les caractéristiques des patchs sont prises avant le fusionneur spatial, donc la grille reste à grain fin, et elles sont calculées une fois par image et réutilisées par chaque token de masque dans la réponse.

L’entraînement se déroule en deux étapes et n’a rien de surprenant une fois l’architecture claire. La première étape gèle le backbone et entraîne uniquement le décodeur de masques sur des données internes ainsi que sur Objects365, LVIS, PACO, PhraseCut et la famille RefCOCO. La seconde étape ajuste conjointement le backbone et le décodeur avec l’objectif standard de prédiction du jeton suivant, plus une perte de masque combinant BCE par pixel et Dice.

La conséquence qui importe n’est pas l’économie de paramètres. C’est que les masques peuvent apparaître à l’intérieur du raisonnement, et pas seulement dans la réponse finale. Xiaomi s’entraîne sur des traces de raisonnement ancrées où une chaîne de pensée fait référence à des régions et émet des masques au fur et à mesure, ce qui explique pourquoi un modèle 4B peut répondre à « laquelle de ces deux est celle que je dois ramasser » avec un masque attaché à l’étape intermédiaire plutôt qu’à la seule dernière phrase.

Le tableau de référence, lu correctement

Les chiffres phares sont solides et ils sont tous de Xiaomi. Il n'existe à ce jour aucune entrée Artificial Analysis, aucun positionnement dans une arène et aucune reproduction par un tiers. Considérez ce qui suit comme une affirmation d'un fournisseur accompagnée d'une annexe inhabituellement détaillée, et non comme un fait mesuré.

• Segmentation référente — 81,4 cIoU moyen sur les huit divisions RefCOCO / RefCOCO+ / RefCOCOg, contre 78,6 pour Qwen3-VL-Seg 4B. SAM 3, en moyenne sur les mêmes huit divisions dans le propre tableau de Xiaomi, atteint environ 71,7.

• Compréhension référentielle — un gain moyen de 5,6 points de Prec@0.5 par rapport au backbone Qwen3.5-4B, avec RefCOCO+ en hausse de 7,6 points.

• Ancrage multi-instances sur COCO 2017 — F1 moyen de 63,9, devant les 63,0 de GroundingPI et les 46,5 de Qwen3-VL 4B.

• Segmentation par raisonnement — 68,0 gIoU sur ReasonSeg Test, meilleur des modèles comparés.

• Référence incarnée — 87,0 gIoU sur RoboRefIt TestA.

• Comptage — 50,6 sur CountQA, soit une hausse de 6,8 par rapport aux 43,8 du modèle de base.

Deux d’entre eux méritent un second coup d’œil, car les résumés qui circulent les aplatissent.

Le premier est le grounding multi-instance COCO. Xiaomi-Lens-0 bat GroundingPI sur le F1 moyen, mais au seuil relâché d’IoU de 0,50, il perd en fait — 80,4 de F1 contre 81,2. La victoire vient de l’extrémité stricte : 27,4 de F1 à IoU 0,95 contre 22,8. C’est une différence de nature significative. Le modèle produit des masques plus resserrés, pas plus nombreux, et un pipeline qui ne vérifie que le chevauchement relâché ne verra pas l’amélioration.

Le second est LensBench, le benchmark de 1 200 unités et 4 800 instructions que Xiaomi a construit et publié en même temps que le modèle. Il couvre l’imagerie générale, aérienne, de conduite et panoramique, avec relecture humaine, et c’est l’élément le plus utile de cette publication pour quiconque travaille en dehors de RefCOCO. C’est aussi le test où le modèle paraît le moins exceptionnel. Sur l’imagerie générale, Qwen3.8-Max mène avec 74,2 cIoU contre 63,9 pour Xiaomi-Lens-0. Sur les instructions implicites, le modèle se classe cinquième, derrière Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash et Seed-2.1-Pro. Xiaomi a publié un benchmark que son propre modèle ne rafle pas, ce qui vaut plus qu’un sans-faute ne l’aurait valu.

Là où le modèle 4B échoue réellement

Le mode de défaillance n'est pas aléatoire. C'est l'écart entre une description qui nomme la chose et une description qui l'implique.

• Explicite vers implicite — le cIoU de masque chute de 71,4 à 54,7, et le Prec@0.5 de boîte de 85,0 à 70,0 sur LensBench.

• Cibles multiples dans des scènes panoramiques — le sous-groupe le plus défavorable de l’article, où la box Prec@0,5 chute de 81,3 à 48,7 et le cIoU de 71,8 à 48,9.

• Régions petites, occultées ou ambiguës — la fiche indique explicitement que, dans ces cas, les prédictions peuvent manquer des objets ou produire des boîtes et des masques imprécis.

• Comptage — 50,6 sur CountQA constitue une amélioration de 6,8 points et reste à peu près un pile ou face, avec de meilleures manières.

Il existe aussi une mise en garde mécanique qui piégera quiconque intègre cela dans un produit. Les masques sont décodés sur le canevas d’image du processeur, et non sur votre fichier d’origine. Si vous redimensionnez avant l’inférence et oubliez d’inverser le mappage, le masque revient correctement dimensionné mais au mauvais endroit. La fiche indique de préserver le redimensionnement et le mappage des coordonnées ; elle ne dit pas ce qui se passe si vous ne le faites pas, et la réponse est une erreur silencieuse et plausible.

Ce que la pull request modifie, et ce qu’elle ne modifie pas

La PR 50028 est en cours depuis le 23 octobre — quatre commits, le dernier étant arrivé environ une minute avant l’ouverture de la pull request. Elle ajoute un fichier de configuration, un fichier modulaire, un fichier de modélisation de 2 199 lignes, un processeur, un script de conversion de poids, des mappages automatiques pour le modèle, le processeur d’images et le tokenizer, une page de documentation et 552 lignes de tests. Un bot de CI a déjà demandé la suite de tests lents pour xiaomi_lens0. Aucune revue n’a été effectuée.

Si elle est fusionnée, trois choses changent. Le chargement se fait avec AutoModel et AutoProcessor au lieu d’un pip install -e . depuis le dépôt de Xiaomi. Le modèle apparaît dans la documentation que les gens lisent réellement. Et il devient éligible aux outils de l’écosystème — quantification, adaptateurs, frameworks d’entraînement — qui supposent qu’une classe Transformers existe avant de toucher un checkpoint.

S'il est fusionné, quatre choses ne changent pas. Il faut toujours un GPU CUDA avec bfloat16 et FlashAttention-2. Il n'a toujours pas de point de terminaison hébergé. Le décodage des masques passe toujours par le processor plutôt que par un simple appel de génération. Et les chiffres restent exactement ceux rapportés par le fournisseur, comme aujourd'hui, car un portage de framework est un événement de packaging, pas une évaluation.

Il faut aussi être franc au sujet du statut. Une PR ouverte ne constitue pas une fonctionnalité. Transformers fusionne à son propre rythme, les mainteneurs ne se sont pas prononcés, et les ports de cette ampleur passent systématiquement par plusieurs cycles avant d’être intégrés. Quiconque écrirait aujourd’hui « Xiaomi-Lens-0 fonctionne désormais dans Transformers » se tromperait d’une fusion.

Ce qu'il faut pour le faire tourner cette semaine

La voie officielle est le package propre à Xiaomi, et elle suppose une véritable machine avec GPU.

• Configuration — Python 3.10 ou version ultérieure, CUDA avec bfloat16 et FlashAttention-2, puis pip install -r requirements.txt et pip install -e . dans le dépôt d’inférence.

• Image unique — {{1}}infer.py{{/1}} prend un checkpoint, une image, une requête textuelle et un chemin de sortie, puis écrit une image annotée ainsi que le texte généré.

• Format de sortie — les boîtes sont normalisées sur une plage de 0 à 1000 dans les balises <bbox>, les masques sont émis sous forme de jetons <|mask|> dans les balises <mask>, et tout ce qui se trouve dans un bloc de réflexion est exclu de la superposition finale.

Service — la prise en charge de vLLM existe, mais elle s’exécute sous forme de deux services colocalisés, la génération de texte sur le port 8000 et le décodage de masque sur le 8001, le client étant sur la même machine parce qu’il transmet un chemin d’image plutôt que des octets. Si vous remplacez MAX_PIXELS, les deux services doivent avoir la même valeur.

Il existe deux voies communautaires, et aucune n’est celle de Xiaomi. Un package PyPI appelé xiaomi-lens-mnn réimplémente l’inférence sur MNN pour CPU en fp16 ou int8, sans dépendance à torch, et un pack de nœuds ComfyUI non officiel rapporte une sortie identique bit à bit à celle du code officiel. Les deux sont des signaux utiles — le port MNN en particulier, car il suggère que l’architecture est suffisamment simple pour être réimplémentée plutôt que simplement encapsulée.

Xiaomi ne publie ni valeur de VRAM, ni mesure de latence, ni chiffre de débit. Pour un modèle 4B, les poids ne sont pas le problème ; ce sont la tour de vision à haute résolution et la passe de décodage des masques qui le sont, et ni l’une ni l’autre n’a de coût publié. Mesurez avant de dimensionner une flotte autour de cela.

Qui devrait le télécharger cette semaine

Si vous avez besoin de masques précis au pixel près à partir d’une description en langage naturel et que vous maîtrisez le matériel, c’est l’une des meilleures options 4B disponibles sous une licence permissive, et les poids sont en accès libre. Les résultats sur les instructions explicites sont compétitifs avec des modèles plusieurs fois plus grands, l’architecture supprime tout un second réseau de votre pipeline, et Apache 2.0 signifie que la revue juridique est rapide.

Si vous avez besoin dès aujourd’hui d’un point de terminaison de segmentation hébergé, ce n’est pas ce dont il s’agit ici. Xiaomi-Lens-0 ne figure pas au catalogue OrcaRouter — nous ne le fournissons pas, et rien ici ne doit être interprété comme affirmant le contraire. Ce que nous proposons, en revanche, c’est l’ensemble de comparaison. Si la vraie question est de savoir si un modèle ouvert 4B surpasse un modèle de vision hébergé sur vos images, la méthode honnête consiste à exécuter Lens-0 localement et à appeler le côté hébergé avec une seule clé. Qwen3-VL-8B-Instruct, par exemple, est disponible à 0,18 $ par million de jetons d’entrée et 0,70 $ par million de jetons de sortie, facturé au prix catalogue du fournisseur sans marge, et la même clé donne accès à le reste du catalogue si vous voulez un second avis ou un basculement automatique lorsqu’un fournisseur se dégrade. Cette comparaison sur vos données vaut plus que n’importe quel tableau de l’article.

Qu’est-ce qui changerait cette évaluation ?

Quatre choses, à peu près par ordre d'importance.

Une fusion de la PR 50028, car elle transforme un artefact de recherche en quelque chose qu’un environnement Python normal peut charger. Une évaluation indépendante sur LensBench ou RefCOCO menée par quelqu’un qui n’est pas Xiaomi, car les chiffres actuels n’ont qu’un seul auteur et les segments faibles de l’article lui-même suggèrent que la moyenne cache une variance réelle. Un chemin de masque natif dans vLLM ou SGLang qui ramène la configuration à deux services à un seul point de terminaison, ce qui fait la différence entre une démo et un déploiement. Et une offre hébergée proposée par n’importe qui, ce qui ferait du modèle une ligne budgétaire plutôt qu’un projet.

D’ici là, la description correcte est précise : Xiaomi-Lens-0 est un véritable modèle 4B téléchargeable sous Apache-2.0, doté d’une approche de la segmentation inhabituelle et bien documentée, âgé de six jours, avec de solides chiffres avancés par le fournisseur, un benchmark publié qui ne le flatte pas, et un portage de framework proposé plutôt que livré. C’est une information plus utile à connaître que « Xiaomi vient de sortir un tueur de Segment Anything » ou « rien à voir avant qu’il ne soit fusionné ».