Xiaomi-Lens-0 wil in standaard Transformers — en zijn maskerdecoder is het addertje onder het gras

Vandaag om 12:01 UTC werd een pull request met nummer 50028 geopend tegen huggingface/transformers met de minst dramatische titel in de repository: "Add Xiaomi-Lens-0". Het is geen stub. De diff beslaat 19 bestanden en 4.251 toegevoegde regels, waarvan 2.199 in één enkel modeling-bestand, plus 552 regels tests en een documentatiepagina van 143 regels. De status ervan is het onopvallende deel — open, niet gereviewd, niet gemerged. Het model erachter is het interessante deel, en het staat al zes dagen op Hugging Face zonder enige aankondigingspost. Xiaomi-Lens-0 is een 4B-multimodaal model gebouwd op Qwen3.5-4B dat regio-maskers als tokens schrijft, en de praktische consequentie is beperkt maar reëel: totdat een wijziging als deze wordt uitgebracht, kun je het helemaal niet laden met een standaard Transformers-klasse.

Dat gat — tussen een model dat downloadbaar is en een model dat doodgewoon is — is wat de komende weken zal beslissen. Alles hieronder scheidt wat Xiaomi heeft gepubliceerd van wat een framework-PR voorstelt, want dat zijn twee verschillende niveaus van zekerheid en de berichtgeving tot nu toe heeft ze door elkaar gehaald.

Wat Xiaomi daadwerkelijk heeft uitgebracht, en wanneer

De release kwam gefaseerd over vijf dagen, wat deels verklaart waarom het overkwam als een onderzoeksuitgave in plaats van een productlancering.

• Paper — "Xiaomi-Lens-0 Technical Report", arXiv:2610.23279, ingediend op 16 oktober 2026, herzien op 19 oktober.

• Gewichten en code — openbaar op 21 oktober op SeerRay-Lab/Xiaomi-Lens-0 op Hugging Face, met een bijbehorende inferentie-repository op GitHub.

• Licentie — Apache 2.0 op de gewichten, waarbij de basisgewichten van Qwen3.5-4B ook onder Apache 2.0 vallen. De modelkaart schrijft de basis toe aan Alibaba Cloud en de wijzigingen aan Xiaomi.

• Team — vermeld als Xiaoai Plus en het SeerRay-team, de groep voor visueel begrip van Xiaomi.

• Grootte — 4B overal in de titel, het paper en de modelkaarttekst; de Hugging Face-metadata meldt 5B parameters in BF16. Xiaomi legt de discrepantie niet uit, en de eerlijke lezing is dat "4B" de taalbackbone beschrijft, terwijl de volledige checkpoint met de vision tower hoger uitkomt.

• Hosting — in de zijbalk van de kaart staat dat het model door geen enkele inferenceprovider is gedeployed. Er is geen first-party-API en geen gehost endpoint om aan te roepen.

• Tractie — 723 downloads in de afgelopen maand en 25 likes op de Hugging Face-repository, zes dagen nadat de gewichten online werden gezet.

Wat ik niet kon vinden, was een lancering: geen blogpost van Xiaomi, geen thread van het team, geen productpagina. De berichtgeving voert terug naar het technische rapport en naar vakartikelen nadat de gewichten verschenen. Dat is belangrijk voor iedereen die het model wil dateren — 16 oktober is het paper, 21 oktober is het artefact, en geen van beide is een aankondiging.

Een masker is een token, geen tweede model.

De gebruikelijke manier om pixelmaskers uit een visie-taalmodel te halen, is er een segmentator aan vast te schroeven. Je krijgt boxen of punten van de taalkant, geeft ze door aan iets als een SAM-achtige decoder, en betaalt voor een tweede netwerk, een tweede set gewichten en een tweede forward pass.

Xiaomi-Lens-0 slaat dat over. Het model genereert een speciaal <|mask|>-token, en de verborgen toestand van dat token — wat het paper een visuele latent noemt — wordt gebruikt als query tegen het patch-raster van de vision-encoder. Eén Transformer-verfijningslaag, een lineaire projectie, een dotproduct tegen elke patch, en dan twee transposed-convolution-upsamplingstappen en een sigmoid. De patchkenmerken worden genomen vóór de spatial merger, dus het raster is nog steeds fijnmazig, en ze worden één keer per afbeelding berekend en hergebruikt door elk mask-token in het antwoord.

De training is tweefasig en niet verrassend zodra de architectuur duidelijk is. Fase één bevriest de backbone en traint alleen de maskerdecoder op interne data plus Objects365, LVIS, PACO, PhraseCut en de RefCOCO-familie. Fase twee fine-tunet backbone en decoder gezamenlijk met de standaard next-token-doelstelling plus een maskerverlies dat pixel-BCE en Dice combineert.

De consequentie die ertoe doet is niet de parameterbesparing. Het is dat masks kunnen verschijnen binnen de redenering, niet alleen in het eindantwoord. Xiaomi traint op gegronde redeneersporen waarbij een gedachteketen naar regio's verwijst en gaandeweg masks produceert, waardoor een 4B-model kan antwoorden "welke van deze twee degene is die ik moet oppakken" met een mask dat aan de tussenstap hangt in plaats van alleen aan de laatste zin.

De benchmarktabel, goed gelezen

De kopcijfers zijn sterk en ze zijn allemaal van Xiaomi. Er is vandaag geen vermelding bij Artificial Analysis, geen arena-plaatsing en geen reproductie door derden. Beschouw het volgende als een claim van de leverancier met een ongewoon gedetailleerde appendix, niet als een gemeten feit.

• Referring-segmentatie — 81,4 gemiddelde cIoU over de acht RefCOCO / RefCOCO+ / RefCOCOg-splits, tegenover 78,6 voor Qwen3-VL-Seg 4B. SAM 3 komt, gemiddeld over dezelfde acht splits in Xiaomi's eigen tabel, op ongeveer 71,7.

• Referring comprehension — een gemiddelde toename van 5,6 punten in Prec@0.5 ten opzichte van de Qwen3.5-4B-backbone, met RefCOCO+ 7,6 punten hoger.

• Meervoudige-instantie-grounding op COCO 2017 — 63,9 gemiddelde F1, voor op GroundingPI's 63,0 en Qwen3-VL 4B's 46,5.

• Redeneringssegmentatie — 68,0 gIoU op ReasonSeg Test, de beste van de vergeleken modellen.

• Belichaamd verwijzen — 87,0 gIoU op RoboRefIt TestA.

• Tellen — 50,6 op CountQA, een stijging van 6,8 ten opzichte van de 43,8 van de backbone.

Twee daarvan verdienen een tweede blik, omdat de samenvattingen die rondgaan ze afvlakken.

De eerste is COCO multi-instantie-grounding. Xiaomi-Lens-0 verslaat GroundingPI op gemiddelde F1, maar bij de ruime IoU-drempel van 0,50 verliest het juist — 80,4 F1 tegen 81,2. De winst komt van de strikte kant: 27,4 F1 bij IoU 0,95 tegen 22,8. Dat is een wezenlijk verschil in aard. Het model produceert strakkere maskers, niet meer ervan, en een pipeline die alleen ruime overlap controleert, zal de verbetering niet zien.

De tweede is LensBench, de benchmark met 1.200 eenheden en 4.800 instructies die Xiaomi naast het model heeft gebouwd en uitgebracht. Hij bestrijkt algemeen, lucht-, rij- en panoramisch beeldmateriaal met menselijke beoordeling, en het is het nuttigste onderdeel van de release voor iedereen die buiten RefCOCO werkt. Het is ook de test waarop het model het minst uitzonderlijk presteert. Op algemeen beeldmateriaal leidt Qwen3.8-Max met 74,2 cIoU tegenover 63,9 voor Xiaomi-Lens-0. Bij impliciete instructies staat het model op de vijfde plaats, achter Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash en Seed-2.1-Pro. Xiaomi publiceerde een benchmark die zijn eigen model niet volledig domineert, wat meer waard is dan een schone lei zou zijn geweest.

Waar het 4B-model daadwerkelijk faalt

De faalmodus is niet willekeurig. Het is de kloof tussen een beschrijving die het ding benoemt en een beschrijving die het impliceert.

• Expliciet naar impliciet — mask cIoU daalt van 71,4 naar 54,7, en box Prec@0.5 van 85,0 naar 70,0 op LensBench.

• Meerdere doelwitten in panoramische scènes — het slechtste segment in het artikel, waar box-Prec@0.5 daalt van 81,3 naar 48,7 en cIoU van 71,8 naar 48,9.

• Kleine, occluded en ambigue gebieden — de kaart maakt expliciet dat voorspellingen in deze gevallen objecten kunnen missen of onnauwkeurige boxes en maskers kunnen opleveren.

• Tellen — 50,6 op CountQA is een verbetering van 6,8 punten en nog steeds ongeveer een muntworp, maar dan met betere manieren.

Er is ook een mechanische valkuil die iedereen zal bijten die dit in een product integreert. Maskers worden gedecodeerd op het beeldcanvas van de processor, niet op je originele bestand. Als je vóór inferentie het formaat wijzigt en vergeet de mapping om te keren, komt het masker terug met de juiste vorm en op de verkeerde plek. De kaart zegt dat je de formaatwijziging en coördinatenmapping moet behouden; er staat niet wat er gebeurt als je dat niet doet, en het antwoord is een stille, plausibel lijkende fout.

Wat de pull request verandert, en wat niet.

PR 50028 loopt sinds 23 oktober — vier commits, waarvan de laatste ongeveer een minuut voordat de pull request werd geopend binnenkwam. Hij voegt een configuratiebestand toe, een modulair bestand, een modelleringsbestand van 2.199 regels, een processor, een script voor gewichtsconversie, automatische mappings voor model, afbeeldingsprocessor en tokenizer, een documentatiepagina en 552 regels tests. Een CI-bot heeft al de langzame testsuite voor xiaomi_lens0 aangevraagd. Er zijn nul reviews.

Als het wordt gemerged, veranderen er drie dingen. Het laden gebeurt dan via AutoModel en AutoProcessor in plaats van via een pip install -e . tegen Xiaomi's repository. Het model belandt in de documentatie die mensen daadwerkelijk lezen. En het komt in aanmerking voor de ecosysteemtools — kwantisering, adapters, trainingsframeworks — die ervan uitgaan dat er een Transformers-klasse bestaat voordat ze een checkpoint aanraken.

Als het wordt samengevoegd, veranderen vier dingen niet. Er is nog steeds een CUDA-GPU met bfloat16 en FlashAttention-2 nodig. Er is nog steeds geen gehost endpoint. Mask-decoding loopt nog steeds via de processor in plaats van via een gewone generation-call. En de cijfers blijven precies zoals door de leverancier gerapporteerd, net als nu, omdat een framework-port een verpakkingsgebeurtenis is, geen evaluatie.

Het is ook de moeite waard om ronduit over de status te zijn. Een open PR is geen feature. Transformers merget in zijn eigen tempo, maintainers hebben zich nog niet uitgesproken, en ports van deze omvang doorlopen doorgaans meerdere rondes voordat ze landen. Iedereen die vandaag schrijft dat 'Xiaomi-Lens-0 nu werkt in Transformers', heeft het één merge te vroeg.

Wat er nodig is om het deze week te draaien.

De officiële route is Xiaomi's eigen pakket, en dat veronderstelt een echte GPU-machine.

• Setup — Python 3.10 of nieuwer, CUDA met bfloat16 en FlashAttention-2, daarna pip install -r requirements.txt en pip install -e . in de inferentie-repository.

• Eén afbeelding — infer.py neemt een checkpoint, een afbeelding, een tekstquery en een uitvoerpad, en schrijft een geannoteerde afbeelding plus de gegenereerde tekst.

• Uitvoerformaat — boxen worden genormaliseerd naar een bereik van 0–1000 binnen <bbox>-tags, masks worden als <|mask|>-tokens binnen <mask>-tags uitgevoerd, en alles binnen een thinking-blok wordt uitgesloten van de uiteindelijke overlay.

• Serving — vLLM-ondersteuning bestaat, maar draait als twee co-located services: tekstgeneratie op poort 8000 en maskerdecodering op 8001, met de client op dezelfde machine omdat deze een afbeeldingspad doorgeeft in plaats van bytes. Als je MAX_PIXELS overschrijft, moeten beide services dezelfde waarde hebben.

Er bestaan twee communityroutes, en geen van beide is van Xiaomi. Een PyPI-pakket genaamd xiaomi-lens-mnn herimplementeert inference op MNN voor CPU in fp16 of int8, zonder torch-afhankelijkheid, en een onofficiële ComfyUI-nodebundel meldt bit-identieke uitvoer ten opzichte van de officiële code. Beide zijn nuttige signalen — vooral de MNN-port, omdat die erop wijst dat de architectuur eenvoudig genoeg is om opnieuw te implementeren in plaats van alleen te wrappen.

Xiaomi publiceert geen VRAM-cijfer, geen latentiemeting en geen doorvoergetal. Bij een 4B-model zijn de gewichten niet het probleem; de vision tower bij hoge resolutie en de mask-decoding-pass wel, en voor geen van beide is een kostprijs gepubliceerd. Meet eerst voordat je een vloot hierop dimensioneert.

Wie zou het deze week moeten downloaden?

Als je pixelaccurate maskers nodig hebt op basis van een beschrijving in natuurlijke taal en je controle hebt over de hardware, is dit een van de betere 4B-opties die beschikbaar zijn onder een permissieve licentie, en de gewichten zijn vrij toegankelijk. De cijfers voor expliciete instructies zijn competitief met modellen die meerdere malen zo groot zijn, de architectuur verwijdert een heel tweede netwerk uit je pipeline, en Apache 2.0 betekent dat de juridische review kort is.

Als je vandaag een gehoste segmentatie-endpoint nodig hebt, is dit dat niet. Xiaomi-Lens-0 staat niet in de OrcaRouter-catalogus — we leveren het niet, en niets hier mag worden gelezen als een bewering van het tegendeel. Wat we wel leveren, is de vergelijkingsset. Als de echte vraag is of een open 4B-model een gehost visiemodel verslaat op jouw afbeeldingen, is de eerlijke methode om Lens-0 lokaal te draaien en de gehoste kant via één sleutel aan te roepen. Qwen3-VL-8B-Instruct is bijvoorbeeld beschikbaar voor $0,18 per miljoen inputtokens en $0,70 per miljoen output, doorgegeven tegen de lijstprijs van de provider zonder markup, en dezelfde sleutel bereikt de rest van de catalogus als je een second opinion wilt of automatische failover wanneer een provider degradeert. Die vergelijking op jouw data is meer waard dan welke tabel in het paper dan ook.

Wat zou deze beoordeling veranderen?

Vier dingen, in grove volgorde van hoeveel ze ertoe zouden doen.

Een merge van PR 50028, omdat het een onderzoeksartefact verandert in iets dat een normale Python-omgeving kan laden. Een onafhankelijke evaluatie op LensBench of RefCOCO, uitgevoerd door iemand die niet Xiaomi is, omdat de huidige cijfers één auteur hebben en de zwakke onderdelen van de paper zelf suggereren dat het gemiddelde echte variantie verbergt. Een native maskerpad in vLLM of SGLang dat de tweedienstige opzet samenvouwt tot één endpoint, wat het verschil is tussen een demo en een deployment. En een gehoste aanbieding van wie dan ook, waardoor het model een regelpost zou worden in plaats van een project.

Tot dan is de juiste beschrijving precies: Xiaomi-Lens-0 is een echt, downloadbaar Apache-2.0 4B-model met een ongebruikelijke en goed gedocumenteerde aanpak voor segmentatie, zes dagen oud, met sterke cijfers van de leverancier, een gepubliceerde benchmark die het model niet mooier voorstelt dan het is, en een frameworkport die is voorgesteld in plaats van uitgebracht. Dat is nuttiger om te weten dan zowel "Xiaomi heeft net een Segment Anything-killer gedropt" als "niets te zien tot het wordt gemerged".