Xiaomi-Lens-0 vill in i standard-Transformers – och dess maskavkodare är haken

Klockan 12:01 UTC i dag öppnades en pull request numrerad 50028 mot huggingface/transformers med den minst dramatiska titeln i repot: ”Add Xiaomi-Lens-0”. Det är inte en stub. Diffen omfattar 19 filer och 4 251 tillagda rader, varav 2 199 i en enda modelleringsfil, plus 552 rader tester och en dokumentationssida på 143 rader. Dess status är den oansenliga delen – öppen, ogranskad, ej sammanslagen. Modellen bakom är den intressanta delen, och den har legat på Hugging Face i sex dagar utan ett tillhörande lanseringsinlägg. Xiaomi-Lens-0 är en multimodell 4B-modell byggd på Qwen3.5-4B som skriver regionmasker som tokens, och den praktiska konsekvensen är begränsad men verklig: tills en ändring som denna släpps kan du över huvud taget inte ladda den med en vanlig Transformers-klass.

Det gapet – mellan att en modell går att ladda ner och att en modell är vanlig – är vad de kommande veckorna kommer att avgöra. Allt nedan skiljer det som Xiaomi publicerade från det som en framework-PR föreslår, eftersom det är två olika nivåer av säkerhet och bevakningen hittills har blandat ihop dem.

Vad Xiaomi faktiskt levererade, och när

Släppet skedde i etapper under fem dagar, vilket är en del av varför det framstod som ett forskningssläpp snarare än en produktlansering.

Artikel – "Xiaomi-Lens-0 Technical Report", arXiv:2610.23279, inlämnad 16 oktober 2026, reviderad 19 oktober.

• Vikter och kod — offentliga den 21 oktober på SeerRay-Lab/Xiaomi-Lens-0 på Hugging Face, med ett matchande inferensrepo på GitHub.

• Licens — Apache 2.0 för vikterna, och basvikterna för Qwen3.5-4B är också Apache 2.0. Modellkortet tillskriver basen till Alibaba Cloud och ändringarna till Xiaomi.

• Team — krediteras som Xiaoai Plus och SeerRay-teamet, som är Xiaomis grupp för visuell förståelse.

• Storlek – 4B överallt i titeln, artikeln och model card-texten; Hugging Face-metadatan anger 5B parametrar i BF16. Xiaomi förklarar inte avvikelsen, och den ärliga tolkningen är att ”4B” beskriver språkryggraden medan den fullständiga checkpointen med visionstornet ligger högre.

• Hosting — kortets sidopanel anger att modellen inte är driftsatt av någon inferensleverantör. Det finns inget förstaparts-API och ingen hostad slutpunkt att anropa.

• Genomslag — 723 nedladdningar under den senaste månaden och 25 gillamarkeringar på Hugging Face-repot, sex dagar efter att vikterna lades upp.

Det jag inte kunde hitta var en lansering: inget blogginlägg från Xiaomi, ingen tråd från teamet, ingen produktsida. Rapporteringen går tillbaka till den tekniska rapporten och till branschartiklar efter det att vikterna dök upp. Det spelar roll för alla som försöker datera modellen — 16 oktober är rapporten, 21 oktober är artefakten, och ingen av dem är ett tillkännagivande.

En mask är en token, inte en andra modell

Det vanliga sättet att få ut pixelmasker från en visions-språkmodell är att montera en segmenterare på den. Du får boxar eller punkter från språksidan, skickar dem till något i stil med en SAM-liknande dekoder och betalar för ett andra nätverk, en andra uppsättning vikter och en andra framåtpassning.

Xiaomi-Lens-0 hoppar över det. Modellen genererar en speciell <|mask|>-token, och tokenens dolda tillstånd – det som artikeln kallar en visuell latent – används som en fråga mot vision-encoderns patchrutnät. Ett enda Transformer-förfiningslager, en linjär projektion, en skalärprodukt mot varje patch, sedan två uppsamplingssteg med transponerad faltning och en sigmoid. Patchfunktionerna tas före den spatiala sammanslagningen, så rutnätet är fortfarande finkornigt, och de beräknas en gång per bild och återanvänds av varje masktoken i svaret.

Träningen är tvåstegs och inte överraskande när arkitekturen väl är tydlig. Steg ett fryser ryggraden och tränar endast maskavkodaren på intern data plus Objects365, LVIS, PACO, PhraseCut och RefCOCO-familjen. Steg två finjusterar ryggraden och avkodaren gemensamt med det vanliga nästa-token-målet plus en maskförlust som kombinerar pixel-BCE och Dice.

Konsekvensen som är värd att bry sig om är inte parameterbesparingen. Det är att masker kan förekomma inuti resonemanget, inte bara i det slutliga svaret. Xiaomi tränar på grundade resonemangsspår där en tankekedja refererar till regioner och sänder ut masker allteftersom, vilket är anledningen till att en 4B-modell kan svara "vilken av dessa två är den jag borde plocka upp" med en mask kopplad till det mellanliggande steget i stället för bara till den sista meningen.

Benchmarktabellen, korrekt läst

Rubriksiffrorna är starka och de är alla Xiaomis. Det finns ingen post i Artificial Analysis, ingen arenaplacering och ingen tredjepartsreproduktion i dagsläget. Betrakta följande som ett leverantörspåstående med en ovanligt detaljerad bilaga, inte som uppmätta fakta.

Referenssegmentering – ett genomsnittligt cIoU på 81,4 över de åtta delningarna av RefCOCO / RefCOCO+ / RefCOCOg, jämfört med 78,6 för Qwen3-VL-Seg 4B. SAM 3 uppgår, i genomsnitt över samma åtta delningar i Xiaomis egen tabell, till cirka 71,7.

• Refererande förståelse – en genomsnittlig förbättring på 5,6 punkter i Prec@0.5 jämfört med Qwen3.5-4B-backbonen, där RefCOCO+ ökar med 7,6 punkter.

• Multi-instans-grounding på COCO 2017 — 63,9 i genomsnittlig F1, före GroundingPI:s 63,0 och Qwen3-VL 4B:s 46,5.

• Resonemangssegmentering — 68,0 gIoU på ReasonSeg Test, bäst av de jämförda modellerna.

• Förkroppsligad referens — 87,0 gIoU på RoboRefIt TestA.

• Räkning – 50,6 på CountQA, en ökning med 6,8 från basmodellens 43,8.

Två av dem förtjänar en närmare titt, eftersom sammanfattningarna som cirkulerar gör dem för platta.

Den första är COCO-groundning för flera instanser. Xiaomi-Lens-0 slår GroundingPI på genomsnittlig F1, men vid den lösa IoU-tröskeln 0,50 förlorar den faktiskt – 80,4 F1 mot 81,2. Vinsten kommer från den strikta änden: 27,4 F1 vid IoU 0,95 mot 22,8. Det är en väsentlig skillnad till sin karaktär. Modellen producerar snävare masker, inte fler av dem, och en pipeline som bara kontrollerar lös överlappning kommer inte att se förbättringen.

Det andra är LensBench, det benchmark med 1 200 enheter och 4 800 instruktioner som Xiaomi byggde och släppte tillsammans med modellen. Det omfattar allmänna bilder, flygbilder, bilder från körning och panoramabilder med mänsklig granskning, och det är det mest användbara inslaget i släppet för alla som arbetar utanför RefCOCO. Det är också det test där modellen ser minst exceptionell ut. För allmänna bilder leder Qwen3.8-Max med 74,2 cIoU mot Xiaomi-Lens-0:s 63,9. För implicita instruktioner placerar sig modellen på femte plats, efter Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash och Seed-2.1-Pro. Xiaomi publicerade ett benchmark som deras egen modell inte dominerar helt, vilket är värt mer än ett perfekt facit skulle ha varit.

Där 4B-modellen faktiskt misslyckas

Felmoden är inte slumpmässig. Det är gapet mellan en beskrivning som namnger saken och en beskrivning som antyder den.

• Från explicit till implicit — mask-cIoU sjunker från 71,4 till 54,7, och box-Prec@0.5 från 85,0 till 70,0 på LensBench.

• Flera mål i panoramiska scener — det sämsta delsegmentet i artikeln, där box Prec@0.5 sjunker från 81,3 till 48,7 och cIoU från 71,8 till 48,9.

• Små, ockluderade och tvetydiga regioner – kortet säger uttryckligen att förutsägelser kan missa objekt eller producera felaktiga boxar och masker i dessa fall.

• Räkning – 50,6 på CountQA är en förbättring med 6,8 punkter och fortfarande ungefär som att singla slant, fast med bättre hyfs.

Det finns också en mekanisk fallgrop som kommer att bita alla som kopplar in detta i en produkt. Masker avkodas på processorns bildcanvas, inte i din originalfil. Om du ändrar storlek före inferens och glömmer att invertera mappningen, kommer masken tillbaka med rätt form men på fel plats. Kortet säger att du ska bevara storleksändringen och koordinatmappningen; det säger inte vad som händer om du inte gör det, och svaret är ett tyst fel som ser trovärdigt ut.

Vad pull requesten ändrar, och vad den inte ändrar

PR 50028 har pågått sedan 23 oktober — fyra commits, varav den sista landade ungefär en minut innan pull requesten öppnades. Den lägger till en konfigurationsfil, en modulär fil, en modelleringsfil på 2 199 rader, en processor, ett skript för viktkonvertering, automatiska mappningar för modell, bildprocessor och tokenizer, en dokumentationssida och 552 rader tester. En CI-bot har redan begärt den långsamma testsviten för xiaomi_lens0. Det finns noll granskningar.

Om den slås samman förändras tre saker. Laddningen blir AutoModel och AutoProcessor i stället för en pip install -e . mot Xiaomis repository. Modellen hamnar i dokumentationen som folk faktiskt läser. Och den blir tillgänglig för ekosystemets verktyg – kvantisering, adaptrar, träningsramverk – som förutsätter att en Transformers-klass finns innan de rör en checkpoint.

Om den slås samman förblir fyra saker oförändrade. Den kräver fortfarande ett CUDA-GPU med bfloat16 och FlashAttention-2. Den har fortfarande ingen hostad endpoint. Maskavkodning körs fortfarande via processorn i stället för ett vanligt genereringsanrop. Och siffrorna förblir exakt så leverantörsrapporterade som de är i dag, eftersom en portning till ett ramverk är en paketeringshändelse, inte en utvärdering.

Det är också värt att vara tydlig med statusen. En öppen PR är inte en funktion. Transformers slår samman i sin egen takt, underhållarna har inte yttrat sig, och portningar av den här storleken går rutinmässigt igenom flera omgångar innan de landar. Den som i dag skriver "Xiaomi-Lens-0 fungerar nu i Transformers" skulle vara en merge ifrån att ha rätt.

Vad som krävs för att driva det den här veckan

Den officiella vägen är Xiaomis eget paket, och det förutsätter en riktig GPU-maskin.

• Installation — Python 3.10 eller nyare, CUDA med bfloat16 och FlashAttention-2, sedan pip install -r requirements.txt och pip install -e . i inferensrepositoryt.

• Enskild bild — infer.py tar en checkpoint, en bild, en textfråga och en utdatasökväg, och skriver en annoterad bild plus den genererade texten.

• Utdataformat — boxar normaliseras till intervallet 0–1000 inuti <bbox>-taggar, masker sänds ut som <|mask|>-token inuti <mask>-taggar, och allt som finns inuti ett tänkblock utesluts från den slutliga överlagringen.

Servering — vLLM-stöd finns men körs som två samlokaliserade tjänster, textgenerering på port 8000 och maskavkodning på 8001, med klienten på samma maskin eftersom den skickar en bildsökväg i stället för byte. Om du åsidosätter MAX_PIXELS måste båda tjänsterna ha samma värde.

Det finns två vägar inom communityn och ingen av dem är Xiaomis. Ett PyPI-paket som heter xiaomi-lens-mnn återimplementerar inferens på MNN för CPU i fp16 eller int8, utan torch-beroende, och ett inofficiellt ComfyUI-nodpaket rapporterar bitidentisk utdata jämfört med den officiella koden. Båda är användbara signaler – särskilt MNN-porten, eftersom den antyder att arkitekturen är tillräckligt enkel för att återimplementeras i stället för att bara wrappas.

Xiaomi publicerar ingen VRAM-siffra, ingen latensmätning och inget genomströmningstal. För en 4B-modell är vikterna inte problemet; visionstornet vid hög upplösning och maskavkodningssteget är det, och ingen av dem har en publicerad kostnad. Mät innan du dimensionerar en flotta runt det.

Vem bör ladda ner det den här veckan?

Om du behöver pixelexakta masker från en beskrivning i naturligt språk och du råder över hårdvaran, är detta ett av de bättre 4B-alternativen som finns under en tillåtande licens, och vikterna är inte åtkomstbegränsade. Siffrorna för explicita instruktioner är konkurrenskraftiga mot modeller som är flera gånger större, arkitekturen tar bort ett andra nätverk i sin helhet från din pipeline, och Apache 2.0 innebär att den juridiska granskningen blir kort.

Om du behöver en hostad segmenteringsslutpunkt i dag är det inte detta. Xiaomi-Lens-0 finns inte i OrcaRouter-katalogen – vi tillhandahåller det inte, och ingenting här ska läsas som att det påstår något annat. Det vi tillhandahåller är jämförelseuppsättningen. Om den verkliga frågan är huruvida en öppen 4B-modell slår en hostad visionsmodell på dina bilder, är den ärliga metoden att köra Lens-0 lokalt och anropa den hostade sidan genom en enda nyckel. Qwen3-VL-8B-Instruct, till exempel, finns tillgänglig för $0,18 per miljon indatatoken och $0,70 per miljon utdatatoken, vidarebefordrad till leverantörens listpris utan påslag, och samma nyckel når resten av katalogen om du vill ha en andra åsikt eller automatisk failover när en leverantör försämras. Den jämförelsen på dina data är värd mer än någon tabell i artikeln.

Vad skulle förändra den här bedömningen?

Fyra saker, i ungefärlig ordning efter hur mycket de skulle betyda.

En merge av PR 50028, eftersom den förvandlar en forskningsartefakt till något som en vanlig Python-miljö kan läsa in. En oberoende utvärdering på LensBench eller RefCOCO som utförs av någon som inte är Xiaomi, eftersom de nuvarande siffrorna har en enda författare och artikelns egna svaga delar antyder att genomsnittet döljer verklig varians. En inbyggd maskväg i vLLM eller SGLang som slår ihop uppsättningen med två tjänster till en enda slutpunkt, vilket är skillnaden mellan en demo och en driftsättning. Och ett hostat erbjudande från vem som helst, vilket skulle göra modellen till en radpost i stället för ett projekt.

Fram till dess är den korrekta beskrivningen exakt: Xiaomi-Lens-0 är en verklig, nedladdningsbar Apache-2.0 4B-modell med ett ovanligt och väl dokumenterat angreppssätt för segmentering, sex dagar gammal, med starka siffror från leverantören, ett publicerat riktmärke som inte smickrar den och en ramverksport som föreslås snarare än levereras. Det är en mer användbar sak att veta än antingen "Xiaomi har just släppt en Segment Anything-dödare" eller "inget att se förrän den sammanfogas".