Xiaomi-Lens-0 chce trafić do gotowych Transformerów — a haczykiem jest jego dekoder masek

Dziś o 12:01 UTC do huggingface/transformerszgłoszono pull request o numerze 50028, z najmniej dramatycznym tytułem w całym repozytorium: „Add Xiaomi-Lens-0”. To nie jest atrapa. Diff obejmuje 19 plików i 4251 dodanych linii, z czego 2199 przypada na jeden plik modelu, plus 552 linie testów i 143-liniową stronę dokumentacji. Jego status jest najmniej interesującą częścią — otwarty, niezrecenzowany, niezmergowany. Ciekawa jest część z modelem, który za nim stoi, a ten leży na Hugging Face od sześciu dni bez żadnego wpisu o premierze. Xiaomi-Lens-0 to multimodalny model 4B zbudowany na Qwen3.5-4B, który zapisuje maski regionów jako tokeny, a praktyczna konsekwencja jest wąska, ale realna: dopóki taka zmiana nie zostanie wydana, nie można go w ogóle załadować standardową klasą Transformers.

Ta luka — między tym, że model można pobrać, a tym, że model staje się zwyczajny — to, co rozstrzygną najbliższe tygodnie. Wszystko poniżej oddziela to, co opublikował Xiaomi, od tego, co proponuje PR frameworka, ponieważ to dwa różne poziomy pewności, a dotychczasowe omówienia łączyły je ze sobą.

Co Xiaomi faktycznie dostarczyło i kiedy

Wydanie następowało partiami przez pięć dni, co częściowo sprawiło, że odebrano je jako publikację badawczą, a nie premierę produktu.

• Artykuł — „Xiaomi-Lens-0 Technical Report”, arXiv:2610.23279, przesłany 16 października 2026 r., poprawiony 19 października.

• Wagi i kod — publiczne 21 października pod SeerRay-Lab/Xiaomi-Lens-0 na Hugging Face, wraz z pasującym repozytorium inferencyjnym na GitHub.

• Licencja — Apache 2.0 dla wag, a bazowe wagi Qwen3.5-4B również Apache 2.0. Karta przypisuje bazę do Alibaba Cloud, a modyfikacje do Xiaomi.

• Zespół — wymieniony jako Xiaoai Plus i zespół SeerRay, czyli grupa Xiaomi zajmująca się rozumieniem obrazu.

• Rozmiar — 4B wszędzie w tytule, treści artykułu i opisie karty modelu; metadane Hugging Face podają 5B parametrów w BF16. Xiaomi nie wyjaśnia tej rozbieżności, a uczciwa interpretacja jest taka, że „4B” opisuje rdzeń językowy, podczas gdy pełny checkpoint z wieżą wizyjną ma wyższą liczbę parametrów.

• Hosting — w panelu bocznym karty widnieje informacja, że model nie jest wdrażany przez żadnego dostawcę wnioskowania. Nie ma własnego API ani hostowanego punktu końcowego, do którego można by się odwołać.

• Trakcja — 723 pobrania w ciągu ostatniego miesiąca i 25 polubień w repozytorium Hugging Face, sześć dni po opublikowaniu wag.

Czego nie udało mi się znaleźć, to premiery: żadnego wpisu na blogu Xiaomi, żadnego wątku od zespołu, żadnej strony produktu. Relacje sięgają raportu technicznego i branżowych publikacji, które pojawiły się po udostępnieniu wag. Ma to znaczenie dla każdego, kto próbuje ustalić datę modelu — 16 października to artykuł, 21 października to artefakt, a żadne z nich nie jest ogłoszeniem.

Maska to token, a nie drugi model.

Zwykle, aby uzyskać maski pikseli z modelu wizyjno-językowego, doczepia się do niego segmentator. Otrzymujesz ramki lub punkty ze strony językowej, przekazujesz je do czegoś w rodzaju dekodera w stylu SAM i płacisz za drugą sieć, drugi zestaw wag i drugi przebieg w przód.

Xiaomi-Lens-0 pomija to. Model generuje specjalny token <|mask|>, a stan ukryty tego tokenu — nazywany w artykule wizualnym latentem — jest używany jako zapytanie wobec siatki patchy enkodera wizyjnego. Pojedyncza warstwa doprecyzowująca Transformer, projekcja liniowa, iloczyn skalarny z każdym patchem, a następnie dwa kroki nadpróbkowania z użyciem transponowanej konwolucji i sigmoid. Cechy patchy są pobierane przed przestrzennym mergerem, więc siatka pozostaje drobnoziarnista, a są one obliczane raz na obraz i ponownie wykorzystywane przez każdy token maski w odpowiedzi.

Trening jest dwuetapowy i nie zaskakuje, gdy architektura jest jasna. Etap pierwszy zamraża szkielet i trenuje wyłącznie dekoder masek na danych wewnętrznych oraz Objects365, LVIS, PACO, PhraseCut i rodzinie RefCOCO. Etap drugi wspólnie dostraja szkielet i dekoder, wykorzystując standardowy cel przewidywania następnego tokenu oraz stratę masek łączącą pikselową BCE i Dice.

Konsekwencja, na której warto się skupić, to nie oszczędność parametrów. Chodzi o to, że maski mogą pojawiać się wewnątrz rozumowania, a nie tylko w końcowej odpowiedzi. Xiaomi trenuje na ugruntowanych śladach rozumowania, w których łańcuch myśli odnosi się do regionów i emituje maski na bieżąco, dlatego model 4B potrafi odpowiedzieć „który z tych dwóch jest tym, który powinienem podnieść”, z maską przypisaną do pośredniego kroku, a nie tylko do ostatniego zdania.

Tabela benchmarków, odczytana prawidłowo

Wiodące liczby są mocne i wszystkie należą do Xiaomi. Na dzień dzisiejszy nie ma wpisu w Artificial Analysis, pozycji w rankingu Arena ani niezależnego odtworzenia przez strony trzecie. Traktuj poniższe jako deklarację dostawcy z nietypowo szczegółowym aneksem, a nie jako zmierzony fakt.

• Segmentacja na podstawie wskazań — średnia cIoU 81,4 w ośmiu podziałach RefCOCO / RefCOCO+ / RefCOCOg, w porównaniu z 78,6 dla Qwen3-VL-Seg 4B. SAM 3, uśredniony po tych samych ośmiu podziałach we własnej tabeli Xiaomi, wynosi około 71,7.

• Rozumienie wyrażeń referencyjnych — średni wzrost o 5,6 punktu w Prec@0.5 względem modelu bazowego Qwen3.5-4B, przy czym RefCOCO+ wzrósł o 7,6 punktu.

• Grounding wielu instancji na COCO 2017 — średnia F1 63,9, wyprzedzając GroundingPI (63,0) i Qwen3-VL 4B (46,5).

• Segmentacja rozumowania — 68,0 gIoU w teście ReasonSeg, najlepszy spośród porównywanych modeli.

• Odniesienia ucieleśnione — 87,0 gIoU na RoboRefIt TestA.

• {{1}}Liczenie{{/1}} — 50,6 w CountQA, o 6,8 więcej niż 43,8 modelu bazowego.

Dwie z nich zasługują na drugie spojrzenie, ponieważ krążące podsumowania je spłaszczają.

Pierwszy to wieloinstancyjny grounding COCO. Xiaomi-Lens-0 bije GroundingPI pod względem średniego F1, ale przy luźnym progu IoU 0,50 faktycznie przegrywa — 80,4 F1 wobec 81,2. Zwycięstwo przychodzi na ścisłym końcu: 27,4 F1 przy IoU 0,95 wobec 22,8. To istotna różnica jakościowa. Model tworzy ciaśniejsze maski, a nie więcej masek, a pipeline, który sprawdza tylko luźne nakładanie się, nie zauważy tej poprawy.

Drugi to LensBench — 1 200-elementowy, 4 800-instrukcyjny benchmark zbudowany i udostępniony przez Xiaomi wraz z modelem. Obejmuje obrazy ogólne, lotnicze, z jazdy i panoramiczne z ludzką weryfikacją i jest najbardziej użytecznym elementem wydania dla każdego, kto pracuje poza RefCOCO. To także test, w którym model wypada najmniej wyjątkowo. Na obrazach ogólnych Qwen3.8-Max prowadzi z wynikiem 74,2 cIoU wobec 63,9 Xiaomi-Lens-0. W przypadku instrukcji niejawnych model zajmuje piąte miejsce, za Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash i Seed-2.1-Pro. Xiaomi opublikowało benchmark, w którym jego własny model nie wygrywa wszystkich kategorii, co jest cenniejsze, niż byłby idealny wynik.

Gdzie model 4B faktycznie zawodzi

Tryb awarii nie jest przypadkowy. To luka między opisem, który nazywa rzecz, a opisem, który ją sugeruje.

• Z jawnego na niejawne — cIoU maski spada z 71,4 do 54,7, a Prec@0.5 dla boxu z 85,0 do 70,0 w LensBench.

• Wiele celów w scenach panoramicznych — najgorszy fragment w artykule, gdzie box Prec@0.5 spada z 81,3 do 48,7, a cIoU z 71,8 do 48,9.

• Małe, zasłonięte i niejednoznaczne obszary — karta wyraźnie stwierdza, że w takich przypadkach predykcje mogą pomijać obiekty lub dawać niedokładne ramki i maski.

• Liczenie — 50,6 w CountQA to poprawa o 6,8 punktu, a przy tym wciąż w zasadzie rzut monetą, tyle że z lepszymi manierami.

Jest też pewien mechaniczny haczyk, który da się we znaki każdemu, kto wpiina to do produktu. Maski są dekodowane na kanwie obrazu procesora, a nie w Twoim oryginalnym pliku. Jeśli zmienisz rozmiar przed wnioskowaniem i zapomnisz odwrócić mapowanie, maska wróci o poprawnym kształcie, ale w złym miejscu. Karta mówi, aby zachować skalowanie i mapowanie współrzędnych; nie mówi, co się dzieje, gdy tego nie zrobisz, a odpowiedź to cichy, wyglądający wiarygodnie błąd.

Co zmienia pull request, a czego nie zmienia

PR 50028 jest w toku od 23 października — cztery commity, a ostatni trafił około minutę przed otwarciem pull requesta. Dodaje plik konfiguracyjny, plik modułowy, plik modelowania liczący 2199 linii, procesor, skrypt konwersji wag, automatyczne mapowania dla modelu, procesora obrazu i tokenizera, stronę dokumentacji oraz 552 linie testów. Bot CI zdążył już poprosić o uruchomienie wolnego zestawu testów dla xiaomi_lens0. Nie ma żadnych recenzji.

Jeśli zostanie scalone, zmienią się trzy rzeczy. Ładowanie odbywa się przez AutoModel i AutoProcessor zamiast przez pip install -e . z repozytorium Xiaomi. Model trafia do dokumentacji, którą ludzie faktycznie czytają. Staje się też objęty narzędziami ekosystemu — kwantyzacją, adapterami, frameworkami do trenowania — które zakładają, że klasa Transformers istnieje, zanim zaczną dotykać checkpointu.

Jeśli zostanie scalone, cztery rzeczy się nie zmienią. Nadal wymaga GPU CUDA z bfloat16 i FlashAttention-2. Nadal nie ma hostowanego endpointu. Dekodowanie masek nadal odbywa się przez procesor, a nie przez zwykłe wywołanie generowania. A liczby pozostają dokładnie takie, jak podane przez dostawcę, tak jak dziś, ponieważ port frameworka to wydarzenie pakietowe, a nie ewaluacja.

Warto też powiedzieć bez ogródek, jak wygląda status. Otwarty PR to nie funkcja. Transformers scala zmiany we własnym tempie, opiekunowie nie zabrali jeszcze głosu, a porty tej wielkości zwykle przechodzą kilka rund, zanim trafią do głównej gałęzi. Każdy, kto dziś pisze „Xiaomi-Lens-0 działa teraz w Transformers”, myliłby się o jedno scalenie.

Czego potrzeba, by uruchomić to w tym tygodniu

Oficjalna ścieżka to własny pakiet Xiaomi, który zakłada prawdziwą maszynę z GPU.

• Konfiguracja — Python 3.10 lub nowszy, CUDA z bfloat16 i FlashAttention-2, następnie pip install -r requirements.txt oraz pip install -e . w repozytorium inferencyjnym.

• Pojedynczy obraz — infer.py przyjmuje checkpoint, obraz, zapytanie tekstowe i ścieżkę wyjściową, a następnie zapisuje obraz z adnotacjami oraz wygenerowany tekst.

• Format wyjściowy — ramki są normalizowane do zakresu 0–1000 wewnątrz tagów <bbox>, maski są emitowane jako tokeny <|mask|> wewnątrz tagów <mask>, a wszystko wewnątrz bloku myślenia jest wykluczone z końcowej nakładki.

• Obsługa — wsparcie dla vLLM istnieje, ale działa jako dwie współlokowane usługi: generowanie tekstu na porcie 8000 i dekodowanie masek na porcie 8001, a klient znajduje się na tej samej maszynie, ponieważ przekazuje ścieżkę do obrazu, a nie bajty. Jeśli nadpiszesz MAX_PIXELS, obie usługi muszą mieć tę samą wartość.

Istnieją dwie społecznościowe ścieżki i żadna nie jest Xiaomi. Pakiet PyPI o nazwie xiaomi-lens-mnn ponownie implementuje wnioskowanie na MNN dla CPU w fp16 lub int8, bez zależności od torch, a nieoficjalny pakiet węzłów ComfyUI raportuje identyczne co do bitu wyniki względem oficjalnego kodu. Oba są przydatnymi sygnałami — zwłaszcza port MNN, ponieważ sugeruje, że architektura jest wystarczająco prosta, by ją zaimplementować od nowa, a nie tylko opakować.

Xiaomi nie publikuje ani wartości VRAM, ani pomiaru opóźnień, ani liczby dotyczącej przepustowości. W modelu 4B problemem nie są wagi; są nim wieża wizyjna przy wysokiej rozdzielczości oraz przebieg dekodowania masek — a żaden z tych elementów nie ma opublikowanego kosztu. Zanim dobierzesz pod to rozmiar floty, najpierw to zmierz.

Kto powinien pobrać to w tym tygodniu?

Jeśli potrzebujesz masek dokładnych co do piksela na podstawie opisu w języku naturalnym i masz kontrolę nad sprzętem, to jedna z lepszych opcji 4B dostępnych na liberalnej licencji, a wagi są udostępniane bez ograniczeń. Wyniki dla jawnych instrukcji są konkurencyjne wobec modeli kilkukrotnie większych, architektura usuwa z potoku całą drugą sieć, a Apache 2.0 oznacza krótki przegląd prawny.

Jeśli potrzebujesz dziś hostowanego punktu końcowego segmentacji, to nie jest to. Xiaomi-Lens-0 nie znajduje się w katalogu OrcaRouter — nie obsługujemy go i niczego tutaj nie należy odczytywać jako twierdzenia inaczej. Obsługujemy natomiast zestaw porównawczy. Jeśli prawdziwym pytaniem jest, czy otwarty model 4B przewyższa hostowany model wizyjny na Twoich obrazach, uczciwą metodą jest uruchomienie Lens-0 lokalnie i wywołanie strony hostowanej przez jeden klucz. Qwen3-VL-8B-Instruct, na przykład, jest dostępny za 0,18 USD za milion tokenów wejściowych i 0,70 USD za milion wyjściowych, przekazywanych po cenie katalogowej dostawcy bez marży, a ten sam klucz sięga do reszty katalogu, jeśli chcesz drugiej opinii lub automatycznego przełączania awaryjnego, gdy jeden dostawca zawodzi. To porównanie na Twoich danych jest warte więcej niż jakakolwiek tabela w artykule.

Co zmieniłoby tę ocenę?

Cztery rzeczy, w przybliżonej kolejności według tego, jak bardzo miałyby znaczenie.

Scalenie PR 50028, ponieważ zamienia artefakt badawczy w coś, co może załadować zwykłe środowisko Pythona. Niezależna ewaluacja na LensBench lub RefCOCO przeprowadzona przez kogoś, kto nie jest z Xiaomi, ponieważ obecne liczby mają jednego autora, a słabe fragmenty w samej pracy sugerują, że średnia ukrywa rzeczywistą wariancję. Natywna ścieżka masek w vLLM lub SGLang, która sprowadza konfigurację z dwiema usługami do jednego punktu końcowego, co jest różnicą między demem a wdrożeniem. Oraz hostowana oferta od kogokolwiek, która uczyniłaby model pozycją w budżecie, a nie projektem.

Do tego czasu właściwy opis jest precyzyjny: Xiaomi-Lens-0 to prawdziwy, dostępny do pobrania, sześciodniowy model 4B na licencji Apache-2.0 o nietypowym i dobrze udokumentowanym podejściu do segmentacji, z mocnymi wynikami liczbowymi od producenta, opublikowanym benchmarkiem, który nie schlebia temu modelowi, oraz portem frameworka, który jest proponowany, a nie dostarczony. To bardziej przydatna informacja niż „Xiaomi właśnie wypuściło pogromcę Segment Anything” albo „nie ma na co patrzeć, dopóki się nie zmerguje”.