Xiaomi-Lens-0 will in Standard-Transformers – und der Mask-Decoder ist der Haken

Heute um 12:01 UTC wurde ein Pull Request mit der Nummer 50028 gegen huggingface/transformers eröffnet, mit dem unspektakulärsten Titel im Repository: „Xiaomi-Lens-0 hinzufügen“. Dabei handelt es sich nicht um einen Stub. Der Diff erstreckt sich über 19 Dateien und 4.251 hinzugefügte Zeilen, davon 2.199 in einer einzigen Modeling-Datei, plus 552 Zeilen Tests und eine Dokumentationsseite mit 143 Zeilen. Sein Status ist der unspektakuläre Teil – offen, ohne Review, nicht gemergt. Das Modell dahinter ist der interessante Teil, und es liegt seit sechs Tagen auf Hugging Face, ohne dass ein Launch-Post dazu veröffentlicht wurde. Xiaomi-Lens-0 ist ein multimodales 4B-Modell, das auf Qwen3.5-4B aufbaut und Regionenmasken als Tokens schreibt; die praktische Konsequenz ist eng begrenzt, aber real: Bis eine Änderung wie diese veröffentlicht ist, lässt es sich mit einer Standard-Transformers-Klasse überhaupt nicht laden.

Diese Kluft – zwischen einem Modell, das herunterladbar ist, und einem Modell, das alltäglich ist – wird in den nächsten Wochen entschieden. Alles Folgende trennt, was Xiaomi veröffentlicht hat, von dem, was ein Framework-PR vorschlägt, denn das sind zwei unterschiedliche Grade an Gewissheit, und die bisherige Berichterstattung hat beides zusammengeworfen.

Was Xiaomi tatsächlich ausgeliefert hat – und wann

Die Veröffentlichung erfolgte in Etappen über fünf Tage hinweg, was mit ein Grund dafür ist, warum sie eher wie ein Forschungs-Drop als wie ein Produktlaunch wirkte.

• Paper — „Xiaomi-Lens-0 Technical Report“, arXiv:2610.23279, eingereicht am 16. Oktober 2026, überarbeitet am 19. Oktober.

• Gewichte und Code — ab dem 21. Oktober öffentlich unter SeerRay-Lab/Xiaomi-Lens-0 auf Hugging Face, mit einem passenden Inferenz-Repository auf GitHub.

• Lizenz — Apache 2.0 für die Gewichte, wobei die Basisgewichte von Qwen3.5-4B ebenfalls unter Apache 2.0 stehen. Die Modellkarte schreibt die Basis Alibaba Cloud und die Änderungen Xiaomi zu.

• Team — aufgeführt als Xiaoai Plus und das SeerRay-Team, Xiaomis Gruppe für visuelles Verständnis.

• Größe — 4B überall in Titel, Paper und Kartenprosa; die Hugging-Face-Metadaten geben 5B Parameter in BF16 an. Xiaomi erklärt die Diskrepanz nicht, und die ehrliche Lesart ist, dass „4B“ das Sprach-Backbone beschreibt, während der vollständige Checkpoint mit dem Vision-Tower höher liegt.

Hosting — in der Seitenleiste der Karte steht, dass das Modell von keinem Inferenzanbieter bereitgestellt wird. Es gibt keine First-Party-API und keinen gehosteten Endpunkt zum Aufrufen.

• Traction — 723 Downloads im vergangenen Monat und 25 Likes auf dem Hugging-Face-Repository, sechs Tage nachdem die Gewichte hochgeladen wurden.

Was ich nicht finden konnte, war ein Launch: kein Xiaomi-Blogbeitrag, kein Thread vom Team, keine Produktseite. Die Berichterstattung geht auf den technischen Bericht und auf Branchenartikel zurück, nachdem die Gewichte aufgetaucht waren. Das ist wichtig für alle, die das Modell zeitlich einordnen wollen — der 16. Oktober ist das Paper, der 21. Oktober ist das Artefakt, und keines von beiden ist eine Ankündigung.

Eine Maske ist ein Token, kein zweites Modell.

Der übliche Weg, aus einem Vision-Language-Modell Pixelmasken zu gewinnen, besteht darin, einen Segmentierer daran anzuflanschen. Man erhält Boxen oder Punkte von der Sprachseite, übergibt sie an so etwas wie einen Decoder im SAM-Stil und zahlt für ein zweites Netzwerk, einen zweiten Satz Gewichte und einen zweiten Forward-Pass.

Xiaomi-Lens-0 überspringt das. Das Modell erzeugt ein spezielles <|mask|>-Token, und der Hidden State dieses Tokens – im Paper als visuelles Latent bezeichnet – wird als Query gegen das Patch-Raster des Vision-Encoders verwendet. Eine einzelne Transformer-Verfeinerungsschicht, eine lineare Projektion, ein Skalarprodukt gegen jeden Patch, dann zwei Upsampling-Schritte mit transponierten Faltungen und eine Sigmoid-Funktion. Die Patch-Features werden vor dem Spatial Merger entnommen, sodass das Raster noch feingranular ist, und sie werden einmal pro Bild berechnet und von jedem Mask-Token in der Antwort wiederverwendet.

Das Training erfolgt in zwei Phasen und ist wenig überraschend, sobald die Architektur klar ist. Phase eins friert das Backbone ein und trainiert nur den Maskendecoder auf internen Daten sowie Objects365, LVIS, PACO, PhraseCut und der RefCOCO-Familie. Phase zwei fine-tuned Backbone und Decoder gemeinsam mit dem standardmäßigen Next-Token-Ziel plus einem Mask-Loss, der Pixel-BCE und Dice kombiniert.

Die Konsequenz, die wirklich zählt, ist nicht die Parametereinsparung. Sie besteht darin, dass Masken innerhalb des Denkprozesses erscheinen können, nicht nur in der endgültigen Antwort. Xiaomi trainiert auf verankerten Denkspuren, in denen eine Gedankenkette auf Regionen verweist und dabei Masken ausgibt, weshalb ein 4B-Modell die Frage „Welche von diesen beiden ist diejenige, die ich aufheben sollte?“ mit einer Maske beantworten kann, die am Zwischenschritt hängt und nicht nur am letzten Satz.

Die Benchmark-Tabelle, richtig gelesen

Die Zahlen in den Schlagzeilen sind stark – und sie stammen alle von Xiaomi. Es gibt bis heute keinen Eintrag bei Artificial Analysis, keine Platzierung in einer Arena und keine Reproduktion durch Dritte. Betrachten Sie das Folgende als Herstellerangabe mit einem ungewöhnlich detaillierten Anhang, nicht als gemessene Tatsache.

• Referring-Segmentierung — 81,4 mittleres cIoU über die acht RefCOCO-/RefCOCO+-/RefCOCOg-Splits hinweg, gegenüber 78,6 für Qwen3-VL-Seg 4B. SAM 3 kommt, gemittelt über dieselben acht Splits in Xiaomis eigener Tabelle, auf etwa 71,7.

• Referring-Comprehension — ein durchschnittlicher Zugewinn von 5,6 Punkten bei Prec@0.5 gegenüber dem Qwen3.5-4B-Backbone, wobei RefCOCO+ um 7,6 Punkte zulegt.

• Multi-Instanz-Grounding auf COCO 2017 — 63,9 mittlerer F1-Wert, besser als GroundingPI mit 63,0 und Qwen3-VL 4B mit 46,5.

• Reasoning-Segmentierung — 68,0 gIoU im ReasonSeg-Test, der beste Wert unter den verglichenen Modellen.

• Verkörperte Referenzierung — 87,0 gIoU auf RoboRefIt TestA.

• Zählen — 50,6 auf CountQA, 6,8 mehr als die 43,8 des Backbones.

Zwei davon verdienen einen zweiten Blick, weil die kursierenden Zusammenfassungen sie verflachen.

Das erste ist COCO-Multiinstanz-Grounding. Xiaomi-Lens-0 schlägt GroundingPI beim mittleren F1-Wert, aber bei der lockeren IoU-Schwelle von 0,50 verliert es tatsächlich – 80,4 F1 gegenüber 81,2. Der Gewinn kommt vom strengen Ende: 27,4 F1 bei IoU 0,95 gegenüber 22,8. Das ist ein qualitativ bedeutsamer Unterschied. Das Modell erzeugt engere Masken, nicht mehr davon, und eine Pipeline, die nur lockere Überlappung prüft, wird die Verbesserung nicht erkennen.

Das zweite ist LensBench, der aus 1.200 Einheiten und 4.800 Anweisungen bestehende Benchmark, den Xiaomi erstellt und zusammen mit dem Modell veröffentlicht hat. Er deckt allgemeine, Luft-, Fahrzeug- und Panoramaaufnahmen mit menschlicher Überprüfung ab und ist das Nützlichste an der Veröffentlichung für alle, die außerhalb von RefCOCO arbeiten. Es ist zugleich der Test, bei dem das Modell am wenigsten herausragend wirkt. Bei allgemeinen Bildern führt Qwen3.8-Max mit 74,2 cIoU gegenüber 63,9 bei Xiaomi-Lens-0. Bei impliziten Anweisungen liegt das Modell auf Platz fünf, hinter Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash und Seed-2.1-Pro. Xiaomi hat einen Benchmark veröffentlicht, den das eigene Modell nicht dominiert – was mehr wert ist, als ein makelloses Ergebnis es gewesen wäre.

Wo das 4B-Modell tatsächlich versagt

Der Fehlermodus ist nicht zufällig. Er ist die Lücke zwischen einer Beschreibung, die die Sache benennt, und einer Beschreibung, die sie impliziert.

• Explizit zu implizit — Masken-cIoU fällt von 71,4 auf 54,7 und Box-Prec@0.5 von 85,0 auf 70,0 auf LensBench.

• Mehrere Ziele in Panoramaszenen – die schlechteste Teilmenge im Paper, bei der box Prec@0.5 von 81,3 auf 48,7 und cIoU von 71,8 auf 48,9 sinken.

• Kleine, verdeckte und mehrdeutige Bereiche – die Karte stellt ausdrücklich klar, dass Vorhersagen in diesen Fällen Objekte verfehlen oder ungenaue Boxen und Masken erzeugen können.

• Zählen — 50,6 auf CountQA ist eine Verbesserung um 6,8 Punkte und immer noch ungefähr ein Münzwurf, nur mit besseren Manieren.

Es gibt außerdem eine mechanische Einschränkung, die jeden treffen wird, der das in ein Produkt einbindet. Masken werden auf der Image-Canvas des Prozessors dekodiert, nicht auf Ihrer Originaldatei. Wenn Sie vor der Inferenz die Größe ändern und vergessen, die Zuordnung umzukehren, kommt die Maske in korrekter Form, aber an der falschen Stelle zurück. Die Karte besagt, dass die Größenänderung und die Koordinatenzuordnung beibehalten werden sollen; sie sagt nicht, was passiert, wenn man das nicht tut, und die Antwort ist ein stiller, plausibel wirkender Fehler.

Was der Pull Request ändert – und was nicht

PR 50028 ist seit dem 23. Oktober in Bearbeitung – vier Commits, wobei der letzte etwa eine Minute vor dem Öffnen des Pull Requests eingegangen ist. Er fügt eine Konfigurationsdatei, eine modulare Datei, eine 2.199-zeilige Modellierungsdatei, einen Prozessor, ein Gewichtskonvertierungsskript, Auto-Mappings für Modell, Bildprozessor und Tokenizer, eine Dokumentationsseite und 552 Zeilen Tests hinzu. Ein CI-Bot hat bereits die langsame Testsuite für xiaomi_lens0 angefordert. Es liegen keine Reviews vor.

Wenn es gemergt wird, ändern sich drei Dinge. Das Laden erfolgt dann über AutoModel und AutoProcessor statt über ein pip install -e . gegen Xiaomis Repository. Das Modell landet in der Dokumentation, die Leute tatsächlich lesen. Und es qualifiziert sich für die Ökosystem-Tools – Quantisierung, Adapter, Trainings-Frameworks –, die davon ausgehen, dass eine Transformers-Klasse existiert, bevor sie einen Checkpoint anfassen.

Wenn es zusammengeführt wird, bleiben vier Dinge unverändert. Es braucht weiterhin eine CUDA-GPU mit bfloat16 und FlashAttention-2. Es hat weiterhin keinen gehosteten Endpunkt. Die Maskendekodierung läuft weiterhin über den Prozessor statt über einen einfachen Generierungsaufruf. Und die Zahlen bleiben genau wie vom Hersteller angegeben wie heute, denn ein Framework-Port ist ein Verpackungsereignis, keine Evaluierung.

Es lohnt sich auch, beim Status Klartext zu reden. Ein offener PR ist kein Feature. Transformers führt Merges in seinem eigenen Rhythmus durch, die Maintainer haben sich noch nicht geäußert, und Ports dieser Größe durchlaufen üblicherweise mehrere Runden, bevor sie landen. Wer heute „Xiaomi-Lens-0 funktioniert jetzt in Transformers“ schreibt, läge um einen Merge daneben.

Was nötig ist, um es diese Woche auszuführen

Der offizielle Weg ist Xiaomis eigenes Paket, und es setzt eine echte GPU-Box voraus.

• Einrichtung — Python 3.10 oder neuer, CUDA mit bfloat16 und FlashAttention-2, dann pip install -r requirements.txt und pip install -e . im Inferenz-Repository.

• Einzelbild — infer.py nimmt einen Checkpoint, ein Bild, eine Textabfrage und einen Ausgabepfad entgegen und schreibt ein annotiertes Bild sowie den generierten Text.

• Ausgabeformat — Boxen werden auf einen Bereich von 0–1000 innerhalb von <bbox>-Tags normalisiert, Masken werden als <|mask|>-Tokens innerhalb von <mask>-Tags ausgegeben, und alles innerhalb eines Thinking-Blocks wird vom finalen Overlay ausgeschlossen.

• Serving — vLLM-Unterstützung ist vorhanden, läuft aber als zwei kolokalisierte Dienste: Textgenerierung auf Port 8000 und Maskendekodierung auf 8001, wobei der Client auf derselben Maschine läuft, da er einen Bildpfad statt Bytes übergibt. Wenn Sie MAX_PIXELS überschreiben, müssen beide Dienste denselben Wert verwenden.

{{1}}Es gibt zwei Community-Routen, und keine davon ist Xiaomis eigene.{{/1}} Ein PyPI-Paket namens {{2}}xiaomi-lens-mnn{{/2}} reimplementiert die Inferenz auf MNN für CPU bei fp16 oder int8, ohne Torch-Abhängigkeit, und ein inoffizielles ComfyUI-Node-Paket meldet {{3}}bitidentische{{/3}} Ausgabe gegenüber dem offiziellen Code. Beide sind nützliche Signale – insbesondere der MNN-Port, denn er legt nahe, dass die Architektur einfach genug ist, um sie neu zu implementieren, statt sie nur zu wrappen.

Xiaomi veröffentlicht keine VRAM-Angabe, keine Latenzmessung und keine Durchsatzzahl. Bei einem 4B-Modell sind die Gewichte nicht das Problem; der Vision-Tower bei hoher Auflösung und der Mask-Decoding-Pass sind es, und für beides gibt es keine veröffentlichten Kosten. Messen Sie, bevor Sie eine Flotte darauf dimensionieren.

Wer sollte es diese Woche herunterladen?

Wenn Sie pixelgenaue Masken aus einer Beschreibung in natürlicher Sprache benötigen und die Hardware selbst kontrollieren, ist dies eine der besseren 4B-Optionen, die unter einer permissiven Lizenz verfügbar sind, und die Gewichte sind ohne Zugangsbeschränkung verfügbar. Die Zahlen für explizite Anweisungen sind konkurrenzfähig mit Modellen, die ein Vielfaches größer sind, die Architektur entfernt ein ganzes zweites Netzwerk aus Ihrer Pipeline, und Apache 2.0 bedeutet, dass die rechtliche Prüfung kurz ausfällt.

Wenn Sie heute einen gehosteten Segmentierungs-Endpunkt benötigen, dann ist das hier nicht dieser. Xiaomi-Lens-0 ist nicht im OrcaRouter-Katalog – wir bieten es nicht an, und nichts hier sollte so verstanden werden, als würde das behauptet. Was wir anbieten, ist das Vergleichsset. Wenn die eigentliche Frage lautet, ob ein offenes 4B-Modell ein gehostetes Vision-Modell bei Ihren Bildern schlägt, dann besteht die ehrliche Methode darin, Lens-0 lokal auszuführen und die gehostete Seite über einen einzigen Schlüssel aufzurufen. Qwen3-VL-8B-Instruct ist beispielsweise für 0,18 $ pro Million Input-Tokens und 0,70 $ pro Million Output-Tokens verfügbar, durchgereicht zum Listenpreis des Anbieters ohne Aufschlag, und derselbe Schlüssel erreicht den Rest des Katalogs, wenn Sie eine zweite Meinung oder ein automatisches Failover wünschen, falls ein Anbieter beeinträchtigt ist. Dieser Vergleich mit Ihren Daten ist mehr wert als jede Tabelle im Paper.

Was würde diese Einschätzung ändern?

Vier Dinge, grob danach geordnet, wie sehr sie zählen würden.

Ein Merge von PR 50028, weil er aus einem Forschungsartefakt etwas macht, das eine normale Python-Umgebung laden kann. Eine unabhängige Evaluierung auf LensBench oder RefCOCO, durchgeführt von jemandem, der nicht Xiaomi ist, weil die aktuellen Zahlen einen einzigen Autor haben und die schwachen Teilbereiche der Arbeit selbst nahelegen, dass der Durchschnitt echte Varianz verdeckt. Ein nativer Maskenpfad in vLLM oder SGLang, der das Zwei-Dienste-Setup zu einem einzigen Endpunkt zusammenfasst – das ist der Unterschied zwischen einer Demo und einem Deployment. Und ein gehostetes Angebot von irgendjemandem, das das Modell zu einem Posten statt zu einem Projekt machen würde.

Bis dahin ist die korrekte Beschreibung präzise: Xiaomi-Lens-0 ist ein echtes, herunterladbares 4B-Modell unter Apache-2.0 mit einem ungewöhnlichen und gut dokumentierten Ansatz für Segmentierung, sechs Tage alt, mit starken Herstellerzahlen, einem veröffentlichten Benchmark, der es nicht schönfärbt, und einer Framework-Portierung, die vorgeschlagen statt ausgeliefert ist. Das ist eine nützlichere Information als entweder „Xiaomi hat gerade einen Segment-Anything-Killer rausgehauen“ oder „nichts zu sehen, bis es gemergt ist“.