Xiaomi-Lens-0 Ingin Masuk ke Transformer Stok — dan Decoder Mask-nya Adalah Kendalanya

Pada 12:01 UTC hari ini, sebuah pull request bernomor 50028 dibuka terhadap huggingface/transformers dengan judul paling tidak dramatis di repositori: "Add Xiaomi-Lens-0". Ini bukan stub. Diff-nya mencakup 19 file dan 4.251 baris tambahan, 2.199 di antaranya satu file modeling, ditambah 552 baris pengujian dan halaman dokumentasi 143 baris. Statusnya adalah bagian yang tidak menarik — terbuka, belum diulas, belum di-merge. Model di baliknya adalah bagian yang menarik, dan model itu telah berada di Hugging Face selama enam hari tanpa postingan peluncuran terlampir. Xiaomi-Lens-0 adalah model multimodal 4B yang dibangun di atas Qwen3.5-4B yang menulis region mask sebagai token, dan konsekuensi praktisnya sempit tetapi nyata: sampai perubahan seperti ini dirilis, Anda sama sekali tidak dapat memuatnya dengan kelas Transformers standar.

Kesenjangan itu — antara model yang dapat diunduh dan model yang menjadi hal biasa — adalah yang akan diputuskan dalam beberapa minggu ke depan. Semua yang di bawah ini memisahkan apa yang diterbitkan Xiaomi dari apa yang diusulkan oleh PR framework, karena keduanya adalah dua tingkat kepastian yang berbeda dan liputan sejauh ini telah mencampuradukkan keduanya.

Apa yang sebenarnya Xiaomi kirimkan, dan kapan

Rilis tersebut terjadi secara bertahap selama lima hari, yang merupakan sebagian alasan mengapa hal itu terbaca sebagai sebuah rilis riset alih-alih peluncuran produk.

• Makalah — "Xiaomi-Lens-0 Technical Report", arXiv:2610.23279, diserahkan 16 Oktober 2026, direvisi 19 Oktober.

• Bobot dan kode — dipublikasikan pada 21 Oktober di SeerRay-Lab/Xiaomi-Lens-0 di Hugging Face, dengan repositori inferensi yang sesuai di GitHub.

• Lisensi — Apache 2.0 untuk bobot, dengan bobot dasar Qwen3.5-4B juga Apache 2.0. Kartu tersebut mencantumkan basis sebagai milik Alibaba Cloud dan modifikasinya sebagai milik Xiaomi.

• Tim — dikreditkan sebagai Xiaoai Plus dan tim SeerRay, yang merupakan grup pemahaman visual Xiaomi.

• Ukuran — 4B di mana-mana dalam judul, prosa makalah, dan kartu; metadata Hugging Face melaporkan parameter 5B dalam BF16. Xiaomi tidak menjelaskan ketidaksesuaian ini, dan tafsiran yang jujur adalah bahwa "4B" menggambarkan tulang punggung bahasanya, sedangkan checkpoint lengkap beserta menara visinya hadir dengan angka yang lebih tinggi.

• Hosting — sidebar kartu menyatakan bahwa model tidak di-deploy oleh penyedia inferensi mana pun. Tidak ada API pihak pertama dan tidak ada endpoint yang dihosting untuk dipanggil.

• Traksi — 723 unduhan dalam sebulan terakhir dan 25 suka di repositori Hugging Face, enam hari setelah bobotnya diunggah.

Yang tidak bisa saya temukan adalah peluncuran: tidak ada postingan blog Xiaomi, tidak ada utas dari tim, tidak ada halaman produk. Liputan menelusuri kembali ke laporan teknis dan tulisan media industri setelah bobot model muncul. Itu penting bagi siapa pun yang mencoba menentukan tanggal model — 16 Oktober adalah makalahnya, 21 Oktober adalah artefaknya, dan keduanya bukan pengumuman.

Mask adalah token, bukan model kedua.

Cara biasa untuk mendapatkan mask piksel dari model bahasa-visi adalah dengan menempelkan segmenter ke model itu. Anda mendapatkan kotak atau titik dari sisi bahasa, menyerahkannya ke sesuatu seperti decoder bergaya SAM, dan membayar untuk jaringan kedua, kumpulan bobot kedua, dan forward pass kedua.

Xiaomi-Lens-0 melewati itu. Model menghasilkan token <|mask|> khusus, dan hidden state token tersebut — yang disebut makalah sebagai latent visual — digunakan sebagai query terhadap grid patch encoder visi. Satu lapisan penyempurnaan Transformer, proyeksi linear, perkalian titik terhadap setiap patch, lalu dua langkah upsampling konvolusi transposisi dan sigmoid. Fitur patch diambil sebelum penggabungan spasial, sehingga grid masih berbutir halus, dan fitur tersebut dihitung sekali per gambar lalu digunakan kembali oleh setiap token mask dalam respons.

Pelatihan berlangsung dalam dua tahap dan tidak mengejutkan begitu arsitekturnya sudah jelas. Tahap pertama membekukan backbone dan hanya melatih mask decoder pada data internal ditambah Objects365, LVIS, PACO, PhraseCut, dan keluarga RefCOCO. Tahap kedua menyetel backbone dan decoder secara bersama-sama dengan objektif next-token standar plus mask loss yang menggabungkan pixel BCE dan Dice.

Konsekuensi yang perlu diperhatikan bukanlah penghematan parameter. Yang penting adalah mask dapat muncul di dalam penalaran, bukan hanya di jawaban akhir. Xiaomi melatih pada jejak penalaran yang berpijak pada realitas, ketika rantai pemikiran merujuk pada wilayah dan mengeluarkan mask seiring berjalannya proses; itulah sebabnya model 4B dapat menjawab "mana dari dua ini yang harus saya ambil" dengan mask yang dilekatkan pada langkah perantara, bukan hanya pada kalimat terakhir.

Tabel benchmark, jika dibaca dengan benar

Angka-angka utamanya kuat dan semuanya milik Xiaomi. Tidak ada entri Artificial Analysis, tidak ada penempatan arena, dan tidak ada reproduksi pihak ketiga hingga saat ini. Anggaplah hal berikut sebagai klaim vendor dengan lampiran yang luar biasa rinci, bukan sebagai fakta terukur.

• Segmentasi rujukan — cIoU rata-rata 81,4 pada delapan split RefCOCO / RefCOCO+ / RefCOCOg, dibandingkan dengan 78,6 untuk Qwen3-VL-Seg 4B. SAM 3, jika dirata-ratakan pada delapan split yang sama dalam tabel Xiaomi sendiri, mencapai sekitar 71,7.

• Pemahaman rujukan — peningkatan rata-rata 5,6 poin pada Prec@0.5 dibandingkan backbone Qwen3.5-4B, dengan RefCOCO+ naik 7,6 poin.

• Grounding multi-instans pada COCO 2017 — rata-rata F1 63,9, unggul dari 63,0 milik GroundingPI dan 46,5 milik Qwen3-VL 4B.

• Segmentasi penalaran — 68,0 gIoU pada ReasonSeg Test, terbaik di antara model yang dibandingkan.

• Perujukan berwujud — 87.0 gIoU pada RoboRefIt TestA.

• Penghitungan — 50,6 pada CountQA, naik 6,8 dari 43,8 milik backbone.

Dua di antaranya layak ditinjau ulang, karena ringkasan yang beredar membuatnya tampak datar.

Yang pertama adalah grounding multi-instance COCO. Xiaomi-Lens-0 mengalahkan GroundingPI pada F1 rata-rata, tetapi pada ambang IoU 0,50 yang longgar model ini justru kalah — F1 80,4 versus 81,2. Kemenangannya datang dari ujung yang ketat: F1 27,4 pada IoU 0,95 versus 22,8. Itu adalah perbedaan yang bermakna dalam hal jenis. Model ini menghasilkan mask yang lebih ketat, bukan lebih banyak, dan pipeline yang hanya memeriksa tumpang tindih longgar tidak akan melihat peningkatan tersebut.

Yang kedua adalah LensBench, benchmark 1.200 unit dan 4.800 instruksi yang dibangun dan dirilis Xiaomi bersama model tersebut. Benchmark ini mencakup citra umum, udara, berkendara, dan panoramik dengan peninjauan manusia, dan ini adalah hal paling berguna dalam rilis tersebut bagi siapa pun yang bekerja di luar RefCOCO. Ini juga merupakan uji di mana model tersebut tampak paling tidak istimewa. Pada citra umum, Qwen3.8-Max memimpin dengan 74,2 cIoU dibandingkan Xiaomi-Lens-0 dengan 63,9. Pada instruksi implisit, model tersebut berada di peringkat kelima, di belakang Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash, dan Seed-2.1-Pro. Xiaomi menerbitkan benchmark yang tidak disapu bersih oleh modelnya sendiri, yang nilainya lebih besar daripada hasil sempurna sekalipun.

Di mana model 4B sebenarnya gagal

Mode kegagalan itu tidak acak. Itu adalah celah antara deskripsi yang menamai hal tersebut dan deskripsi yang mengisyaratkannya.

• Eksplisit ke implisit — cIoU masker turun dari 71,4 menjadi 54,7, dan Prec@0,5 kotak dari 85,0 menjadi 70,0 pada LensBench.

• Banyak target dalam adegan panorama — irisan terburuk dalam makalah, tempat box Prec@0.5 turun dari 81,3 menjadi 48,7 dan cIoU dari 71,8 menjadi 48,9.

• Wilayah kecil, terhalang, dan ambigu — kartu tersebut menyatakan secara eksplisit bahwa prediksi dapat melewatkan objek atau menghasilkan kotak dan mask yang tidak akurat dalam kasus-kasus ini.

• Berhitung — 50,6 pada CountQA adalah peningkatan 6,8 poin dan masih kira-kira seperti lempar koin dengan tata krama yang lebih baik.

Ada juga kaveat mekanis yang akan merugikan siapa pun yang mengintegrasikan ini ke dalam produk. Mask didekode pada kanvas gambar prosesor, bukan pada file asli Anda. Jika Anda mengubah ukuran sebelum inferensi dan lupa membalik pemetaan, mask kembali dengan bentuk yang benar tetapi di posisi yang salah. Kartu itu mengatakan untuk mempertahankan pengubahan ukuran dan pemetaan koordinat; kartu itu tidak mengatakan apa yang terjadi jika Anda tidak melakukannya, dan jawabannya adalah kesalahan senyap yang tampak masuk akal.

Apa yang diubah pull request ini, dan apa yang tidak.

PR 50028 telah berjalan sejak 23 Oktober — empat commit, yang terakhir masuk sekitar satu menit sebelum pull request dibuka. Ini menambahkan file konfigurasi, file modular, file pemodelan 2.199 baris, sebuah prosesor, skrip konversi bobot, pemetaan otomatis untuk model, image processor, dan tokenizer, halaman dokumentasi, serta 552 baris tes. Bot CI telah meminta suite tes lambat untuk xiaomi_lens0. Belum ada review.

Jika digabungkan, ada tiga hal yang berubah. Pemuatan menjadi AutoModel dan AutoProcessor alih-alih pip install -e . terhadap repositori Xiaomi. Model tersebut masuk ke dokumentasi yang benar-benar dibaca orang. Dan model itu menjadi layak untuk perkakas ekosistem — kuantisasi, adaptor, kerangka kerja pelatihan — yang mengasumsikan kelas Transformers sudah ada sebelum mau menyentuh sebuah checkpoint.

Jika di-merge, empat hal tidak berubah. Masih memerlukan GPU CUDA dengan bfloat16 dan FlashAttention-2. Masih belum memiliki endpoint terhosting. Dekode mask masih dijalankan melalui processor alih-alih panggilan generasi biasa. Dan angkanya tetap persis seperti yang dilaporkan vendor seperti saat ini, karena porting framework adalah peristiwa pengemasan, bukan evaluasi.

Perlu juga bersikap terus terang soal status. PR yang terbuka bukanlah sebuah fitur. Transformers melakukan merge dengan ritmenya sendiri, para maintainer belum memberikan penilaian, dan port sebesar ini biasanya melewati beberapa putaran sebelum akhirnya diterima. Siapa pun yang hari ini menulis "Xiaomi-Lens-0 sekarang berfungsi di Transformers" akan keliru karena selisih satu merge.

Apa saja yang dibutuhkan untuk menjalankannya minggu ini

Jalur resminya adalah paket milik Xiaomi sendiri, dan itu mengasumsikan mesin GPU sungguhan.

• Penyiapan — Python 3.10 atau lebih baru, CUDA dengan bfloat16 dan FlashAttention-2, lalu jalankan pip install -r requirements.txt dan pip install -e . di dalam repositori inferensi.

• Gambar tunggal — {{1}}infer.py{{/1}} menerima checkpoint, sebuah gambar, kueri teks, dan jalur keluaran, lalu menulis gambar beranotasi beserta teks yang dihasilkan.

• Format keluaran — kotak dinormalisasi ke rentang 0–1000 di dalam tag <bbox>, mask dikeluarkan sebagai token <|mask|> di dalam tag <mask>, dan apa pun di dalam blok berpikir dikecualikan dari overlay akhir.

• Penyajian — dukungan vLLM tersedia tetapi berjalan sebagai dua layanan yang ditempatkan bersama, pembuatan teks pada port 8000 dan dekode mask pada 8001, dengan klien di mesin yang sama karena klien meneruskan path gambar, bukan byte. Jika Anda menimpa MAX_PIXELS, kedua layanan memerlukan nilai yang sama.

Ada dua jalur komunitas dan tidak satu pun berasal dari Xiaomi. Sebuah paket PyPI bernama xiaomi-lens-mnn mengimplementasikan ulang inferensi pada MNN untuk CPU pada fp16 atau int8, tanpa dependensi torch, dan paket node ComfyUI tidak resmi melaporkan keluaran yang identik secara bit dengan kode resmi. Keduanya merupakan sinyal yang berguna — khususnya port MNN, karena ini menunjukkan bahwa arsitekturnya cukup sederhana untuk diimplementasikan ulang, bukan sekadar dibungkus.

Xiaomi tidak memublikasikan angka VRAM, pengukuran latensi, maupun angka throughput. Untuk model 4B, bobot bukan masalahnya; menara visi pada resolusi tinggi dan proses decoding mask adalah masalahnya, dan keduanya tidak memiliki biaya yang dipublikasikan. Ukur sebelum Anda menentukan ukuran fleet berdasarkan hal itu.

Siapa yang harus mengunduhnya minggu ini

Jika Anda memerlukan mask yang akurat hingga tingkat piksel dari deskripsi bahasa alami dan Anda mengendalikan perangkat kerasnya, ini adalah salah satu opsi 4B terbaik yang tersedia di bawah lisensi permisif, dan bobotnya tidak dibatasi. Angka-angka untuk instruksi eksplisit kompetitif dengan model yang beberapa kali lebih besar, arsitekturnya menghilangkan satu jaringan kedua dari pipeline Anda, dan Apache 2.0 berarti tinjauan hukumnya singkat.

Jika Anda membutuhkan endpoint segmentasi terkelola hari ini, ini bukan itu. Xiaomi-Lens-0 tidak ada dalam katalog OrcaRouter — kami tidak menyediakannya, dan tidak ada apa pun di sini yang boleh ditafsirkan sebagai klaim sebaliknya. Yang kami sediakan adalah set pembanding. Jika pertanyaan sebenarnya adalah apakah model terbuka 4B mengalahkan model visi terkelola pada gambar Anda, metode yang jujur adalah menjalankan Lens-0 secara lokal dan memanggil sisi terkelola melalui satu kunci. Qwen3-VL-8B-Instruct, misalnya, tersedia dengan harga $0.18 per juta token masukan dan $0.70 per juta token keluaran, diteruskan pada harga daftar penyedia tanpa markup, dan kunci yang sama dapat menjangkau sisa katalog jika Anda menginginkan pendapat kedua atau failover otomatis ketika salah satu penyedia mengalami degradasi. Perbandingan pada data Anda itu bernilai lebih daripada tabel mana pun dalam makalah.

Apa yang akan mengubah penilaian ini?

Empat hal, dalam urutan kasar berdasarkan seberapa besar pengaruhnya.

Penggabungan PR 50028, karena ini mengubah artefak riset menjadi sesuatu yang dapat dimuat oleh lingkungan Python biasa. Evaluasi independen pada LensBench atau RefCOCO yang dijalankan oleh pihak selain Xiaomi, karena angka saat ini hanya berasal dari satu penulis dan subset lemah dalam makalah itu sendiri menunjukkan bahwa rata-rata menyembunyikan variansi nyata. Jalur mask native di vLLM atau SGLang yang menyatukan pengaturan dua layanan menjadi satu endpoint, yang merupakan pembeda antara demo dan deployment. Dan penawaran hosted dari siapa saja, yang akan menjadikan model sebagai pos biaya, bukan proyek.

Sampai saat itu, deskripsi yang tepat adalah ini: Xiaomi-Lens-0 adalah model 4B Apache-2.0 yang nyata dan dapat diunduh, dengan pendekatan segmentasi yang tidak biasa dan terdokumentasi dengan baik, baru berusia enam hari, dengan angka dari vendor yang kuat, tolok ukur yang diterbitkan yang tidak menyanjungnya, dan port framework yang masih diusulkan alih-alih sudah dirilis. Itu adalah hal yang lebih berguna untuk diketahui daripada baik "Xiaomi baru saja meluncurkan pembunuh Segment Anything" atau "tidak ada yang perlu dilihat sampai ia di-merge".