Xiaomi-Lens-0 muốn chen vào Transformers tiêu chuẩn — và bộ giải mã mặt nạ của nó chính là điểm vướng.

Vào 12:01 UTC hôm nay, một pull request số 50028 đã được mở đối với huggingface/transformers với tiêu đề ít kịch tính nhất trong kho lưu trữ: "Add Xiaomi-Lens-0". Đây không phải là một stub. Diff trải dài 19 tệp và 4.251 dòng được thêm, trong đó 2.199 dòng thuộc về một tệp mô hình duy nhất, cộng thêm 552 dòng kiểm thử và một trang tài liệu dài 143 dòng. Trạng thái của nó là phần không có gì đáng chú ý — đang mở, chưa được đánh giá, chưa được hợp nhất. Mô hình phía sau nó mới là phần thú vị, và nó đã nằm trên Hugging Face được sáu ngày mà không có bài đăng ra mắt nào đi kèm. Xiaomi-Lens-0 là một mô hình đa phương thức 4B được xây dựng trên Qwen3.5-4B có khả năng ghi mặt nạ vùng dưới dạng token, và hệ quả thực tế thì hẹp nhưng có thật: cho đến khi một thay đổi như thế này được phát hành, bạn hoàn toàn không thể tải nó bằng một lớp Transformers có sẵn.

Khoảng cách đó — giữa việc một mô hình có thể tải xuống và việc nó trở nên bình thường — là điều mà vài tuần tới sẽ quyết định. Mọi thứ dưới đây tách bạch những gì Xiaomi đã công bố với những gì một PR của framework đề xuất, bởi đó là hai mức độ chắc chắn khác nhau và các bài đưa tin từ trước đến nay đã gộp chúng lại với nhau.

Xiaomi thực sự đã phát hành những gì và khi nào

Việc phát hành diễn ra rải rác trong năm ngày, và đó là một phần lý do khiến nó được hiểu như một đợt công bố nghiên cứu hơn là một buổi ra mắt sản phẩm.

• Bài báo — “Xiaomi-Lens-0 Technical Report”, arXiv:2610.23279, nộp ngày 16 tháng 10 năm 2026, sửa đổi ngày 19 tháng 10.

• Trọng số và mã — công khai vào ngày 21 tháng 10 tại SeerRay-Lab/Xiaomi-Lens-0 trên Hugging Face, cùng với một kho suy luận tương ứng trên GitHub.

• Giấy phép — Apache 2.0 áp dụng cho các trọng số, với các trọng số gốc Qwen3.5-4B cũng theo Apache 2.0. Thẻ này ghi nhận phần gốc thuộc Alibaba Cloud và các sửa đổi thuộc Xiaomi.

• Nhóm — được ghi nhận là Xiaoai Plus và nhóm SeerRay, tức nhóm hiểu thị giác của Xiaomi.

• {{1}}Kích thước{{/1}} — 4B ở mọi nơi trong tiêu đề, bài báo và phần mô tả trên card; siêu dữ liệu Hugging Face báo cáo 5B tham số ở BF16. Xiaomi không giải thích sự khác biệt này, và cách hiểu trung thực là "4B" mô tả phần xương sống ngôn ngữ trong khi checkpoint đầy đủ cùng tháp thị giác có số tham số cao hơn.

• Hosting — thanh bên của thẻ ghi rằng mô hình không được triển khai bởi bất kỳ nhà cung cấp suy luận nào. Không có API chính chủ và không có endpoint được host để gọi.

• Mức độ thu hút — 723 lượt tải xuống trong tháng gần nhất và 25 lượt thích trên kho Hugging Face, sáu ngày sau khi các trọng số được đưa lên.

Điều tôi không thể tìm thấy là một buổi ra mắt: không có bài đăng blog nào của Xiaomi, không có chuỗi thảo luận nào từ đội ngũ, không có trang sản phẩm. Các bài đưa tin đều truy ngược về báo cáo kỹ thuật và các bài viết chuyên ngành sau khi trọng số xuất hiện. Điều đó quan trọng với bất kỳ ai đang cố xác định thời điểm của mô hình — ngày 16 tháng 10 là bài báo, ngày 21 tháng 10 là bản phát hành thực tế, và cả hai đều không phải là một thông báo.

Mặt nạ là một token, không phải là mô hình thứ hai.

Cách thông thường để lấy mặt nạ điểm ảnh từ một mô hình ngôn ngữ–thị giác là gắn thêm một bộ phân đoạn vào nó. Bạn lấy hộp hoặc điểm từ phía ngôn ngữ, chuyển chúng cho thứ gì đó như bộ giải mã kiểu SAM, rồi phải trả giá bằng một mạng thứ hai, một bộ trọng số thứ hai và một lượt truyền xuôi thứ hai.

Xiaomi-Lens-0 bỏ qua điều đó. Mô hình tạo ra một token đặc biệt <|mask|>, và trạng thái ẩn của token — thứ mà bài báo gọi là latent thị giác — được dùng làm truy vấn đối chiếu với lưới patch của bộ mã hóa thị giác. Một lớp tinh chỉnh Transformer duy nhất, một phép chiếu tuyến tính, một tích vô hướng với từng patch, rồi hai bước tăng mẫu bằng tích chập chuyển vị và một sigmoid. Các đặc trưng patch được lấy trước bộ hợp nhất không gian, nên lưới vẫn giữ độ chi tiết cao, và chúng được tính một lần cho mỗi ảnh rồi được mọi token mask trong phản hồi tái sử dụng.

Quá trình huấn luyện gồm hai giai đoạn và không có gì bất ngờ khi kiến trúc đã rõ ràng. Giai đoạn một đóng băng backbone và chỉ huấn luyện mask decoder trên dữ liệu nội bộ cùng Objects365, LVIS, PACO, PhraseCut và họ RefCOCO. Giai đoạn hai tinh chỉnh đồng thời backbone và decoder với mục tiêu next-token tiêu chuẩn cùng một mask loss kết hợp pixel BCE và Dice.

Hệ quả đáng quan tâm không phải là việc tiết kiệm tham số. Đó là việc mặt nạ có thể xuất hiện bên trong quá trình lập luận, chứ không chỉ trong câu trả lời cuối cùng. Xiaomi huấn luyện trên các dấu vết lập luận có căn cứ, nơi một chuỗi tư duy tham chiếu đến các vùng và phát ra mặt nạ ngay khi nó diễn ra, đó là lý do tại sao một mô hình 4B có thể trả lời "cái nào trong hai cái này là cái tôi nên nhặt lên" với một mặt nạ được gắn vào bước trung gian thay vì chỉ gắn vào câu cuối cùng.

Bảng điểm chuẩn, hãy đọc cho đúng cách.

Những con số nổi bật rất mạnh và tất cả đều là của Xiaomi. Tính đến hôm nay, không có mục nào trên Artificial Analysis, không có vị trí trên arena và không có bản tái lập nào từ bên thứ ba. Hãy coi những điều sau đây là tuyên bố của nhà cung cấp với một phụ lục chi tiết đến bất thường, chứ không phải là dữ kiện đã được đo lường.

• Phân đoạn theo tham chiếu — cIoU trung bình 81,4 trên tám phần tách RefCOCO / RefCOCO+ / RefCOCOg, so với 78,6 của Qwen3-VL-Seg 4B. SAM 3, khi tính trung bình trên cùng tám phần tách đó trong bảng của chính Xiaomi, đạt khoảng 71,7.

• Hiểu tham chiếu — mức tăng trung bình 5,6 điểm về Prec@0.5 so với backbone Qwen3.5-4B, với RefCOCO+ tăng 7,6 điểm.

• Định vị đa thực thể trên COCO 2017 — F1 trung bình 63,9, cao hơn 63,0 của GroundingPI và 46,5 của Qwen3-VL 4B.

• Phân đoạn suy luận — 68.0 gIoU trên ReasonSeg Test, tốt nhất trong số các mô hình được so sánh.

• Tham chiếu nhúng — 87.0 gIoU trên RoboRefIt TestA.

• Đếm — 50,6 trên CountQA, tăng 6,8 so với 43,8 của backbone.

Hai trong số đó đáng để xem lại, bởi vì những bản tóm tắt đang lưu truyền làm chúng bị san phẳng.

{{1}}Đầu tiên là grounding đa thực thể COCO.{{/1}} {{2}}Xiaomi-Lens-0 đánh bại GroundingPI về F1 trung bình, nhưng ở ngưỡng IoU 0.50 nới lỏng thì nó thực sự thua — 80.4 F1 so với 81.2.{{/2}} {{3}}Chiến thắng đến từ phía chặt chẽ: 27.4 F1 tại IoU 0.95 so với 22.8.{{/3}} {{4}}Đó là một sự khác biệt có ý nghĩa về bản chất.{{/4}} {{5}}Mô hình đang tạo ra những mặt nạ chặt chẽ hơn, chứ không phải nhiều hơn, và một pipeline chỉ kiểm tra độ chồng lấp lỏng sẽ không thấy được cải thiện.{{/5}}

Thứ hai là LensBench, bộ đánh giá gồm 1.200 đơn vị và 4.800 chỉ dẫn do Xiaomi xây dựng và phát hành cùng với mô hình. Bộ này bao gồm hình ảnh tổng quát, trên không, lái xe và toàn cảnh, có rà soát bởi con người, và đây là thứ hữu ích nhất trong bản phát hành đối với bất kỳ ai làm việc ngoài RefCOCO. Đây cũng là bài kiểm tra mà mô hình trông kém nổi bật nhất. Ở hình ảnh tổng quát, Qwen3.8-Max dẫn đầu với 74.2 cIoU so với 63.9 của Xiaomi-Lens-0. Ở các chỉ dẫn ngầm, mô hình xếp thứ năm, sau Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash và Seed-2.1-Pro. Xiaomi đã công bố một bộ đánh giá mà mô hình của chính họ không thắng toàn bộ, điều này còn đáng giá hơn một bảng thành tích hoàn hảo.

Mô hình 4B thực sự thất bại ở đâu

Cơ chế thất bại không phải ngẫu nhiên. Đó là khoảng cách giữa một mô tả gọi tên sự vật và một mô tả chỉ ngụ ý về nó.

• Từ tường minh sang ẩn — cIoU mặt nạ giảm từ 71.4 xuống 54.7, và Prec@0.5 của hộp từ 85.0 xuống 70.0 trên LensBench.

• Nhiều mục tiêu trong cảnh toàn cảnh — lát cắt tệ nhất trong bài báo, trong đó box Prec@0.5 giảm từ 81.3 xuống 48.7 và cIoU từ 71.8 xuống 48.9.

• Các vùng nhỏ, bị che khuất và mơ hồ — {{1}}thẻ nêu rõ{{/1}} rằng trong những trường hợp này, dự đoán có thể bỏ sót đối tượng hoặc tạo ra hộp và mặt nạ không chính xác.

• Đếm — 50,6 trên CountQA là mức cải thiện 6,8 điểm và vẫn gần như chuyện may rủi ngang nhau, chỉ là cư xử tốt hơn.

Cũng có một lưu ý kỹ thuật sẽ khiến bất kỳ ai tích hợp thứ này vào sản phẩm phải trả giá. Mask được giải mã trên canvas ảnh của bộ xử lý, chứ không phải trên tệp gốc của bạn. Nếu bạn thay đổi kích thước trước khi suy luận và quên đảo ngược ánh xạ, mask trả về sẽ có hình dạng đúng nhưng nằm sai chỗ. Thẻ hướng dẫn nói phải giữ nguyên việc thay đổi kích thước và ánh xạ tọa độ; nó không nói điều gì xảy ra khi bạn không làm vậy, và câu trả lời là một lỗi âm thầm trông có vẻ hợp lý.

Pull request thay đổi những gì và không thay đổi những gì

PR 50028 đã được tiến hành từ ngày 23 tháng 10 — bốn commit, commit cuối cùng được đưa vào khoảng một phút trước khi pull request được mở. Nó bổ sung một tệp cấu hình, một tệp mô-đun, một tệp mô hình hóa dài 2.199 dòng, một bộ xử lý, một tập lệnh chuyển đổi trọng số, tự động ánh xạ cho mô hình, bộ xử lý hình ảnh và tokenizer, một trang tài liệu, và 552 dòng kiểm thử. Một bot CI đã yêu cầu bộ kiểm thử chậm cho xiaomi_lens0. Không có đánh giá nào.

Nếu được hợp nhất, sẽ có ba thay đổi. Việc tải trở thành AutoModel và AutoProcessor thay vì pip install -e . với repository của Xiaomi. Mô hình sẽ xuất hiện trong tài liệu mà mọi người thực sự đọc. Và nó trở nên đủ điều kiện cho các công cụ hệ sinh thái — lượng tử hóa, adapter, framework huấn luyện — vốn giả định rằng một lớp Transformers tồn tại trước khi chúng chạm vào một checkpoint.

Nếu nó được hợp nhất, bốn điều không thay đổi. Nó vẫn cần một GPU CUDA với bfloat16 và FlashAttention-2. Nó vẫn chưa có endpoint được lưu trữ. Việc giải mã mask vẫn chạy qua processor thay vì một lệnh gọi sinh thông thường. Và các con số vẫn giữ nguyên chính xác như nhà cung cấp đã báo cáo như hiện nay, vì việc chuyển cổng framework là một sự kiện đóng gói, không phải một đánh giá.

Cũng đáng để nói thẳng về trạng thái. Một PR đang mở không phải là một tính năng. Transformers hợp nhất theo nhịp riêng của mình, những người bảo trì chưa lên tiếng, và những bản port cỡ này thường phải qua vài vòng trước khi được đưa vào. Bất kỳ ai hôm nay viết "Xiaomi-Lens-0 giờ đã hoạt động trong Transformers" sẽ sai chỉ vì một lần hợp nhất.

Cần những gì để vận hành nó trong tuần này

Con đường chính thức là gói riêng của Xiaomi, và nó giả định bạn có một máy GPU thật.

• Thiết lập — Python 3.10 trở lên, CUDA với bfloat16 và FlashAttention-2, sau đó pip install -r requirements.txt và pip install -e . bên trong kho lưu trữ inference.

• Ảnh đơn — infer.py nhận một checkpoint, một ảnh, một truy vấn văn bản và một đường dẫn đầu ra, rồi ghi một ảnh đã được chú thích cùng văn bản được tạo.

• Định dạng đầu ra — các hộp được chuẩn hóa về phạm vi 0–1000 bên trong thẻ <bbox>, các mặt nạ được phát ra dưới dạng token <|mask|> bên trong thẻ <mask>, và mọi nội dung bên trong khối suy nghĩ đều bị loại khỏi overlay cuối cùng.

• Phục vụ — Hỗ trợ vLLM có tồn tại nhưng chạy dưới dạng hai dịch vụ cùng đặt tại một chỗ, tạo văn bản trên cổng 8000 và giải mã mặt nạ trên 8001, với client trên cùng máy vì nó truyền đường dẫn ảnh thay vì byte. Nếu bạn ghi đè MAX_PIXELS, cả hai dịch vụ cần cùng một giá trị.

Tồn tại hai hướng tiếp cận từ cộng đồng và không hướng nào là của Xiaomi. Một gói PyPI có tên xiaomi-lens-mnn triển khai lại suy luận trên MNN cho CPU ở fp16 hoặc int8, không phụ thuộc torch, và một gói node ComfyUI không chính thức báo cáo đầu ra giống hệt từng bit so với mã chính thức. Cả hai đều là tín hiệu hữu ích — đặc biệt là bản chuyển sang MNN, vì nó cho thấy kiến trúc đủ đơn giản để triển khai lại thay vì chỉ bọc lại.

Xiaomi không công bố con số VRAM nào, không có phép đo độ trễ và không có số liệu thông lượng. Với một mô hình 4B, trọng số không phải là vấn đề; tháp thị giác ở độ phân giải cao và lượt giải mã mặt nạ mới là vấn đề, và cả hai đều không có chi phí được công bố. Hãy đo trước khi bạn lên quy mô một cụm máy chủ dựa trên nó.

Tuần này ai nên tải nó xuống?

Nếu bạn cần mặt nạ chính xác đến từng pixel từ một mô tả bằng ngôn ngữ tự nhiên và bạn kiểm soát phần cứng, thì đây là một trong những lựa chọn 4B tốt hơn hiện có theo một giấy phép thoáng, và trọng số không bị hạn chế truy cập. Các con số về chỉ dẫn tường minh có sức cạnh tranh với những mô hình lớn gấp nhiều lần, kiến trúc loại bỏ hẳn một mạng thứ hai khỏi pipeline của bạn, và Apache 2.0 nghĩa là việc rà soát pháp lý sẽ nhanh gọn.

Nếu bạn cần một endpoint phân đoạn được host ngay hôm nay, thì đây không phải là dịch vụ đó. Xiaomi-Lens-0 không có trong danh mục của OrcaRouter — chúng tôi không cung cấp nó, và không nên hiểu bất cứ điều gì ở đây là đang ngụ ý điều ngược lại. Điều chúng tôi cung cấp là bộ so sánh. Nếu câu hỏi thực sự là liệu một mô hình mở 4B có đánh bại một mô hình thị giác được host trên hình ảnh của bạn hay không, thì phương pháp trung thực là chạy Lens-0 cục bộ và gọi phía được host thông qua một khóa duy nhất. Qwen3-VL-8B-Instruct, chẳng hạn, có sẵn với giá $0.18 mỗi triệu token đầu vào và $0.70 mỗi triệu token đầu ra, được chuyển nguyên theo giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí, và cùng một khóa có thể truy cập phần còn lại của danh mục nếu bạn muốn ý kiến thứ hai hoặc chuyển đổi dự phòng tự động khi một nhà cung cấp bị suy giảm. Việc so sánh đó trên dữ liệu của bạn đáng giá hơn bất kỳ bảng nào trong bài báo.

Điều gì sẽ thay đổi đánh giá này?

Bốn điều, theo thứ tự gần đúng về mức độ quan trọng của chúng.

Việc hợp nhất PR 50028, vì nó biến một sản phẩm nghiên cứu thành thứ mà một môi trường Python thông thường có thể tải được. Một đánh giá độc lập trên LensBench hoặc RefCOCO do ai đó không phải Xiaomi thực hiện, vì các con số hiện tại chỉ có một tác giả và chính những lát cắt yếu trong bài báo cho thấy mức trung bình đang che giấu phương sai thực sự. Một đường xử lý mask gốc trong vLLM hoặc SGLang giúp gộp thiết lập hai dịch vụ thành một điểm cuối duy nhất, đó là khác biệt giữa một bản demo và một triển khai thực tế. Và một dịch vụ được lưu trữ từ bất kỳ ai, thứ sẽ biến mô hình thành một mục chi phí thay vì một dự án.

Cho đến lúc đó, mô tả đúng đắn là chính xác: Xiaomi-Lens-0 là một mô hình 4B Apache-2.0 có thật, có thể tải xuống, với cách tiếp cận phân đoạn khác thường và được ghi chép đầy đủ, mới sáu ngày tuổi, với những con số mạnh mẽ từ nhà cung cấp, một benchmark đã công bố không tô hồng nó, và một bản chuyển framework đang được đề xuất chứ chưa được phát hành. Đó là một điều hữu ích hơn để biết so với việc "Xiaomi vừa tung ra một sát thủ của Segment Anything" hoặc "không có gì đáng xem cho đến khi nó được hợp nhất".