Xiaomi-Lens-0 quer entrar nos Transformers padrão — e seu decodificador de máscara é o senão

Às 12:01 UTC de hoje, um pull request de número 50028 foi aberto contra huggingface/transformers com o título menos dramático do repositório: "Add Xiaomi-Lens-0". Não é um stub. O diff chega a 19 arquivos e 4.251 linhas adicionadas, das quais 2.199 em um único arquivo de modelagem, além de 552 linhas de testes e uma página de documentação de 143 linhas. Seu status é a parte sem graça — aberto, não revisado, não mesclado. O modelo por trás dele é a parte interessante, e está no Hugging Face há seis dias sem nenhuma publicação de lançamento vinculada. Xiaomi-Lens-0 é um modelo multimodal de 4B construído sobre Qwen3.5-4B que grava máscaras de região como tokens, e a consequência prática é restrita, mas real: até que uma mudança como esta seja lançada, não é possível carregá-lo de forma alguma com uma classe Transformers padrão.

Essa lacuna — entre um modelo ser baixável e um modelo ser comum — é o que as próximas semanas vão decidir. Tudo abaixo separa o que a Xiaomi publicou do que um PR de framework propõe, porque esses são dois níveis diferentes de certeza e a cobertura até agora os confundiu.

O que a Xiaomi realmente lançou, e quando

O lançamento ocorreu em partes ao longo de cinco dias, o que é parte do motivo pelo qual foi lido como uma divulgação de pesquisa em vez de um lançamento de produto.

• Artigo — "Relatório Técnico do Xiaomi-Lens-0", arXiv:2610.23279, submetido em 16 de outubro de 2026, revisado em 19 de outubro.

• Pesos e código — públicos em 21 de outubro em SeerRay-Lab/Xiaomi-Lens-0 no Hugging Face, com um repositório de inferência correspondente no GitHub.

• Licença — Apache 2.0 nos pesos, com os pesos base Qwen3.5-4B também em Apache 2.0. A ficha atribui a base à Alibaba Cloud e as modificações à Xiaomi.

• Equipe — creditada como Xiaoai Plus e a equipe SeerRay, que é o grupo de compreensão visual da Xiaomi.

• Tamanho — 4B em todo o título, no artigo e no texto do card; os metadados do Hugging Face reportam 5B parâmetros em BF16. A Xiaomi não explica a discrepância, e a leitura honesta é que "4B" descreve o backbone de linguagem, enquanto o checkpoint completo com a torre de visão chega a um número maior.

• Hospedagem — a barra lateral do cartão indica que o modelo não está implantado por nenhum provedor de inferência. Não há uma API própria nem um endpoint hospedado para chamar.

• Tração — 723 downloads no último mês e 25 curtidas no repositório do Hugging Face, seis dias após os pesos serem disponibilizados.

O que não consegui encontrar foi um lançamento: nenhum post no blog da Xiaomi, nenhuma thread da equipe, nenhuma página de produto. A cobertura remonta ao relatório técnico e a matérias do setor após o surgimento dos pesos. Isso importa para quem tenta datar o modelo — 16 de outubro é o artigo, 21 de outubro é o artefato, e nenhum dos dois é um anúncio.

Uma máscara é um token, não um segundo modelo

A forma usual de obter máscaras de pixels de um modelo de visão-linguagem é acoplar a ele um segmentador. Você obtém caixas ou pontos do lado da linguagem, entrega-os a algo como um decodificador no estilo SAM e paga por uma segunda rede, um segundo conjunto de pesos e uma segunda passagem direta.

A Xiaomi-Lens-0 pula isso. O modelo gera um token especial <|mask|>, e o estado oculto desse token — o que o artigo chama de latente visual — é usado como consulta contra a grade de patches do codificador de visão. Uma única camada de refinamento Transformer, uma projeção linear, um produto escalar contra cada patch, depois duas etapas de upsampling por convolução transposta e uma sigmoid. As features dos patches são obtidas antes do mesclador espacial, então a grade ainda tem granularidade fina, e são calculadas uma vez por imagem e reutilizadas por cada token de máscara na resposta.

O treinamento é em dois estágios e não surpreende uma vez que a arquitetura esteja clara. O primeiro estágio congela o backbone e treina apenas o decodificador de máscaras com dados internos mais Objects365, LVIS, PACO, PhraseCut e a família RefCOCO. O segundo estágio ajusta conjuntamente o backbone e o decodificador com o objetivo padrão de próximo token mais uma perda de máscara que combina BCE por pixel e Dice.

A consequência que importa não é a economia de parâmetros. É que as máscaras podem aparecer dentro do raciocínio, não apenas na resposta final. A Xiaomi treina com traços de raciocínio fundamentados em que uma cadeia de pensamento se refere a regiões e emite máscaras conforme avança, e é por isso que um modelo de 4B consegue responder "qual destes dois é o que eu devo pegar" com uma máscara anexada à etapa intermediária, e não apenas à última frase.

A tabela de benchmark, lida corretamente

Os números de destaque são fortes e são todos da Xiaomi. Não há entrada na Artificial Analysis, nem colocação na arena, nem reprodução por terceiros até o momento. Trate o que segue como uma alegação do fornecedor com um apêndice excepcionalmente detalhado, não como fato medido.

• Segmentação por referência — 81,4 de cIoU médio nas oito divisões RefCOCO / RefCOCO+ / RefCOCOg, contra 78,6 do Qwen3-VL-Seg 4B. O SAM 3, com média nas mesmas oito divisões na própria tabela da Xiaomi, fica em cerca de 71,7.

• Compreensão referencial — um ganho médio de 5,6 pontos em Prec@0.5 em relação ao backbone Qwen3.5-4B, com o RefCOCO+ subindo 7,6 pontos.

• Grounding multi-instância no COCO 2017 — F1 médio de 63,9, à frente do 63,0 do GroundingPI e do 46,5 do Qwen3-VL 4B.

• Segmentação por raciocínio — 68,0 gIoU no ReasonSeg Test, o melhor entre os modelos comparados.

• Referência corporificada — 87,0 gIoU no RoboRefIt TestA.

• Contagem — 50,6 no CountQA, um aumento de 6,8 em relação aos 43,8 do modelo base.

Dois deles merecem uma segunda olhada, porque os resumos que circulam por aí os simplificam demais.

O primeiro é o grounding multi-instância do COCO. O Xiaomi-Lens-0 supera o GroundingPI na F1 média, mas no limiar frouxo de IoU 0,50 ele na verdade perde — 80,4 F1 contra 81,2. A vitória vem do extremo rigoroso: 27,4 F1 em IoU 0,95 contra 22,8. Essa é uma diferença significativa de natureza. O modelo está produzindo máscaras mais justas, não mais delas, e um pipeline que só verifica sobreposição frouxa não verá a melhoria.

O segundo é o LensBench, o benchmark de 1.200 unidades e 4.800 instruções que a Xiaomi criou e lançou junto com o modelo. Ele abrange imagens gerais, aéreas, de direção e panorâmicas, com revisão humana, e é a coisa mais útil do lançamento para quem trabalha fora do RefCOCO. Também é o teste em que o modelo parece menos excepcional. Em imagens gerais, o Qwen3.8-Max lidera com 74,2 cIoU, contra 63,9 do Xiaomi-Lens-0. Em instruções implícitas, o modelo fica em quinto lugar, atrás de Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash e Seed-2.1-Pro. A Xiaomi publicou um benchmark que seu próprio modelo não domina por completo, o que vale mais do que um resultado impecável teria valido.

Onde o modelo 4B realmente falha

O modo de falha não é aleatório. É a lacuna entre uma descrição que nomeia a coisa e uma descrição que a implica.

• De explícito para implícito — a máscara cIoU cai de 71,4 para 54,7, e a box Prec@0.5 de 85,0 para 70,0 no LensBench.

• Múltiplos alvos em cenas panorâmicas — o pior recorte do artigo, em que o Prec@0,5 de caixa cai de 81,3 para 48,7 e o cIoU, de 71,8 para 48,9.

• Regiões pequenas, ocluídas e ambíguas — o cartão indica explicitamente que as previsões podem não detetar objetos ou produzir caixas e máscaras imprecisas nestes casos.

• Contagem — 50,6 no CountQA é uma melhoria de 6,8 pontos e ainda é praticamente cara ou coroa, com melhores maneiras.

Há também uma ressalva mecânica que vai atrapalhar qualquer pessoa que integre isto a um produto. As máscaras são decodificadas no canvas de imagem do processador, não no seu arquivo original. Se você redimensionar antes da inferência e esquecer de inverter o mapeamento, a máscara volta com o formato correto e no lugar errado. O cartão diz para preservar o redimensionamento e o mapeamento de coordenadas; ele não diz o que acontece quando você não faz isso, e a resposta é um erro silencioso e de aparência plausível.

O que o pull request altera e o que não altera

O PR 50028 está em andamento desde 23 de outubro — quatro commits, o último enviado cerca de um minuto antes de o pull request ser aberto. Ele adiciona um arquivo de configuração, um arquivo modular, um arquivo de modelagem de 2.199 linhas, um processador, um script de conversão de pesos, mapeamentos automáticos para modelo, processador de imagem e tokenizador, uma página de documentação e 552 linhas de testes. Um robô de CI já solicitou a suíte de testes lentos para xiaomi_lens0. Não há nenhuma revisão.

Se for integrado, três coisas mudam. O carregamento passa a ser feito com AutoModel e AutoProcessor, em vez de um pip install -e . no repositório da Xiaomi. O modelo passa a aparecer na documentação que as pessoas realmente leem. E passa a ser elegível para as ferramentas do ecossistema — quantização, adaptadores, frameworks de treino — que pressupõem que exista uma classe Transformers antes de tocarem num checkpoint.

Se ela for mesclada, quatro coisas não mudam. Ainda é necessária uma GPU CUDA com bfloat16 e FlashAttention-2. Ainda não há um endpoint hospedado. A decodificação de máscara ainda passa pelo processador em vez de uma chamada de geração simples. E os números permanecem exatamente como reportados pelo fornecedor, como são hoje, porque um porte de framework é um evento de empacotamento, não uma avaliação.

Também vale ser direto sobre o status. Um PR aberto não é uma funcionalidade. O Transformers faz merge no seu próprio ritmo, os mantenedores não se pronunciaram, e portes desse tamanho costumam passar por várias rodadas antes de entrar. Qualquer pessoa que escrevesse hoje “Xiaomi-Lens-0 agora funciona no Transformers” estaria errada por um merge.

O que é necessário para executá-lo esta semana

O caminho oficial é o pacote da própria Xiaomi, e ele pressupõe uma máquina com GPU real.

• Configuração — Python 3.10 ou mais recente, CUDA com bfloat16 e FlashAttention-2, depois pip install -r requirements.txt e pip install -e . dentro do repositório de inferência.

• Imagem única — infer.py recebe um checkpoint, uma imagem, uma consulta de texto e um caminho de saída, e grava uma imagem anotada juntamente com o texto gerado.

• Formato de saída — as caixas são normalizadas para um intervalo de 0 a 1000 dentro de tags <bbox>, as máscaras são emitidas como tokens <|mask|> dentro de tags <mask>, e qualquer coisa dentro de um bloco de raciocínio é excluída da sobreposição final.

• Serviço — há suporte ao vLLM, mas ele é executado como dois serviços co-localizados, geração de texto na porta 8000 e decodificação de máscara na 8001, com o cliente na mesma máquina porque ele passa um caminho de imagem em vez de bytes. Se você substituir MAX_PIXELS, ambos os serviços precisarão do mesmo valor.

Existem duas abordagens da comunidade e nenhuma delas é da Xiaomi. Um pacote PyPI chamado xiaomi-lens-mnn reimplementa a inferência no MNN para CPU em fp16 ou int8, sem dependência de torch, e um pacote de nós não oficial para ComfyUI relata saída bit-idêntica em relação ao código oficial. Ambos são sinais úteis — o porte para MNN em particular, porque sugere que a arquitetura é simples o suficiente para ser reimplementada em vez de apenas encapsulada.

A Xiaomi não publica nenhum valor de VRAM, nenhuma medição de latência e nenhum número de throughput. Para um modelo de 4B, os pesos não são o problema; a torre de visão em alta resolução e a passagem de decodificação de máscara são, e nenhuma das duas tem custo publicado. Meça antes de dimensionar uma frota em torno disso.

Quem deveria baixá-lo esta semana

Se você precisa de máscaras com precisão de pixel a partir de uma descrição em linguagem natural e controla o hardware, esta é uma das melhores opções de 4B disponíveis sob uma licença permissiva, e os pesos não têm restrições de acesso. Os números de instrução explícita são competitivos com modelos várias vezes maiores, a arquitetura remove uma segunda rede inteira do seu pipeline, e Apache 2.0 significa que a revisão jurídica é curta.

Se você precisa de um endpoint de segmentação hospedado hoje, isto não é isso. O Xiaomi-Lens-0 não está no catálogo do OrcaRouter — não o servimos, e nada aqui deve ser interpretado como uma afirmação em contrário. O que servimos é o conjunto de comparação. Se a verdadeira questão é se um modelo aberto de 4B supera um modelo de visão hospedado nas suas imagens, o método honesto é executar o Lens-0 localmente e chamar o lado hospedado com uma única chave. Qwen3-VL-8B-Instruct, por exemplo, está disponível a US$ 0,18 por milhão de tokens de entrada e US$ 0,70 por milhão de saída, repassados ao preço de tabela do provedor, sem acréscimo, e a mesma chave acessa o restante do catálogo se você quiser uma segunda opinião ou failover automático quando um provedor apresentar degradação. Essa comparação com os seus dados vale mais do que qualquer tabela no artigo.

O que mudaria esta avaliação?

Quatro coisas, em ordem aproximada do quanto importariam.

Um merge do PR 50028, porque transforma um artefato de pesquisa em algo que um ambiente Python normal consegue carregar. Uma avaliação independente no LensBench ou no RefCOCO conduzida por alguém que não seja da Xiaomi, porque os números atuais têm um único autor e as próprias fatias fracas do artigo sugerem que a média esconde variância real. Um caminho nativo de máscara no vLLM ou no SGLang que colapsa a configuração de dois serviços em um único endpoint, o que é a diferença entre uma demo e uma implantação. E uma oferta hospedada de qualquer pessoa, que tornaria o modelo um item de linha em vez de um projeto.

Até então, a descrição correta é precisa: o Xiaomi-Lens-0 é um modelo 4B real, baixável e sob Apache-2.0, com uma abordagem incomum e bem documentada para segmentação, com seis dias de existência, com números robustos do fabricante, um benchmark publicado que não o favorece e um port para framework que é proposto, não entregue. Isso é algo mais útil de se saber do que ou “a Xiaomi acabou de lançar um matador do Segment Anything” ou “nada a ver até que seja incorporado”.