LLaDA-UI Lança Silenciosamente: o Agente GUI de Difusão da inclusionAI Já Está Disponível para Download

LLaDA-UI — um agente de GUI mixture-of-experts de aproximadamente 16,7 bilhões de parâmetros da inclusionAI — apareceu no Hugging Face em 6 de setembro de 2026, sem nenhum anúncio associado. O que faz valer uma segunda olhada não é o silêncio, mas o mecanismo por trás: em vez de escrever sua próxima ação um token por vez, como fazem os modelos autorregressivos de visão-linguagem que dominam a pesquisa de uso de computador, a LLaDA-UI remove o ruído de um bloco inteiro de tokens de ação por etapa, ao estilo de difusão, e só então se compromete com a resposta. O fornecedor a apresenta como um agente de GUI de difusão prático e de pesos abertos. Tudo abaixo está rotulado pelo que é: fatos do repositório que você pode verificar por conta própria, alegações do relatório técnico que ninguém fora do laboratório reproduziu e lacunas — a ausência de licença entre as principais — que ainda não foram genuinamente resolvidas.

O enquadramento do lançamento importa porque isto agora é um padrão. A inclusionAI é o laboratório afiliado ao Ant Group por trás da família de modelos de linguagem de difusão LLaDA; na mesma semana em que publicou os checkpoints de imagem LLaDA-Image e LLaDA-Image-Turbo (4 de setembro) e o modelo de agente LLaDA2.2-mini (5 de setembro), ela criou o repositório inclusionAI/LLaDA-UI em 6 de setembro. Três famílias de modelos em três dias, nenhuma delas precedida por uma publicação de lançamento. Para a LLaDA-UI especificamente, a evidência de um lançamento de fato é o próprio repositório: os pesos safetensors estão presentes e podem ser carregados, o código de inferência e uma receita para servir o modelo com SGLang são disponibilizados juntamente com eles, e existem um relatório técnico e uma página do projeto. O que não está presente é qualquer anúncio do fornecedor, qualquer licença ou — no momento em que este texto foi escrito, com downloads ainda na casa de um dígito — qualquer sinal de que o resto do mundo já o tenha notado.

Enviado, mas não anunciado

O repositório inclusionAI/LLaDA-UI foi criado às 05:08 UTC em 6 de setembro e é um lançamento completo e autônomo do modelo, não um espaço reservado. Há vinte e um arquivos na árvore: sete shards safetensors em BF16 que somam cerca de 16,9 bilhões de parâmetros (o card do modelo arredonda para ~16,7B no total), os arquivos de tokenizador e configuração e — importante — o código-fonte Python do próprio modelo (modeling_llada2_vl_moe.py e configuration_llada2_vl.py). A arquitetura é registrada como LLaDA2MoE_VLForConditionalGeneration sob um tipo de modelo llada2vl e, como esses arquivos estão incluídos no repositório, não se trata de uma arquitetura padrão do Transformers: carregá-lo significa puxar o código personalizado, seja clonando o repositório ou pelo caminho de código remoto do hub.

O que o repositório não traz é igualmente informativo. Não há etiqueta de licença no cartão do modelo e nenhum arquivo LICENSE na árvore, portanto a pergunta padrão que uma equipe comercial faz primeiro — o que me é permitido fazer com esses pesos? — ainda não tem resposta. O artigo é um relatório técnico distribuído como PDF dentro do repositório do GitHub e com link a partir de uma página do projeto; ele não apareceu no arXiv (a página ainda diz "SOON"). E nenhum provedor de inferência que conseguimos encontrar está servindo o modelo: o cartão do Hugging Face não reporta nenhum provedor de inferência implantado, o que significa que por enquanto o LLaDA-UI é uma versão para download e auto-hospedagem, não algo que você possa chamar por uma API. Nós também não o hospedamos — nada neste texto deve ser lido como uma afirmação de que o fazemos.

Um agente de GUI que decodifica como um modelo de imagem.

O design é a história; por isso, vale a pena ser preciso sobre como o LLaDA-UI difere dos modelos autorregressivos de GUI com os quais é comparado. Um modelo convencional de uso de computador — Qwen2.5-VL-7B ou Qwen3-VL-8B, por exemplo, ou o VLM por trás de um produto hospedado de uso de computador — recebe a captura de tela e a instrução e, então, prevê um token por vez, da esquerda para a direita, até que a string de ação esteja completa. A latência, portanto, escala com o número de tokens na resposta. O LLaDA-UI, em vez disso, trata a resposta inteira como um bloco inicialmente mascarado e progressivamente limpo de ruído: cada etapa de decodificação refina muitos tokens em paralelo e, após um número fixo de etapas (o script de referência usa 32 etapas com um comprimento de bloco de 32), a string completa de raciocínio mais ação é revelada. Esse é o mesmo movimento conceitual que o laboratório fez com a geração de imagens, aplicado a ações de GUI.

Por baixo dos panos, a pilha é: um codificador visual em resolução nativa, um projetor espacial e um modelo de linguagem por difusão. O codificador visual é uma ViT inicializada a partir do SigLIP, com embeddings posicionais rotativos 2D, e executada na proporção nativa da captura de tela — o card define um IMAGE_MAX_PIXELS de 12.845.056, portanto cerca de 12,8 megapixels de entrada antes do redimensionamento, o que importa para alvos de clique pequenos em UIs densas de desktop. Sua saída é agrupada espacialmente numa razão de quatro para um e passada por um projetor MLP de duas camadas para a espinha dorsal de linguagem, que é o modelo de linguagem por difusão MoE LLaDA2.0-mini. Portanto, os "17B de parâmetros" que a barra lateral do Hugging Face mostra correspondem a um modelo de mistura de especialistas; apenas uma fração dos parâmetros fica ativa em cada passagem direta, o que ajuda a explicar por que a história de latência abaixo é mesmo plausível.

A receita de treinamento merece destaque porque é incomumente econômica no papel. Segundo o relatório técnico, o backbone multimodal foi pré-treinado em cerca de 145 bilhões de tokens em um currículo de três fases — uma curta fase de alinhamento apenas do projetor, depois fases de modelo completo com ênfase em percepção e raciocínio — antes de um ajuste fino supervisionado de agente de GUI em mais de seis milhões de amostras extraídas do projeto UI-Venus, abrangendo mais de 100 aplicativos móveis em chinês, mais de 70 aplicativos móveis em inglês, além de dados de desktop e web. A visão do fornecedor é que 145 bilhões de tokens é uma fração do que os pares autorregressivos consumiram (o relatório cita 4,1T para Qwen2.5-VL e 2,2T para Qwen3-VL). Considere as contagens de tokens e a mistura de dados como declaração do próprio laboratório; o que pode ser verificado de forma independente é apenas que o modelo existe e roda.

O que ele realmente emite

LLaDA-UI tem dois modos de saída, e a diferença importa para como você conectaria isso a um pipeline. No modo de grounding, o modelo retorna um único ponto: coordenadas inteiras normalizadas para um intervalo [0, 999] para o alvo, por exemplo, [742, 186], que o script de referência também imprime como uma fração de 0 a 1 para multiplicar pela largura e altura da captura de tela. Se o alvo solicitado não estiver presente na imagem, o modelo é treinado para responder [-1, -1] em vez de alucinar uma localização — uma propriedade de confiabilidade pequena, porém importante, para um loop de agente. No modo agente/navegação, o modelo emite uma tag de raciocínio seguida por uma ação estruturada:

<think>A barra de pesquisa está no topo da página, abaixo do logo.</think><action>Click(box=(742, 186))</action>

O vocabulário de ações é definido por plataforma — mobile, desktop e web — e, apesar do nome do campo, "box" contém uma única coordenada de interação, e não um retângulo. A divisão entre pensar e agir é o que permite que o modelo fundamente sua decisão na tela atual antes de se comprometer com um clique, e a saída baseada em coordenadas é o que mantém o resultado interpretável por máquina, em vez de uma instrução em texto livre que um parser separado precisaria interpretar.

As afirmações do benchmark, rotuladas

Os principais resultados do relatório técnico são um conjunto de afirmações sobre um modelo GUI de difusão que supera os autorregressivos em seu próprio jogo. Reproduzidos aqui exatamente como o fornecedor os relata, a partir do relatório técnico e da página do projeto — nada disso foi reproduzido de forma independente, e os números abaixo são LLaDA-UI versus Qwen3-VL-8B, salvo indicação em contrário:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 contra Qwen3-VL-8B 52.7, com uma vantagem apertada.

• AndroidWorld (agente móvel) — LLaDA-UI 53.5 vs Qwen3-VL-8B 47.9.

• MobileWorld (agente móvel) — LLaDA-UI 25.6 vs Qwen3-VL-8B 9.4, a maior diferença na tabela.

• WebVoyager (agente web) — LLaDA-UI 56.9 vs Qwen3-VL-8B 45.2.

Esses são quatro dos seis benchmarks de GUI relatados; o relatório é franco ao reconhecer que o LLaDA-UI não supera o Qwen3-VL-8B nos outros dois — no ScreenSpot-V2 o resultado é próximo, e o OSWorld-Verified continua sendo uma lacuna, o que os autores atribuem à degradação em capturas de tela muito grandes com alvos pequenos. Contra o modelo mais antigo Qwen2.5-VL-7B, a alegação é incondicional: ele vence em todos os seis benchmarks relatados. Há também uma alegação de velocidade, medida pelo laboratório em execuções de inferência pareadas, sem cache, em hardware idêntico: de 4,8 a 6,4 segundos por resposta para o LLaDA-UI, contra 17 a 53 segundos para o Qwen3-VL-8B, citados como ganhos médios de velocidade de 3,58x em entradas web, 6,83x em desktop e 8,95x em mobile — mesmo gerando mais tokens por chamada, diz o relatório, porque a decodificação paralela por blocos ganha em tempo real (wall-clock) mesmo quando a resposta é mais longa.

Leia a alegação de latência com o mesmo ceticismo que os números de precisão. A vantagem do bloco paralelo da decodificação por difusão é mecanicamente real, e a direção do efeito — menos etapas sequenciais por resposta — é consistente com o funcionamento da arquitetura, mas os aumentos de velocidade de 3,6x a 9x foram medidos pelas pessoas que construíram o modelo em hardware de sua escolha, e não foram replicados. As lacunas de precisão também importam: OSWorld-Verified é o que a área tem de mais próximo de um teste realista de agente de desktop, e é precisamente onde os autores dizem que o modelo tem dificuldades, em capturas de tela grandes com alvos pequenos. Um agente de GUI que acerta em mobile e web, mas falha em UIs densas de desktop, é um perfil de força específico, não geral.

Como executá-lo e o que ainda está faltando

Se você quiser experimentar o LLaDA-UI por conta própria, o caminho começa pelos pesos. O checkpoint tem cerca de 32 GB em BF16. O ambiente de referência é Python 3.10, PyTorch 2.5.1, Transformers 4.51.0 e FlashAttention 2.7.4.post1, e o início rápido executa uma passagem de grounding de imagem única com --gen-length 32 --steps 32 --block-length 32. O serving é possível via SGLang, mas apenas pelo launcher do próprio laboratório: o repositório inclui um serve_llada_ui.sh e um script de cliente que pressupõem patches de difusão multimodal específicos do LLaDA-UI, e o model card deixa explícito que ele não pode ser iniciado a partir de uma instalação padrão do SGLang. Capturas de tela grandes também podem exigir aumentar o --max-length padrão de 8192. Este é um modelo para pessoas que se sentem confortáveis em clonar um repositório, compilar o FlashAttention com sua configuração de CUDA e depurar uma decodificação de difusão — ainda não é uma chamada de API de comando único.

Quatro coisas mudariam o que um leitor pode fazer com o LLaDA-UI, e nenhuma delas aconteceu até o momento em que este texto foi escrito. Uma licença declarada resolveria a questão comercial que hoje não tem resposta. Uma entrada no arXiv faria do relatório técnico contido no repositório algo citável e sujeito a escrutínio por pares. Uma reprodução independente dos números do ScreenSpot-Pro via WebVoyager separaria a capacidade real da arquitetura da avaliação de seus autores. E um provedor que realmente disponibilize o modelo o tornaria testável sem um download de 32 GB e uma GPU. Se e quando esse último passo ocorrer, a questão do roteamento passa a ser rotina — uma única chave de API entre os catálogos de modelos, preços de tabela dos provedores repassados sem margem e failover automático, de modo que um checkpoint de três dias nunca fique sozinho em um caminho de produção. Até lá, o LLaDA-UI é um conjunto de pesos abertos excepcionalmente interessante de se acompanhar: um agente de interface gráfica baseado em difusão com alegações reais de benchmark, uma fraqueza específica e honestamente revelada, e nenhum dos suportes legais ou operacionais que permitiriam à maioria das equipes adotá-lo hoje. Acompanhe o repositório em busca da licença e do artigo, nessa ordem.