MOSS-Image Saiu: OpenMOSS Lançou um DiT de 5B que Aceita Bounding Boxes no Prompt

O detalhe incômodo por trás do lançamento do MOSS-Image é que a coisa mais alardeada dita sobre ele ainda não é bem verdade. Em 17 de outubro, a própria conta do vLLM parabenizou a equipe OpenMOSS pelo lançamento de código aberto e disse que tinha "orgulho de apoiar o MOSS-Image no Dia 0 com o vLLM-Omni". O pull request que de fato adiciona o modelo a esse runtime — [Modelo] Adicionar MOSImage de texto para imagem com SLG, 3.605 linhas adicionadas em 25 arquivos — foi aberto em 14 de outubro e ainda está aberto, com o revisor pedindo evidências de paridade de saída em relação a uma implementação de referência fixada. A versão publicada mais recente do vLLM-Omni é a v0.31.0rc1, datada de 6 de outubro. Portanto, nenhuma versão distribuída do vLLM-Omni contém este modelo, e a versão honesta da alegação de Dia 0 é que o caminho de serving existe como um branch que você pode compilar, não como um pacote que você pode instalar. Essa distinção importa mais do que o normal aqui, porque MOSS-Image é um lançamento genuinamente interessante cujo conteúdo real está nos pesos: MOSS-Image-Base e MOSS-Image-SFT, lançados em 16 de outubro de 2026 sob Apache 2.0, construídos em torno de um transformer de difusão compacto que aceita layouts JSON estruturados como prompt.

A versão curta para quem quer perceber a ideia geral. A OpenMOSS — o laboratório por trás da linha de linguagem e fala MOSS, que trabalha com a MOSI Intelligence e parceiros académicos — lançou um transformer de difusão de fluxo único de 5B, treinado de raiz, emparelhado com um codificador de texto Qwen3.5-9B congelado e um VAE FLUX.2 congelado, sob uma licença permissiva que abrange tanto os pesos como o código de inferência. O seu argumento de venda não é a qualidade bruta da imagem; é que pode entregar-lhe um objeto JSON contendo caixas delimitadoras, cadeias de texto literais e notas de tipografia, e ele irá respeitá-las. Os números de benchmark que lhe estão associados são do próprio fornecedor, medidos em dois benchmarks que o fornecedor também criou. Isso não é motivo de desqualificação, mas significa que deve lê-los como um quadro de resultados interno de um laboratório, e não como uma tabela classificativa.

O que foi realmente enviado e para onde

Os artefatos são diretos e verificáveis. No Hugging Face, OpenMOSS-Team/MOSS-Image-Base e OpenMOSS-Team/MOSS-Image-SFT carregam os pesos, com espelhos no ModelScope para ambos, um Gradio Space rodando em uma única A10G, e um repositório no GitHub contendo o pipeline, o plugin do ComfyUI e um relatório técnico. A página do projeto em openmoss.ai marca a mesma data: 16 de outubro de 2026 — Apresentando o MOSS-Image-Base, com código e pesos do modelo disponíveis.

Dois checkpoints, uma arquitetura. O Base é o modelo pré-treinado; o SFT passou por ajuste fino com dados curados. O próprio exemplo de comparação do fornecedor mostra o SFT produzindo um agrupamento de texto mais compacto e um layout mais organizado, o que é mais ou menos o que se esperaria de um ajuste fino com dados curados de um modelo base que foi deliberadamente deixado sem destilação. O card do Base é explícito ao afirmar que ele "não passou por nenhum pós-treinamento ou destilação de parâmetros de inferência como CFG", sendo a razão declarada preservar as informações de treinamento e tornar mais fácil treinar LoRAs nele. A consequência prática é que o Base é o melhor hospedeiro para ajuste fino e a pior opção padrão para prompting casual.

O licenciamento é Apache 2.0 para os pesos e para o código do pipeline independente — sem limite de receita, sem anexo de uso aceitável, sem nível comercial separado. Para um modelo cuja principal capacidade é renderizar texto legível em imagens, esse é um fato mais significativo do que a tabela de benchmarks, porque a renderização de texto é exatamente a capacidade que aparece em trabalhos comerciais: mockups de produtos, composições de UI, infográficos, pôsteres, layouts de anúncios.

A arquitetura, nos números que importam

A tabela de configuração do relatório técnico é onde o lançamento deixa de ser um comunicado de imprensa e passa a ser uma especificação. O valor de 5B refere-se apenas ao gerador de difusão — um transformer de fluxo único, com 42 blocos conjuntos de profundidade, largura oculta de 3072, 24 cabeças de atenção de 128 dimensões cada, um feed-forward de 8192 de largura usando ativações SiTU-GLU, e uma codificação posicional rotativa de quatro eixos cujo primeiro eixo é reservado para um índice de referência, de modo que a geração condicionada por referência possa ser adicionada mais tarde sem alterar o esquema posicional.

Depois, há a parte que o rótulo "5B" exclui silenciosamente:

• Codificador de texto — Qwen3.5-9B, congelado, alimentando estados ocultos de tokens da camada final na dimensão 4096 por meio de uma projeção linear para 3072, mais dois blocos de transformer apenas de texto. Um codificador de 9B acoplado a um gerador de 5B é uma pegada materialmente maior do que o número de destaque sugere.

• VAE — VAE do FLUX.2, congelado e carregado do FLUX.2-klein-4B, 32 canais latentes com fator de subamostragem espacial de 8, com patches latentes 2×2, resultando em um stride de imagem efetivo de 16 pixels. O próprio model card do MOSS-Image observa que ele usa o decodificador pequeno do FLUX.2.

• Tamanho do download — o repositório SFT totaliza cerca de 27,2 GB, dos quais o codificador de texto tem aproximadamente 16,8 GB em quatro fragmentos e o transformer cerca de 10,2 GB em três. Planeje com base no codificador, não no selo.

• Teto de prompt — 4096 tokens no estágio final de pré-treinamento, correspondendo à alegação do fornecedor de "até 4K tokens". As dimensões de saída devem ser múltiplos positivos de 16, com o guia recomendando um, um e meio ou dois megapixels e um intervalo de extrapolação suportado de 0,25M (512×512) a 4M.

• Configurações padrão de amostragem — Euler com flow-matching, 50 passos, CFG 3.0, shift 5.0, com orientação skip-layer no ramo negativo na camada 22. O caminho de orientação padrão exige dois forwards do transformer por passo, e é por isso que 50 passos não é a configuração barata que parece.

• Treinamento — três estágios progressivos de resolução: 256px por 2,1M passos, 512px por 2,1M passos, depois aproximadamente 1024² por 0,31M passos, com o número máximo de tokens por amostra subindo de 576 para 3.072 e para 8.192. O corpus é um conjunto derivado do ReLAION, reduzido de cerca de 5 bilhões para 3 bilhões de imagens por deduplicação e remoção de imagens de IA, com o relatório afirmando que nenhuma filtragem adicional é aplicada — imagens cujas legendas contêm artefatos são mantidas e seus artefatos são descritos, em vez de descartadas. A otimização é um Muon–AdamW híbrido, e a ablação de 1B parâmetros do próprio fornecedor relata 33,2% e 28,6% menos passos até a mesma perda do que o AdamW em dois checkpoints. Afirma-se que o treinamento usou plataformas de GPU heterogêneas, o que é uma alegação sobre o fornecimento de hardware, e não sobre o modelo, e o relatório não as nomeia.

Uma coisa que vale a pena destacar antes dos benchmarks

O módulo de aprimoramento de prompt — a parte que transforma "design an English koala knowledge infographic" em uma especificação completa de conteúdo e layout — não é um pequeno modelo do próprio fornecedor. O relatório afirma claramente que LayoutPE usa GPT-6 com instruções de tarefa modulares no momento da inferência, e a skill de aprimoramento de prompt incluída no repositório é descrita como projetada para agentes da família GPT-6. Portanto, o resultado ponta a ponta mais forte abaixo não é a saída de um único modelo; é um pipeline de dois modelos cuja metade da especificação roda na API de outra pessoa. Se você estava lendo o ranking Elo como uma medida pura do gerador, não é isso.

A tabela de benchmark, e quem a criou

MOSS-Image é avaliado em dois benchmarks que acompanham o lançamento, nascidos do próprio argumento do fornecedor de que os testes existentes não medem o que ele considera importante. LongLongTextBench é composto por 240 tarefas de renderização de texto literário — 120 em inglês, 120 em chinês, com um comprimento-alvo médio de 1.339,8 caracteres, aproximadamente onze vezes a média do LongTextBench. RealLayoutArena é composto por 61 tarefas de design (20 pôsteres, 20 infográficos, 21 interfaces de usuário) avaliadas por comparação humana pareada cega e ajustadas a uma escala Elo de Bradley–Terry. Onde as baselines aparecem, são execuções do fornecedor de modelos de outras pessoas. Todos os números nesta seção são relatados pelo fornecedor, não reproduzidos, e nada disso foi auditado de forma independente.

Na cobertura de texto Mean-6 do LongLongTextBench, o MOSS-Image obtém 96,3 — o melhor número de pesos abertos na tabela do fornecedor, bem à frente dos 64,9 do Qwen-Image-2512, e suas pontuações na condição mais longa são 97,1 em inglês e 92,4 em chinês. O número que mantém a tabela honesta é a linha acima dela: no próprio benchmark do fornecedor, nas próprias execuções do fornecedor, GPT Image 2obtém 99,0 e o Nano Banana Pro, 96,6. A OpenMOSS publicou uma tabela na qual um concorrente ainda vence, o que vale alguma coisa.

No controle de layout do 7Bench, a diferença é muito maior — o IoU médio sobre os objetos-alvo detetados é 0,88 para o MOSS-Image, contra 0,44 para o Ideogram 4.0, 0,33 para o Nano Banana Pro e o Seedream 5.0 Pro, 0,31 para o Qwen Image 3.0 Pro e 0,30 para o GPT Image 2, com um Layout AUC de 0,70 contra um intervalo que vai de 0,16 a 0,20. Se esses números sobreviverem à reprodução, a colocação precisa de objetos é a capacidade que este modelo realmente detém.

No RealLayoutArena de ponta a ponta, o MOSS-Image alcança 1698,70 de Elo, com um intervalo de confiança de 95% de 1655,96 a 1741,43 — segundo no geral, atrás do GPT Image 2, com 1844,35, e à frente do Seedream 5.0 Pro (1661,16), do Q​wen Image 3.0 Pro com aprimoramento de prompt (1614,84) e do Nano Banana Pro (1590,19). Quando a comparação é restrita apenas ao backbone sob prompts compartilhados de linguagem natural aprimorados, o MOSS-Image vem em primeiro, com 1807,34, à frente do ERNIE Image, com 1748,51, e do SenseNova-U1, com 1689,23. A ablação da estratégia de prompts é a linha mais útil do artigo para quem planeja usá-lo: prompts de layout JSON pontuam 1622,87, e prompts em linguagem natural pontuam 1506,20 no mesmo sistema. A interface de layout não é um recurso extra. É onde reside o desempenho.

Duas ressalvas que o relatório levanta contra si mesmo merecem ser repetidas. O LongTextBench é descrito como próximo da saturação para modelos fortes atuais, o que é o fornecedor explicando por que construiu um teste mais difícil em vez de se apoiar em um antigo. E o intervalo de confiança do Elo ponta a ponta não se sobrepõe a nada, mas é amplo — 85 pontos Elo — em uma arena de 61 tarefas avaliada por avaliadores humanos.

Executá-lo por conta própria, e quanto isso custa

Hoje não existe nenhuma API comercial para o MOSS-Image que possamos verificar, e não está em nosso próprio catálogo — a OrcaRouter atende mais de 200 modelos e MOSS-Image não é um deles, então nada aqui deve ser interpretado como se nós a estivéssemos oferecendo. O que existe é auto-hospedagem: a rota Diffusers com um pipeline personalizado (pipeline_moss_image, diffusers 0.38 ou posterior, transformers 5.3 ou posterior, torch 2.9 ou posterior, Python 3.10+), um app Gradio, e um plugin nativo do ComfyUI instalável pelo ComfyUI Manager, com integração ao repositório oficial do ComfyUI descrita como em andamento. Há também uma skill de aprimoramento de prompt para frameworks de agentes, e ela compila rascunhos de coordenadas de pixel no formato JSON de coordenadas centralizadas do modelo sem chamar nenhum serviço de imagem — uma pequena ferramenta genuinamente útil.

A comunidade já fez a parte que o fornecedor não fez. Cerca de um dia após o lançamento, surgiram builds de terceiros no Hugging Face: um empacotamento do modelo pela Comfy-Org, um build experimental do Kijai, quantizações GGUF, conversões ConvRot INT8 e INT4, um build W4A8 do OrbitQuant e — o mais útil para quem não tem um datacenter — uma LoRA DMD de 4 passos e uma variante destilada de 8 passos que atacam frontalmente o padrão de 50 passos. Nenhum destes tem suporte do fornecedor e nenhum foi submetido a benchmarks, mas são o sinal normal de que um lançamento chegou a pessoas que pretendem usá-lo em vez de citá-lo.

É aqui que uma camada de roteamento justifica o seu lugar, e vale a pena ser preciso quanto ao limite. Não hospedamos o MOSS-Image, portanto não podemos servi-lo e não daremos a entender o contrário. O que podemos fazer é a outra metade da comparação: se quiser medir um MOSS-Image auto-hospedado em relação a modelos de imagem hospedados, o lado hospedado é acessível por meio de uma única chave de API no nosso catálogo ao preço de tabela do provedor, com 0% de markup — assim, uma alteração de preço de um fornecedor num modelo hospedado entra em vigor aqui no mesmo dia, não num ciclo de contrato trimestral — com failover automático entre provedores e uma DSL de roteamento que permite colocar vários modelos por trás de um único endpoint. Testar um checkpoint não comprovado contra um alugado não deveria exigir um segundo SDK, e essa é a única alegação que está sendo feita.

Quem deve avançar com isto, e quem deve esperar

Se o seu trabalho envolve gerar imagens que contenham texto multilíngue correto e legível em posições específicas — pôsteres, mockups de interface, cartões informativos, qualquer coisa em que o layout seja o entregável e não um acidente feliz —, o MOSS-Image é o lançamento de pesos abertos mais diretamente direcionado do último mês, e a licença Apache 2.0 significa que a revisão comercial de praxe é curta. Comece pelo checkpoint SFT, espere fornecer JSON estruturado em vez de texto corrido, e reserve orçamento para os 16,8 GB do codificador antes de reservar para o gerador.

Espere se você precisar de um endpoint chamável esta semana, se estiver alugando capacidade em vez de possuí-la, ou se quiser um número independente antes de se comprometer. A arquitetura é um design limpo de fluxo único, com um encoder congelado e um VAE congelado, o que tornará simples executá-la — mas 50 passos com dois forwards por passo representam um custo real de serving, o selo "5B" subestima o download, e as pontuações de destaque foram produzidas pelo fornecedor nos benchmarks do próprio fornecedor, usando uma etapa de especificação que roda em um modelo de terceiros. Espere por uma reprodução, ou que o caminho do vLLM-Omni seja integrado a algo que você consiga instalar.

Duas questões que este lançamento não resolve

O controle de layout do modelo justifica uma mudança no fluxo de trabalho?

Isso depende de conseguir expressar a sua intenção como caixas e strings. O JSON de layout usa coordenadas absolutas em píxeis medidas a partir do centro da tela, com bbox_format "yxyx", o que é diferente das convenções de coordenadas relativas usadas por vários outros sistemas de layout recentes — o fornecedor argumenta que píxeis absolutos se adequam melhor ao trabalho com múltiplas resoluções. Adotá-lo implica reescrever toda a lógica de prompt que já tenha, e a própria diferença de 7Bench do fornecedor (0,88 mIoU contra uma concorrência entre 0,30–0,44) é a única prova de que a reescrita compensa. Foi medida pelas pessoas que escreveram a métrica.

A história do Fine-Tuning é tão aberta quanto a licença sugere?

Parcialmente desconhecido. Os pesos e o código do pipeline são Apache 2.0, e o Base foi deliberadamente deixado sem destilação para que as LoRAs tivessem algo em que morder, o que é um compromisso real. Mas a receita de treinamento do relatório — o currículo de resolução em estágios, as decisões de filtragem do ReLAION, a divisão Muon–AdamW — é documentação, não dados divulgados, e a orientação de fine-tuning até agora consiste em instruções específicas (mantenha o codificador de texto congelado; não faça fine-tuning nele) mais um prompt de legendagem. A afirmação de que SFT simples desbloqueia a geração baseada em referência e a saída em GIF é apresentada como uma descoberta com um “fique atento” anexado, não como um resultado que se pode conferir hoje.

Três coisas fariam o MOSS-Image passar de um repositório impressionante a uma escolha consolidada, e nenhuma delas existe ainda: uma execução independente do LongLongTextBench ou do RealLayoutArena por alguém que não sejam os autores, o patch do vLLM-Omni integrado numa versão com tag, acompanhado das evidências de paridade de resultados que o seu revisor pediu, e um checkpoint destilado em poucos passos com o aval de um fornecedor, em vez de apenas conversões da comunidade. Até lá, o resumo preciso é este — um transformer de difusão de 5B bem documentado, com uma interface de texto e layout invulgarmente forte, uma licença permissiva que abrange tanto o código como os pesos, liderança em benchmarks nos testes que ele próprio escreveu e o segundo lugar na comparação ponta a ponta, e uma história de serving que é real mas que continua num pull request aberto.

As falhas documentadas de IA e os incidentes com agentes por trás de lançamentos como este estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.