Uma comparação gerada de dois cartões, encabeçada por "UserRepGen-4B vs Gemma 4 12B - especialista vs generalista", acima da manchete "Um faz um trabalho que o outro nunca foi solicitado a fazer". O cartão da esquerda, UserRepGen-4B, lista: função — descrever o usuário em uma conversa; tamanho — classe 4B mais LoRA de rank 64; entradas — somente texto; formatos — um arquivo bf16; benchmark próprio — 4,95 de fidelidade best-of-1. O cartão da direita, Gemma 4 12B, lista: função — assistente multimodal geral; tamanho — 11,95B denso com 48 camadas; entradas — texto, imagem e áudio; formatos nativos — GGUF, ONNX e MLX; benchmark próprio — 77,2 no MMLU Pro. Um rodapé diz: "Números da Microsoft informados pelo fornecedor; números do Gemma conforme o model card do Google." O logotipo da OrcaRouter está composto no canto inferior direito.
Guides & Insights

RepGen-4B vs Gemma 4 12B: Um especialista estreito de 4B contra um generalista de 12B, e por que os tamanhos mentem

Autor

Alistair Wren

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Colocados lado a lado, microsoft/UserRepGen-4B e Gemma 4 12B parecem um descompasso definido antes mesmo de começar. O modelo de 11,95 bilhões de parâmetros do Google lê texto, imagens e áudio, comporta 256K tokens de contexto, traz um relatório técnico e um blog de lançamento, e foi baixado cerca de 79.000 vezes desde maio de 2026. O modelo da Microsoft é um LoRA de rank 64 sobre Qwen3.5-4B, publicado em 14 de outubro de 2026 sem nenhum anúncio, e faz exatamente uma coisa: lê uma conversa finalizada entre usuário e assistente e devolve uma descrição JSON de dois campos da pessoa presente nela. Ele não consegue manter uma conversa, responder a uma pergunta ou ver uma imagem. Pesar esses dois em capacidade não é uma comparação, é um erro de categoria — e o erro de categoria é a parte interessante, porque o modelo menor é o que supera um generalista de ponta na tarefa para a qual foi criado.

Para que cada um realmente serve

A maneira mais clara de manter ambos em mente é que o Gemma 4 12B é um assistente e o UserRepGen-4B é um instrumento de medição.

• Gemma 4 12B — o membro multimodal sem codificadores da família Gemma 4. Texto, imagem e áudio entram; texto sai. O próprio cartão do Google descreve-o como "Unified" porque dispensa os codificadores dedicados de visão e áudio que o resto da família utiliza, projetando patches de imagem e formas de onda em bruto diretamente no espaço de incorporação do descodificador através de camadas lineares leves. 48 camadas, uma janela deslizante de 1.024 tokens, um vocabulário de 262K, contexto de 256K tokens. Apache 2.0, variantes ajustadas por instruções publicadas em conjunto com a base.

• UserRepGen-4B — um gerador de representações. Entrada: uma conversa autorizada com vários turnos, de até 8.192 tokens. Saída: um objeto JSON com um campo task e um campo user_behavior, limitado a 1.024 tokens, revisado por uma pessoa e então entregue a um LLM separado que interpreta o usuário numa simulação. MIT na contribuição da Microsoft; Apache 2.0 herdada do backbone Q​wen. Apenas texto, embora o checkpoint mantenha uma torre de visão que nunca usa.

Pode-se pedir ao Gemma 4 12B que faça o que o UserRepGen-4B faz — ler uma conversa e descrever a pessoa nela. Essa é justamente a maneira honesta de entrar nesse confronto, porque o cartão da Microsoft avalia um modelo geral fazendo exatamente isso, e ele perde.

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

O único número real que os conecta

Não há nenhum confronto direto publicado entre estes dois, e inventar um seria a falha fácil de uma página como esta. O que a ficha do UserRepGen-4B publica é uma avaliação de fidelidade de 700 conversas numa escala de 1 a 10, em que cada gerador é julgado por chamadas idênticas. Nessa tabela, GPT-5.5 usado tal como está como gerador de representação obtém 3,90 em best-of-1 e 4,90 em best-of-3. O UserRepGen-4B obtém 4,95 e 6,02. O especialista 4B treinado supera um generalista de fronteira que é ordens de magnitude maior nesta tarefa específica.

O Gemma 4 12B não está nessa tabela, então ninguém sabe onde ele ficaria. Mas a linha de base com a qual ele seria medido deixa clara a forma da resposta: um modelo geral solicitado a descrever um usuário produz algo plausível e genérico, e o método de treinamento do UserRepGen-4B existe especificamente para ir além disso. Um modelo de 12B muito provavelmente superará o de 4B em raciocínio geral e será superado por ele nesta tarefa específica.

O que levanta a óbvia questão de por que você não simplesmente pediria ao Gemma 4 12B para fazer a mesma coisa e ficaria com um único modelo no seu disco. Dois motivos, e o segundo é o que importa.

O primeiro é o custo em volume. Gerar uma representação por conversa é um trabalho em lote, e 12B parâmetros custam cerca de três vezes o que 4B parâmetros custam para a mesma passagem. O segundo é que a lacuna de fidelidade não é um problema de ajuste — as próprias ablações do card mostram ajuste fino supervisionado simples em 4,64/5,68, enquanto tanto o OPSD quanto o GRPO, os dois métodos de aprendizado por reforço aos quais uma equipe competente recorreria primeiro, ficam abaixo dele, em 4,46/5,60 e 3,57/4,59. Levar um modelo geral a esse comportamento não é questão de um prompt melhor ou de uma execução de RL mais pesada. É para isso que o loop de treinamento foi construído.

Ambos podem ser baixados, e apenas um deles pode ser implantado.

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

É aqui que o enquadramento 4B versus 12B se desfaz por completo, porque os dois lançamentos estão em extremos opostos do espectro de empacotamento.

• Gemma 4 12B — um produto lançado com um ecossistema funcional. Suporte a Transformers, uma variante ajustada por instruções, formatos quantizados e de edge publicados em toda a família, um blog de lançamento, um relatório técnico no arXiv e um caminho documentado do download até o serving.

• UserRepGen-4B — um único arquivo safetensors em bfloat16 com 9.078.620.536 bytes. Sem GGUF, sem ONNX, sem MLX, sem qualquer tipo de quantização. O card diz isso diretamente: "Nenhum formato otimizado ou específico de dispositivo está disponível no momento."

Essa lacuna não é incidental. O Gemma 4 12B foi construído para ser executado por outras pessoas, e onze bilhões e meio de parâmetros são entregues como um produto. O UserRepGen-4B foi construído para produzir um resultado para um artigo, e seu card ainda diz que a citação está "pendente de confirmação" e se refere a autenticar "enquanto o repositório estiver privado" — uma linha que sobrou de um upload preparado que não foi atualizado. Um está finalizado; o outro está finalizado o suficiente.

Se o que você realmente queria era um Gemma 4 através de uma API

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

Vale a pena dizer com franqueza, porque é aí que a maioria dos leitores de uma comparação do Gemma realmente se encontra: o OrcaRouter não disponibiliza o Gemma 4 12B — não há página de modelo para ele em nosso catálogo — e também não disponibiliza o UserRepGen-4B. No entanto, dois outros membros da mesma família Gemma 4 estão no catálogo, e ambos exibem o preço de tabela do provedor sem nenhum acréscimo: Gemma 4 26B A4B, a versão de mistura de especialistas de 25,2B com 3,8B de parâmetros ativos em um contexto de 262.144 tokens, a US$ 0,06 por milhão de tokens de entrada e US$ 0,33 por milhão de saída; e Gemma 4 31B, a versão multimodal densa de 30,7B, a US$ 0,13 e US$ 0,38. Se você queria o 12B especificamente para trabalho local, o download é a resposta e nenhuma API muda isso.

Do lado da simulação, a posição honesta é a mesma. O UserRepGen-4B é um checkpoint e um arquivo de prompt — você mesmo o executa, no seu próprio ambiente, em conversas que você tem autorização para processar. Seria conveniente se isso fosse uma chamada a um endpoint hospedado. Hoje, não é, nem no nosso nem em qualquer outro lugar.

Qual deles baixar

Se você precisa de um pequeno assistente multimodal que lê documentos, ouve áudio e responde a perguntas em um laptop, o Gemma 4 12B é a opção certa, e a comparação com o UserRepGen-4B não chega nem perto de ser relevante. Se você está construindo um simulador de usuário e sua abordagem atual é instruir um modelo geral a descrever o usuário, o UserRepGen-4B é a única coisa aqui que foi treinada para isso, e as evidências — relatadas pelo fornecedor, de um único laboratório, avaliadas pelo GPT-5.4 mini do início ao fim — dizem que o treinamento supera o prompting. O que mudaria o cenário é o artigo, ou uma avaliação independente daquele 4.95 vinda de fora da Microsoft. Nenhum dos dois existe ainda, e vale a pena esperar pelos dois antes que alguém substitua um pipeline em funcionamento por ele.

Comparações como esta também são onde os modos de falha vêm à tona: os incidentes de IA documentados e as falhas de agentes por trás dos modelos dessa classe estão reunidos em the OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e um indicador de contestação.