Una comparación generada de dos tarjetas titulada «UserRepGen-4B vs Gemma 4 12B - especialista vs generalista» bajo el titular «Uno hace un trabajo que al otro nunca se le pidió hacer». La tarjeta izquierda, UserRepGen-4B, enumera el rol: describir al usuario en una conversación; tamaño: clase 4B más LoRA de rango 64; entradas: solo texto; formatos: un archivo bf16; benchmark propio: fidelidad best-of-1 de 4.95. La tarjeta derecha, Gemma 4 12B, enumera el rol: asistente multimodal general; tamaño: 11.95B denso con 48 capas; entradas: texto, imagen y audio; formatos: GGUF, ONNX y MLX nativos; benchmark propio: 77.2 MMLU Pro. Un pie de página dice «Las cifras de Microsoft son reportadas por el proveedor; las cifras de Gemma, según la tarjeta de modelo de Google». El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
Guides & Insights

RepGen-4B vs Gemma 4 12B: Un especialista de nicho de 4B contra un generalista de 12B, y por qué los tamaños mienten

Autor

Alistair Wren

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Colocados uno al lado del otro, microsoft/UserRepGen-4B y Gemma 4 12B parecen un emparejamiento desigual decidido de antemano. El modelo de 11,95 mil millones de parámetros de Google lee texto, imágenes y audio, mantiene 256K tokens de contexto, cuenta con un informe técnico y un blog de lanzamiento, y se ha descargado unas 79.000 veces desde mayo de 2026. El modelo de Microsoft es un LoRA de rango 64 sobre Qwen3.5-4B, subido el 14 de octubre de 2026 sin ningún anuncio, y hace exactamente una cosa: lee una conversación usuario-asistente ya finalizada y devuelve una descripción JSON de dos campos de la persona que aparece en ella. No puede mantener una conversación, responder a una pregunta ni ver una imagen. Sopesar a estos dos por su capacidad no es una comparación, es un error de categoría, y el error de categoría es lo interesante, porque el modelo más pequeño es el que supera a un generalista de frontera en la tarea para la que fue creado.

Para qué sirve realmente cada uno

La forma más clara de tener ambos en mente es que Gemma 4 12B es un asistente y UserRepGen-4B es un instrumento de medición.

• Gemma 4 12B — el miembro multimodal sin codificadores de la familia Gemma 4. Entran texto, imagen y audio; sale texto. La propia ficha de Google lo describe como «Unificado» porque prescinde de los codificadores dedicados de visión y audio que usa el resto de la familia, proyectando parches de imagen y formas de onda sin procesar directamente en el espacio de embeddings del decodificador mediante capas lineales ligeras. 48 capas, una ventana deslizante de 1.024 tokens, un vocabulario de 262K, contexto de 256K tokens. Apache 2.0, variantes ajustadas por instrucciones publicadas junto con la base.

• UserRepGen-4B — un generador de representaciones. Entrada: una conversación autorizada de varios turnos, de hasta 8.192 tokens. Salida: un objeto JSON con un campo task y un campo user_behavior, limitado a 1.024 tokens, revisado por una persona y luego entregado a un LLM aparte que interpreta al usuario en una simulación. MIT sobre la contribución de Microsoft, Apache 2.0 heredado del backbone Qwen. Solo texto, aunque el checkpoint conserva una torre de visión que nunca utiliza.

A Gemma 4 12B se le puede pedir que haga lo que hace UserRepGen-4B: leer una conversación y describir al usuario que aparece en ella. Esa es precisamente la forma honesta de entrar en esta comparación, porque la ficha de Microsoft evalúa a un modelo general haciendo exactamente eso, y pierde.

A generated two-column scoreboard headed "UserRepGen-4B vs Gemma 4 12B - the scoreboard", titled "Six dimensions, and only one of them is about quality". The UserRepGen-4B column reads: representation generator; 4B-class plus rank-64 LoRA; text; 8,192 prompt and 1,024 out; one bf16 file; 4.95 best-of-1. The Gemma 4 12B column reads: general assistant; 11.95B dense; text, image, audio; 256K-token context; native, GGUF, ONNX, MLX; 77.2 MMLU Pro. A footer reads "Microsoft figures unaudited; Gemma figures per Google's model card. Different scales, different tasks." The OrcaRouter logo is composited bottom-right.

El único número real que los conecta

No existe una comparación directa publicada entre estos dos, e inventarla sería el error fácil de una página como esta. Lo que sí publica la ficha de UserRepGen-4B es una evaluación de fidelidad de 700 conversaciones en una escala de 1 a 10, donde cada generador se juzga mediante llamadas idénticas. En esa tabla, GPT-5.5 usado tal cual como generador de representaciones obtiene 3,90 en best-of-1 y 4,90 en best-of-3. UserRepGen-4B obtiene 4,95 y 6,02. El especialista 4B entrenado supera a un generalista de frontera que es órdenes de magnitud más grande en esta tarea específica.

Gemma 4 12B no está en esa tabla, así que nadie sabe dónde quedaría. Pero la línea base contra la que se mediría deja clara la forma de la respuesta: un modelo general al que se le pide describir a un usuario produce algo plausible y genérico, y el método de entrenamiento de UserRepGen-4B existe específicamente para ir más allá de eso. Es muy probable que un 12B supere al 4B en razonamiento general y que sea superado por este en esta tarea tan concreta.

Lo que plantea la pregunta obvia de por qué no simplemente le pedirías a Gemma 4 12B que hiciera lo mismo y mantendrías un solo modelo en tu disco. Dos razones, y la segunda es la que importa.

El primero es el coste a escala. Generar una representación por conversación es un trabajo por lotes, y 12B parámetros cuestan aproximadamente tres veces lo que cuestan 4B parámetros para la misma pasada. El segundo es que la brecha de fidelidad no es un problema de ajuste: las propias ablaciones de la tarjeta muestran un ajuste fino supervisado simple en 4.64/5.68, mientras que tanto OPSD como GRPO, los dos métodos de aprendizaje por refuerzo a los que un equipo competente recurriría primero, quedan por debajo de este en 4.46/5.60 y 3.57/4.59. Conseguir que un modelo general alcance este comportamiento no es cuestión de un mejor prompt o de una ejecución de RL más pesada. Es para lo que se construyó el bucle de entrenamiento.

Ambos son descargables, y solo uno de ellos se puede desplegar.

A headless-browser capture of the Hugging Face model card for google/gemma-4-12B, showing Google as the author, the Apache 2.0 licence, the Any-to-Any pipeline tag and the gemma4_unified architecture tag, and the card's opening note that this is the Gemma 4 12B Unified model, encoder-free, with native audio and vision understanding brought directly to local environments without separate encoders.

Aquí es donde el planteamiento de 4B frente a 12B se desmorona por completo, porque ambos lanzamientos están en extremos opuestos del espectro de empaquetado.

• Gemma 4 12B — un producto lanzado con un ecosistema funcional. Compatibilidad con Transformers, una variante ajustada con instrucciones, formatos cuantizados y para el edge publicados en toda la familia, un blog de lanzamiento, un informe técnico en arXiv y una ruta documentada desde la descarga hasta la puesta en servicio.

• UserRepGen-4B — un único archivo safetensors bfloat16 de 9.078.620.536 bytes. Sin GGUF, sin ONNX, sin MLX, sin cuantización de ningún tipo. La ficha lo dice directamente: «Actualmente no hay formatos optimizados ni específicos para dispositivos disponibles.»

Esa brecha no es incidental. Gemma 4 12B fue creado para que otras personas lo ejecuten, y once mil quinientos millones de parámetros se entregan como producto. UserRepGen-4B fue creado para producir un resultado para un artículo, y su tarjeta aún dice que la cita está "pendiente de confirmación" y se refiere a autenticarse "mientras el repositorio es privado" —una línea que quedó de una carga por etapas que no se ha actualizado. Uno está terminado; el otro está lo suficientemente terminado.

Si lo que en realidad querías era un Gemma 4 a través de una API

A headless-browser capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the Google Gemma 4 26B A4B heading, the Vision, Tools, JSON and Reasoning capability badges, the byline "by Google - 2026-04-03", a 262K-token context, text, image and video input with text output, input and output prices of $0.06 and $0.33 per million tokens, a p50 TTFT of 1.98 seconds, and the "Get the Gemma 4 26B A4B API" call to action.

Vale la pena decirlo sin rodeos, porque es donde realmente está la mayoría de los lectores de una comparativa de Gemma: OrcaRouter no ofrece Gemma 4 12B —no hay una página de modelo para él en nuestro catálogo— y tampoco ofrece UserRepGen-4B. Sin embargo, otros dos miembros de la misma familia Gemma 4 sí están en el catálogo, y ambos muestran el precio de lista del proveedor sin añadir nada: Gemma 4 26B A4B, la versión de mezcla de expertos de 25.2B con 3.8B de parámetros activos en un contexto de 262,144 tokens, a $0.06 por millón de tokens de entrada y $0.33 por millón de salida; y Gemma 4 31B, la versión densa multimodal de 30.7B, a $0.13 y $0.38. Si querías la 12B específicamente para trabajo local, la descarga es la respuesta y ninguna API cambia eso.

En lo que respecta al lado de la simulación, la postura honesta es la misma. UserRepGen-4B es un checkpoint y un archivo de prompt: lo ejecutas tú mismo, en tu propio entorno, sobre conversaciones que estás autorizado a procesar. Sería conveniente que eso fuera una llamada a un endpoint alojado. No lo es, hoy, ni en el nuestro ni en ningún otro.

¿Cuál descargar?

Si necesitas un asistente multimodal pequeño que lea documentos, escuche audio y responda preguntas en un portátil, Gemma 4 12B es el indicado, y la comparación con UserRepGen-4B ni siquiera está lo suficientemente cerca como para ser relevante. Si estás construyendo un simulador de usuarios y tu enfoque actual es pedirle a un modelo general que describa al usuario, UserRepGen-4B es lo único aquí que se entrenó para eso, y la evidencia —reportada por el proveedor, de un solo laboratorio, evaluada por GPT-5.4 mini en todo momento— dice que el entrenamiento supera al prompting. Lo que cambiaría el panorama es el artículo, o una evaluación independiente de ese 4.95 desde fuera de Microsoft. Ninguno de los dos existe todavía, y vale la pena esperar a que aparezcan ambos antes de que alguien sustituya por él una pipeline que funciona.

Comparaciones como esta también son donde salen a la luz los modos de fallo: los incidentes de IA documentados y los fallos de agentes detrás de modelos de esta clase se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, gravedad, grado de confianza e indicador de disputa.