RepGen-4B vs Gemma 4 12B : un spécialiste étroit de 4B contre un généraliste de 12B, et pourquoi les tailles mentent

Placés côte à côte, microsoft/UserRepGen-4B et Gemma 4 12Bressemblent à un déséquilibre décidé d'avance. Le modèle de Google à 11,95 milliards de paramètres lit le texte, les images et l'audio, gère 256 K tokens de contexte, s'accompagne d'un rapport technique et d'un blog de lancement, et a été téléchargé environ 79 000 fois depuis mai 2026. Le modèle de Microsoft est un LoRA de rang 64 sur Qwen3.5-4B, mis en ligne le 14 octobre 2026 sans annonce, et il fait exactement une chose : il lit une conversation utilisateur-assistant terminée et renvoie une description JSON à deux champs de la personne qui s'y trouve. Il ne peut pas tenir une conversation, répondre à une question ni voir une image. Les comparer sur leurs capacités n'est pas une comparaison, c'est une erreur de catégorie — et c'est cette erreur de catégorie qui est intéressante, car c'est le plus petit modèle qui surpasse un généraliste de pointe dans la tâche pour laquelle il a été conçu.

À quoi chacun sert réellement

La façon la plus claire de garder les deux en tête est que Gemma 4 12B est un assistant et UserRepGen-4B est un instrument de mesure.

• Gemma 4 12B — le membre multimodal sans encodeur de la famille Gemma 4. En entrée : texte, image et audio ; en sortie : du texte. Google décrit lui-même sa fiche comme « Unified », car il abandonne les encodeurs dédiés à la vision et à l'audio qu'utilise le reste de la famille, en projetant directement les patchs d'image bruts et les formes d'onde dans l'espace d'embedding du décodeur via de légères couches linéaires. 48 couches, une fenêtre glissante de 1 024 tokens, un vocabulaire de 262 K, un contexte de 256 K tokens. Apache 2.0, des variantes affinées sur instructions publiées aux côtés de la version de base.

• UserRepGen-4B — un générateur de représentations. Entrée : une conversation à plusieurs tours autorisée, jusqu'à 8 192 tokens. Sortie : un objet JSON avec un champ task et un champ user_behavior, plafonné à 1 024 tokens, revu par un humain puis confié à un LLM distinct qui joue le rôle de l'utilisateur dans une simulation. MIT sur la contribution de Microsoft, Apache 2.0 hérité du socle Qwen. Texte uniquement, bien que le checkpoint conserve une tour de vision qu'il n'utilise jamais.

On peut demander à Gemma 4 12B de faire ce que fait UserRepGen-4B — lire une conversation et décrire l’utilisateur qui s’y trouve. C’est précisément la manière honnête d’aborder cette confrontation, car la fiche de Microsoft évalue un modèle généraliste faisant exactement cela, et il perd.

Le seul nombre réel qui les relie

Il n'existe aucune comparaison directe publiée entre ces deux modèles, et en inventer une serait l'échec facile d'une page comme celle-ci. Ce que la fiche de UserRepGen-4B publie, en revanche, c'est une évaluation de fidélité portant sur 700 conversations, sur une échelle de 1 à 10, où chaque générateur est jugé selon des appels identiques. Dans ce tableau, GPT-5.5 utilisé tel quel comme générateur de représentations obtient 3,90 en best-of-1 et 4,90 en best-of-3. UserRepGen-4B obtient 4,95 et 6,02. Le spécialiste 4B entraîné bat un généraliste de pointe qui est de plusieurs ordres de grandeur plus grand pour ce travail spécifique.

Gemma 4 12B ne figure pas dans ce tableau, donc personne ne sait où il se situerait. Mais la référence à laquelle il serait comparé rend claire la forme de la réponse : un modèle généraliste auquel on demande de décrire un utilisateur produit quelque chose de plausible et de générique, et la méthode d’entraînement de UserRepGen-4B existe précisément pour aller au-delà de cela. Un 12B dépassera très probablement le 4B en raisonnement général et sera battu par lui sur cette tâche précise.

Ce qui soulève l’évidente question de savoir pourquoi vous ne demanderiez pas simplement à Gemma 4 12B de faire la même chose et ne garderiez qu’un seul modèle sur votre disque. Deux raisons, et la seconde est celle qui compte.

Le premier est le coût à l'échelle. Générer une représentation par conversation est une tâche de traitement par lots, et 12 B de paramètres coûtent environ trois fois ce que coûtent 4 B de paramètres pour la même passe. Le second est que l'écart de fidélité n'est pas un problème de réglage — les ablations de la fiche elle-même montrent un affinage supervisé simple à 4,64/5,68, tandis que OPSD et GRPO, les deux méthodes d'apprentissage par renforcement vers lesquelles une équipe compétente se tournerait en premier, se situent en dessous de lui à 4,46/5,60 et 3,57/4,59. Amener un modèle généraliste à adopter ce comportement n'est pas une question d'un meilleur prompt ou d'une exécution RL plus lourde. C'est ce pour quoi la boucle d'entraînement a été conçue.

Les deux sont téléchargeables, et un seul d’entre eux est déployable.

C'est ici que la grille de lecture 4B contre 12B s'effondre complètement, car les deux versions se situent aux extrémités opposées du spectre du packaging.

• Gemma 4 12B — un produit publié avec un écosystème fonctionnel. Prise en charge de Transformers, une variante affinée aux instructions, des formats quantifiés et edge publiés pour toute la famille, un blog de lancement, un rapport technique sur arXiv, et un parcours documenté du téléchargement à la mise en service.

• UserRepGen-4B — un seul fichier safetensors bfloat16 de 9 078 620 536 octets. Pas de GGUF, pas d’ONNX, pas de MLX, aucune quantification d’aucune sorte. La fiche le dit directement : « Aucun format optimisé ou spécifique à un appareil n’est actuellement disponible. »

Cet écart n'a rien d'anodin. Gemma 4 12B a été conçu pour être exécuté par d'autres personnes, et ses onze milliards et demi de paramètres sont livrés comme un produit. UserRepGen-4B a été conçu pour produire un résultat pour un article, et sa fiche de modèle indique encore que la citation est « en attente de confirmation » et renvoie à une authentification « tant que le dépôt est privé » — une ligne oubliée d'un téléversement par étapes qui n'a pas été mise à jour. L'un est terminé ; l'autre l'est suffisamment.

Si ce que vous vouliez réellement, c’était un Gemma 4 via une API

Il faut le dire clairement, car c’est là que se trouvent réellement la plupart des lecteurs d’une comparaison de Gemma : OrcaRouter ne propose pas Gemma 4 12B — il n’existe pas de page de modèle pour ce dernier dans notre catalogue — et ne propose pas non plus UserRepGen-4B. Deux autres membres de la même famille Gemma 4 figurent toutefois au catalogue, et tous deux affichent le prix de liste du fournisseur sans rien y ajouter : Gemma 4 26B A4B, la variante mélange d’experts de 25,2 B avec 3,8 B de paramètres actifs sur un contexte de 262 144 jetons, à 0,06 $ par million de jetons en entrée et 0,33 $ par million de jetons en sortie ; et Gemma 4 31B, la variante multimodale dense de 30,7 B, à 0,13 $ et 0,38 $. Si vous vouliez le 12B spécifiquement pour un usage local, c’est le téléchargement qu’il vous faut, et aucune API n’y change rien.

Pour le volet simulation, la position honnête est la même. UserRepGen-4B est un checkpoint et un fichier de prompt — vous l’exécutez vous-même, dans votre propre environnement, sur des conversations que vous êtes autorisé à traiter. Il serait pratique qu’il s’agisse d’un appel à un point de terminaison hébergé. Ce n’est pas le cas, aujourd’hui, ni chez nous ni ailleurs.

Lequel télécharger ?

Si vous avez besoin d’un petit assistant multimodal qui lit des documents, écoute de l’audio et répond à des questions sur un ordinateur portable, Gemma 4 12B est celui qu’il vous faut, et la comparaison avec UserRepGen-4B n’est même pas assez proche pour être pertinente. Si vous construisez un simulateur d’utilisateur et que votre approche actuelle consiste à demander à un modèle général, via un prompt, de décrire l’utilisateur, UserRepGen-4B est la seule chose ici qui ait été entraînée pour cela, et les preuves — rapportées par le fournisseur, issues d’un seul laboratoire, évaluées par GPT-5.4 mini tout du long — indiquent que l’entraînement bat le prompting. Ce qui changerait la donne, c’est l’article, ou une évaluation indépendante de ce 4,95 venant de l’extérieur de Microsoft. Ni l’un ni l’autre n’existe encore, et les deux méritent qu’on attende avant que quiconque remplace un pipeline fonctionnel par celui-ci.

C'est aussi dans des comparaisons comme celle-ci que les modes de défaillance apparaissent : les incidents d'IA documentés et les défaillances d'agents derrière les modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et son indicateur de contestation.