UserRepGen-4B contre Qwen 3.8 : un fine-tune 4B vieux de sept mois face au fleuron actuel d'Alibaba

Commençons par le fait qui rend ce duo étrange. microsoft/UserRepGen-4B, mis en ligne le 14 octobre 2026 sans annonce, est un fine-tune de Qwen3.5-4B — le checkpoint de février 2026, une génération complète derrière le modèle auquel il est comparé ici. Qwen 3.8 est la génération d'août 2026 d'Alibaba, et parmi les modèles qu'elle sert figurent Qwen3.8-Max, le modèle phare à 2,00 $ par million de tokens d'entrée et 6,00 $ par million de tokens de sortie sur un contexte d'un million de tokens, Qwen3.8-27B à 0,33 $ et 2,40 $ sur 262 144 positions, et Qwen3.8-Flash à 0,15 $ et 0,47 $. Microsoft a examiné cette famille et est remonté d'une génération en arrière pour une base 4B. Puis il a publié un tableau montrant le modèle résultant battre GPT-5.5 sur la seule chose qu'il fait. Cette combinaison, c'est tout l'article : ce qu'un fine-tune ciblé vous apporte qu'un modèle phare plus récent n'apporte pas, et ce qu'il vous en coûte pour l'obtenir.

D'abord, ce à quoi correspond le nom « Qwen 3.8 »

Il vaut la peine de le préciser avant toute comparaison, car le nom de la famille couvre plusieurs artefacts très différents et les prix s’échelonnent sur un rapport supérieur à treize. Les trois membres pris en charge sont ceux qui comptent pour une décision :

• Qwen3.8-Max — le modèle phare, nativement multimodal pour le texte, l'image et la vidéo, avec un contexte d'1 M de tokens, servi dans trois formats de transmission, dont un compatible avec Anthropic. Le niveau premium, pour les cas où l'exactitude sur des problèmes difficiles prime sur le coût.

• Qwen3.8-27B — le modèle dense à poids ouverts sous Apache 2.0, contexte de 262 144 tokens, entrée texte, image et vidéo. La fiche officielle d'Alibaba rapporte 90,3 sur LiveCodeBench v6, 89,2 sur GPQA Diamond, 84,3 sur OSWorld-Verified et 79,0 sur QwenSWEBench — des chiffres rapportés par le fournisseur, non reproduits indépendamment.

• Qwen3.8-Flash — la voie des gros volumes, contexte de 1 M de tokens, tarifé pour la tâche courte exécutée un million de fois. Il existe aussi un instantané daté Qwen3.8-Max (0902) au catalogue, aux mêmes tarifs, que vous épinglez lorsque vous avez besoin d’un comportement reproductible plutôt que de la pointe mouvante.

Rien de tout cela n'est nouveau, et cette page ne rapporte pas un lancement de Qwen. Cette génération a cinq mois. Elle figure ici parce qu'elle constitue le côté le plus récent, le plus grand et le mieux évalué par les benchmarks de la comparaison, et parce que l'affirmation intéressante n'a de sens que face à quelque chose d'aussi puissant.

L’affirmation, énoncée précisément

La fiche de modèle de Microsoft rapporte une évaluation de fidélité sur 700 conversations mises de côté, notées de 1 à 10 par un juge LLM, où chaque générateur de représentation est branché dans la même boucle de simulation :

• Qwen3.5-4B, le backbone intact — 3,41 best-of-1, 4,42 best-of-3.

• GPT-5.5, sollicité tel quel pour décrire l’utilisateur — 3,90 et 4,90.

• UserRepGen-4B, après un affinage supervisé en ligne par distillation rétrospective — 4,95 et 6,02.

Tous les chiffres sont ceux de Microsoft, évalués par GPT-5.4 mini, et aucun n'a été reproduit en dehors du laboratoire. À lire comme une affirmation directionnelle plutôt qu'un résultat établi. Mais la direction est sans ambiguïté et elle ne concerne pas le nombre de paramètres : la méthode d'entraînement a fait gagner 1,54 point en best-of-1 au backbone, et il a dépassé en chemin un généraliste de pointe. La lecture voulue n'est pas « les petits modèles battent les grands modèles » — c'est qu'un modèle de base 4B de février, affiné intensivement sur un seul comportement étroit, peut battre un modèle bien plus grand auquel on a simplement demandé d'adopter ce comportement.

Qwen3.8-Max ne figure pas dans ce tableau. Il ferait probablement mieux que GPT-5.5, car c'est un modèle général plus performant. Il continuerait néanmoins à deviner le comportement, car rien dans son entraînement n'a été optimisé pour cela.

Pourquoi une base vieille de sept mois était le bon choix

L'écart générationnel ressemble à une erreur jusqu'à ce que vous compreniez ce dont le fine-tune a réellement besoin de la part de son backbone. Il a besoin d'un modèle à peu près fluide, peu coûteux à exécuter et suffisamment stable pour qu'un LoRA de rang 64 puisse le déplacer sans le détruire. Il n'a pas besoin de raisonnement de pointe, car la tâche n'est pas du raisonnement — il s'agit de décrire une conversation qui lui a été remise.

Deux détails de la fiche confirment cette lecture. Le premier est le plafond de sortie : 1 024 jetons pour la représentation, contre 8 192 pour la conversation. Le second est le budget d'entraînement — de juillet à août 2026, deux mois — et le fait que les deux méthodes les plus lourdes aient toutes les deux perdu. OPSD a obtenu 4,46/5,60 et GRPO 3,57/4,59, tous deux en dessous du simple fine-tuning supervisé à 4,64/5,68. Quand une méthode peu coûteuse en bat deux coûteuses, le goulot d'étranglement n'a jamais été la capacité du backbone. Passer à une base phare de 2026 aurait donné un modèle qui coûte plus cher par passe pour faire le même travail avec le même plafond.

Ce choix a un coût, et la fiche le dit franchement plutôt que de le cacher. Parce que la tour de vision accompagne le checkpoint parent, le modèle se charge via AutoModelForImageTextToText et transporte des chemins de code image et vidéo qu’il n’utilise jamais — les entrées image et vidéo ne sont explicitement pas prises en charge dans cette version. Vous héritez du bagage de l’architecture en même temps que de sa fluidité.

L’arithmétique des coûts, qui ne se déroule pas comme les gens s’y attendent

Le réflexe est de penser que l'inférence locale coûte moins cher. À l'échelle pour laquelle ce modèle est conçu, ce n'est généralement pas le cas, et calculer honnêtement les chiffres change la décision. Prenez un lot de 700 conversations — la même taille que l'évaluation de Microsoft elle-même — à environ 2 000 jetons de prompt et 400 jetons de sortie par appel.

• Via Qwen3.8-27B à 0,33 $ et 2,40 $ par million : environ 1,13 $ de dépense totale en tokens pour l'ensemble du lot.

• Via Qwen3.8-Max à 2,00 $ et 6,00 $ : environ 4,48 $.

En revanche, UserRepGen-4B coûte un téléchargement de 9,1 Go, un GPU avec suffisamment de mémoire pour le contenir en bfloat16, et l'ingénierie nécessaire pour câbler une classe Python. Microsoft rapporte qu'il est servi avec vLLM sur du matériel H100, A100, RTX A6000 et B200, et note que l'inférence sur CPU nécessite float32 et « sensiblement plus de mémoire que le fichier de poids d'environ 9,1 Go ». Si le seul critère était le coût en dollars par token, l'accès par API à un modèle plus performant l'emporte à ce volume, et de loin.

Ce qui signifie que les véritables raisons d’exécuter UserRepGen-4B vous-même sont celles qui n’apparaissent pas sur une grille tarifaire : les conversations que vous lui fournissez. Sa propre fiche indique de ne traiter que les conversations que vous êtes autorisé à traiter, de minimiser d’abord les informations identifiantes, et que les représentations ne sont pas des données anonymisées — les descriptions comportementales du modèle identifient une personne parmi quatre candidats dans 51,02 % des cas, mieux que les conversations brutes qu’elles résument, à 44,22 %. Un composant qui transforme les conversations en profils portables lisibles par l’humain est un composant que vous voudrez peut-être garder au sein de votre propre réseau, quel que soit le coût d’un appel d’API.

Où s'insère une couche de routage dans un pipeline comme celui-ci

Il s'agit plus souvent d'une configuration à deux modèles que d'une configuration à un seul : le générateur de représentations sur votre propre matériel, et un modèle général qui assure le rôle d'assistant, le jugement, ou la boucle d'évaluation autour de celui-ci. La seconde moitié est la partie qui passe par une API.

Les trois membres Qwen 3.8 servis sont sur OrcaRouter au prix catalogue du fournisseur, sans supplément — 2,00 $ et 6,00 $ pour Max, 0,33 $ et 2,40 $ pour le 27B, 0,15 $ et 0,47 $ pour Flash — sur une seule clé, avec basculement automatique entre fournisseurs afin qu’un appel de juge dans une boucle d’évaluation ne meure pas à cause d’un seul amont. Si vous faites passer un lot de centaines de conversations à travers plusieurs simulateurs et juges, ce basculement compte plus que le tarif par token, car une exécution qui meurt à la conversation 400 gaspille les 399 qui la précèdent. Le DSL de routage vous permet de composer l’assistant et le juge en un seul appel plutôt que d’en enchaîner deux. Ce que nous ne faisons pas, c’est servir UserRepGen-4B : notre catalogue n’a aucune entrée pour celui-ci, et rien ici ne doit être interprété comme une revendication de disponibilité pour le checkpoint Microsoft.

La décision, sans faux-fuyants

Si vous voulez un modèle général qui raisonne, code, lit des images et gère un million de tokens, rien dans cet article ne plaide contre Qwen3.8-Max — UserRepGen-4B ne peut rien faire de tout cela, et la comparaison avec un modèle phare n’est pas une comparaison dans laquelle il est entré. Si vous voulez un simulateur d’utilisateur conditionné sur un comportement de conversation réel, aucun des membres de Qwen 3.8 n’a été entraîné pour cela non plus, et le choix se fait entre un petit fine-tune local avec un avantage mesuré et un grand modèle API sans aucun avantage.

La question ouverte est la même que celle qui plane sur toute la publication : il n’y a pas d’article. La fiche indique que la citation est « en attente de confirmation », une ligne sur le fait que le dépôt est privé figure encore dans la section d’utilisation après que le dépôt est devenu public, et chaque chiffre du tableau de fidélité remonte au propre juge d’un seul laboratoire. Microsoft a construit un modèle qui bat la baseline la plus solide qu’il ait testée. Savoir s’il bat votre baseline est une question à laquelle seule une évaluation que vous réalisez vous-même peut répondre.

Un modèle affiné vieux de sept mois, comparé à un modèle phare actuel, est aussi un bon endroit pour se demander ce qui a échoué auparavant : les incidents d'IA documentés et les défaillances d'agents autour des modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, sa gravité, son degré de confiance et son indicateur de contestation.