LFM3-1.7B vs Gemma 4 12B : quand le modèle sept fois plus petit remporte un benchmark de codage

LFM3-1.7B est un modèle textuel de 1,73 milliard de paramètres que Liquid AI a publié sur Hugging Face le 26 octobre 2026 et annoncé le lendemain dans le cadre du lancement de sa famille LFM3. Gemma 4 12B est un modèle dense de 11,95 milliards de paramètres que Google DeepMind a publié le 3 juin 2026, et il lit les images et l’audio ainsi que le texte. Sur le seul benchmark de codage que les deux fournisseurs publient — LiveCodeBench v6 —, le plus petit modèle obtient 73,46 et le plus grand 72,0. Relisez-le deux fois, car c’est toute la raison d’être de cette page et aussi le nombre le plus facile à mal lire sur Internet. Le routage n’ajoute pas de marge au prix catalogue d’un fournisseur. 0 % de marge Consultez la tarification sans marge sur notre page de tarifs.

Les deux chiffres sont déclarés par les fournisseurs. Aucun n’a été reproduit par un évaluateur indépendant. Ils ont été produits par des équipes différentes, sur des harnais différents, à plusieurs mois d’intervalle, et Liquid n’a publié aucune note méthodologique expliquant comment sa campagne LiveCodeBench a été configurée. La version honnête de la phrase ci-dessus n’est donc pas « un modèle de 1,7B bat un modèle de 12B en code ». C’est : deux fournisseurs rapportent des scores quasi identiques sur un benchmark dont ils partagent le nom, et l’écart de neuf points sur GPQA Diamond dans l’autre sens suggère que les deux modèles ne sont pas du tout proches d’être équivalents.

Qu’est-ce qui est réellement comparable, et qu’est-ce qui ne l’est pas ?

La plupart des pages « X vs Y » placent côte à côte deux tableaux de fournisseurs et appellent cela une comparaison. Cela ne fonctionne que si les tableaux se recoupent. Entre le billet de lancement de LFM3 de Liquid et la fiche de modèle Gemma 4 de Google, exactement deux noms de benchmarks apparaissent des deux côtés avec des définitions compatibles : LiveCodeBench v6 et GPQA Diamond. Tout le reste est rapporté par un seul fournisseur et pas par l'autre, et une cellule vide ne vaut pas zéro.

Sur ces deux axes communs, le résultat est une séparation nette. LFM3-1.7B remporte LiveCodeBench v6 avec 73,46 contre 72,0. Gemma 4 12B remporte GPQA Diamond avec 78,8 contre 63,37 — une marge de 15,4 points, qui n’est pas du bruit sur une évaluation comportant quelques centaines de questions.

Ce schéma mérite d’être nommé plutôt que d’être dilué dans une moyenne. LiveCodeBench mesure la capacité d’un modèle à résoudre des problèmes de programmation compétitive, une compétence étroite et fortement fondée sur des motifs, qu’un petit modèle entraîné sur les bonnes données peut acquérir. GPQA Diamond mesure un raisonnement scientifique de niveau troisième cycle qui dépend de l’étendue des connaissances — exactement ce que le nombre de paramètres permet d’obtenir. Un modèle de 1.7B peut être compétitif sur le premier et perdra sur le second, et c’est un résultat cohérent plutôt qu’une contradiction.

Le vendeur descend sous son propre meilleur chiffre

Voici la partie qui devrait changer votre façon de lire le 73.46. Faites défiler jusqu’en bas de la fiche du modèle LFM3-1.7B et Liquid écrit, en langage clair, que le modèle est conçu pour les agents locaux, l’appel d’outils et les sorties structurées, et qu’il est déconseillé pour le codage agentique ou le raisonnement complexe à plusieurs étapes en raison de sa petite taille.

C’est le fournisseur, pas un concurrent, qui vous indique le plafond. Cela s’accorde mal avec un score LiveCodeBench qui dépasse de peu celui d’un généraliste de 11,95 B, et l’explication est que ces mesures évaluent des choses différentes. Résoudre un problème isolé de programmation compétitive n’est pas la même tâche que garder un dépôt en contexte et réaliser vingt modifications coordonnées. Un modèle peut être fort sur la première et explicitement inadapté à la seconde, et Liquid le dit plutôt que de laisser le benchmark suggérer le contraire.

Prenez le fournisseur au mot. Si votre charge de travail est le codage agentique, cette comparaison ne devrait pas se terminer avec LFM3-1.7B. Si votre charge de travail est l’appel d’outils, l’extraction structurée, la classification ou un assistant local sur un appareil que vous possédez, l’avertissement de la carte ne s’applique pas à vous et l’empreinte de 1 GB devient tout l’argument.

Là où le 12B relève simplement d’une autre catégorie de choses

Gemma 4 12B est multimodal d'une manière qui ne peut pas être ajoutée à LFM3-1.7B par fine-tuning. La fiche de Google décrit une entrée image et audio projetée directement dans le même espace que les tokens de texte, sans encodeurs séparés — l'audio nativement sur le 12B et ses modèles plus petits. LFM3-1.7B est texte en entrée, texte en sortie. La capacité vision de Liquid réside dans LFM3-VL-2B, un checkpoint séparé avec un encodeur séparé, et un modèle texte n'en acquiert pas un en étant fine-tuné.

• Paramètres — 1,73 Md de paramètres denses pour LFM3-1.7B ; 11,95 Md denses pour Gemma 4 12B. Le rapport est de 6,9 pour 1.

• Modalité — texte uniquement par rapport aux entrées texte, image et audio.

• Contexte — 262 144 tokens pour les deux. C'est la seule ligne où le petit modèle ne sacrifie rien, et c'est une véritable prouesse de l'architecture tri-hybride plutôt qu'une coïncidence.

• Empreinte — environ 1 Go en 4 bits, contre près de 7 Go. Sur un téléphone, cette différence est celle entre livrer le produit et ne pas le livrer.

• Langues — 16 langues nommées contre plus de 140 pré-entraînées bénéficiant d'une solide prise en charge prête à l'emploi. Pour un produit à alphabet latin, l'écart se fait rarement sentir ; pour un déploiement régional, il est décisif.

• Licence — la LFM Open License v1.0 est gratuite pour un usage commercial en dessous de 10 millions de dollars de chiffre d'affaires annuel et nécessite une licence payante au-delà. Gemma 4 12B est sous Apache 2.0 sans condition de chiffre d'affaires.

Les deux factures ne sont pas libellées dans la même devise.

Gemma 4 12B a un prix de marché parce que des tiers le proposent. Artificial Analysis rapporte une médiane combinée de 0,10 $ par million de tokens d’entrée et de 0,30 $ par million de tokens de sortie sur les plateformes hébergeant les poids ouverts — une médiane entre fournisseurs, et non un prix catalogue, qui évolue avec l’offre. À ce tarif, la plupart des équipes n’envisagent jamais de faire tourner un 12B elles-mêmes.

LFM3-1.7B n’a pas ce prix-là. La fiche Hugging Face indique clairement que le modèle n’est déployé par aucun fournisseur d’inférence, ce qui correspond à ce que nous constatons de notre côté : OrcaRouter ne route actuellement pas LFM3-1.7B. Si vous voulez l’appeler, vous téléchargez 3,46 Go de poids BF16 ou une version 4 bits d’environ 1 Go et exécutez vous-même vLLM, SGLang, llama.cpp, MLX ou ONNX. L’API de Liquid le servira aussi, et plusieurs plateformes tierces également.

La comparaison des coûts ne se fait donc pas entre des tokens et d’autres tokens. Elle oppose une facture de fine-tuning et de serving à une facture à l’appel. À faible volume, l’API l’emporte sans conteste ; à volume soutenu, sur du matériel que vous possédez déjà, un modèle de 1 Go qui laisse le reste du GPU libre présente une économie d’une tout autre forme. C’est cette asymétrie — et non l’écart de quatre points sur LiveCodeBench — qui constitue la vraie raison d’envisager le petit modèle.

À quoi chacun sert réellement

Choisissez LFM3-1.7B lorsque la cible de déploiement est la contrainte : un téléphone, un ordinateur portable, un seul petit GPU qui doit aussi effectuer d’autres tâches. Le contexte de 256K est vraiment inhabituel à cette taille, le vocabulaire de 16 langues couvre la plupart des produits régionaux, et la prise en charge de six modes d’inférence signifie que vous ne misez pas sur un seul environnement d’exécution. Acceptez que vous achetez un modèle d’appel d’outils et d’extraction, pas un modèle de raisonnement, et planifiez la récupération autour du déficit de connaissances que le fournisseur lui-même signale.

Choisissez Gemma 4 12B lorsque la tâche exige de l’étendue, lorsque l’entrée est une capture d’écran ou un enregistrement, ou lorsque Apache 2.0 compte dans un processus d’achat. Il obtient 15 points de plus en raisonnement scientifique de niveau master, il lit nativement les images et il est disponible à un prix médian publié dès le premier jour. Le prix à payer, c’est la mémoire : 7 Go en 4 bits, c’est un ordinateur portable ou un GPU modeste, pas un téléphone.

Choisissez les deuxlorsque vous avez un chemin étroit à fort volume et un chemin large à faible volume. Acheminez le chemin large vers un généraliste hébergé et gardez le petit modèle sur l'appareil pour les appels étroits sensibles à la latence. OrcaRouter est conçu pour la première moitié de cette répartition — une seule clé pour plus de 200 modèles, les prix catalogue des fournisseurs répercutés avec 0 % de marge, afin qu'une variation de prix soit appliquée le jour même, et un basculement automatique en cas de dégradation d'un fournisseur. Il ne vous aide pas à héberger LFM3-1.7B, car nous ne servons pas ce modèle, et il serait malhonnête de laisser entendre le contraire.

Qu'est-ce qui réglerait ça

Une évaluation indépendante de LFM3-1.7B sur un banc d’essai qu’il n’a pas choisi ferait plus que toute cette page. Le tableau de lancement de Liquid est détaillé et cohérent en interne, et ce blog le traite comme rapporté par le fournisseur plutôt que vérifié, ce qui est bien le cas. Les éléments précis à surveiller sont une exécution tierce de LiveCodeBench ou SWE-bench qui reproduit le 73.46, un profil Artificial Analysis qui placerait les deux modèles sur une même échelle, et tout rapport où le modèle traite une tâche réelle sur un dépôt — exactement l’usage contre lequel la fiche met en garde.

Jusque-là, la lecture défendable est plus étroite que le titre. Un modèle de 1,73B avec un contexte de 256K, une empreinte de 1 Go et un solide profil d’appel d’outils a rattrapé un généraliste de 12B sur un seul benchmark de codage isolé, mais il est largement distancé en connaissances. Ce n’est pas un renversement. Ce sont deux modèles conçus pour des tâches différentes, et la question utile est de savoir à quelle tâche vous avez affaire.