Claude Haiku 5.5 vs Gemma 4 12B : un modèle aux poids que vous pouvez garder contre une API de fournisseur

Claude Haiku 5.5 et Gemma 4 12B ne sont pas vraiment en concurrence pour le même créneau, et le moyen le plus rapide de s'en rendre compte tient en une ligne : l'un est distribué sous forme de poids Apache-2.0 que vous pouvez télécharger, quantifier et exécuter sur votre propre matériel, et l'autre n'existe que derrière une API. Claude Haiku 5.5 est arrivé le 7 octobre 2026 et a immédiatement redéfini ce qu'un petit palier peut obtenir — 43 sur l'indice indépendant Artificial Analysis Intelligence Index. Gemma 4 12B se situe à 14 dans le même classement. Cet écart est énorme, et ce n'est pas la raison pour laquelle la plupart des équipes finissent par choisir entre eux.

Le choix est généralement imposé avant même qu’un benchmark ne soit consulté : un pipeline réglementé qui ne peut pas envoyer de tokens à un fournisseur, un boîtier edge sans sortie réseau fiable, un budget de latence mesuré en millisecondes, ou une exigence de fine-tuning qu’une API fermée ne pourra jamais satisfaire. Si aucun de ces cas ne s’applique à vous, la réponse ne se joue pas de près. Si l’un d’eux s’applique, l’écart de score cesse d’avoir de l’importance et la contrainte de déploiement décide de tout.

Ce que le conseil a mesuré, et quand

Les chiffres indépendants ci-dessous proviennent d’Artificial Analysis, et les tarifs des fournisseurs proviennent de la documentation propre à Anthropic et à Google. Il s’agit de deux types de nombres différents, et ils sont étiquetés comme tels tout au long du document.

• Score indépendant — Claude Haiku 5.5 à 43 sur l'Intelligence Index, deuxième sur 182 modèles. G​emma 4 12B (Reasoning) à 14, 21e sur 142 dans sa catégorie. Un écart de 29 points.

• Prix des tokens en entrée par million — Claude Haiku 5.5 : 0,10 $ jusqu'à 100 000 tokens, puis 0,50 $ au-delà ; G​emma 4 12B : 0,10 $.

• Prix de sortie par million de tokens — Claude Haiku 5.5 : 0,50 $ jusqu'à 100 000 tokens et 2,50 $ au-delà ; Gemma 4 12B : 0,30 $.

• Fenêtre de contexte — 1 000 000 de tokens pour Claude Haiku 5.5 ; 262 000 pour Gemma 4 12B.

• Débit — 240,4 jetons de sortie par seconde pour Claude Haiku 5.5 ; 113,1 pour G​emma 4 12B, avec un délai de 2,48 secondes avant le premier jeton.

• Coût par tâche Index terminée — 0,21 $ pour Claude Haiku 5.5. Gemma 4 12B est suffisamment bon marché par token pour que le chiffre composite du classement s'établisse à 0,12 $ par million de tokens, mais le coût dérivé par tâche n'est pas le nombre qui devrait décider de cette comparaison.

• Poids — Apache 2.0 pour G​emma 4 12B, téléchargeables, avec environ 12 milliards de paramètres en version dense. Claude Haiku 5.5 est propriétaire ; aucune version des poids n’est publiée et aucune n’est prévue.

• Âge — Gemma 4 12B est disponible depuis juin 2026. Claude Haiku 5.5 a deux jours au moment où j’écris ces lignes.

L'écart est de 29 points, et l'écart de prix quasiment nul

Regardez à nouveau les deux lignes de prix : 0,10 $ en entrée pour les deux, et 0,30 $ contre 0,50 $ en sortie. G​emma 4 12B est moins cher, et la différence est suffisamment faible pour être noyée par le nombre de tokens — le tokeniseur plus récent de Claude Haiku 5.5 fait qu'un même texte représente environ 30 % de tokens en plus, si bien qu'un avantage brut de 40 % sur le tarif de sortie du côté de G​emma revient presque au même sur une facture réelle.

Donc vous payez presque le même tarif pour un modèle en retard de 29 points Index, ou vous payez presque le même tarif pour un modèle en avance de 29 points, selon la colonne que vous lisez en premier. Voilà la formulation honnête, et il faut le dire sans détour : pour toute tâche que les deux modèles peuvent accomplir, Claude Haiku 5.5 est le meilleur achat au prix catalogue, et il est meilleur d’un écart qu’aucune quantité d’ingénierie de prompt sur le modèle plus petit ne pourra combler.

La question intéressante n'est donc pas « lequel est meilleur ». C'est « à laquelle des tâches de ma file d'attente G​emma 4 12B échoue-t-il », et la réponse à cela est la seule chose qui détermine la comparaison.

Que vous apportent les poids qu’une API ne peut pas vous offrir ?

Un modèle téléchargé est un type d'actif différent, et les avantages sont structurels plutôt qu'incrémentaux.

• Frontière des données — avec G​emma 4 12B, aucun fournisseur n’intervient dans la boucle. Pour les charges de travail liées à la santé, au juridique, à la défense ou à la finance, c’est souvent la seule exigence qui compte, et aucun score, aussi élevé soit-il, ne rend une API acceptable.

• Coût fixe plutôt que variable — un modèle dense de 12B quantifié en quatre bits tient aisément sur un seul accélérateur moderne. À partir de là, le coût marginal par token est l’électricité, et une charge de travail peut être dimensionnée par rapport à une machine plutôt qu’à un compteur.

• Aucune sortie de données, aucune latence réseau — un modèle 12B sur site répond en quelques millisecondes, car rien ne quitte la machine. Une API de fournisseur subit un aller-retour réseau et une traîne de démarrage à froid qu’un déploiement en périphérie n’a tout simplement pas.

• Fine-tuning et distillation — vous pouvez adapter G​emma 4 12B sur vos propres données, livrer l’adaptateur et le figer. Le fait qu’A​nthropic vous laisse un jour fine-tuner un modèle de la gamme Haiku n’est pas quelque chose sur lequel vous pouvez bâtir une feuille de route.

• Un plancher sous votre feuille de route — les poids ne peuvent pas être dépréciés sous vos pieds. Anthropic a pris l’engagement de ne pas retirer Claude Haiku 5.5 avant le 7 octobre 2027, ce qui est généreux, mais un engagement avec une date dessus reste un engagement avec une date dessus.

• Modalité, curieusement — le classement indique que G​emma 4 12B prend en entrée du texte, des images, de la parole et de la vidéo pour produire du texte, soit une prise en charge plus large que le texte et l’image de Claude Haiku 5.5. Pour un pipeline local qui ingère de l’audio sans service de transcription distinct, c’est une véritable capacité que le côté API n’a pas.

Là où le 12B ne survit pas au contact

Le même tableau qui mesure l’écart de 29 points consigne aussi les choses qu’un petit modèle dense ne parvient pas bien à faire, et les passer sous silence serait malhonnête :

• Contexte long — 262 000 jetons contre 1 000 000. Un pipeline qui fourre une base de code ou un an d’enregistrements dans une seule invite n’a aucune voie sur Gemma 4 12B, et le découper en boucle de récupération ajoute de l’ingénierie que la fenêtre plus large aurait évitée.

• Travail agentique et d’utilisation de l’ordinateur — la catégorie de tâches où la défaillance d’un petit modèle est silencieuse et coûteuse. Les chiffres communiqués par A​nthropic elle-même pour Claude Haiku 5 placent OS 2.1 à 72,7 % contre 15,7 % pour le Haiku précédent ; un modèle 12B avec un indice de 14 n’est pas l’outil pour ce travail, et les chiffres du fournisseur ici sont un signal utile, même en tenant compte du fait qu’aucune exécution indépendante ne les a reproduits.

• Débit par dollar sur une flotte partagée — 113 tokens par seconde sur une instance hébergée, c’est acceptable, mais la raison de l’auto-hébergement n’est pas la vitesse, et un déploiement mono-GPU sera encore plus lent.

• Aucune solution de repli — si vous exécutez Gemma 4 12B en production, une panne de votre propre matériel est votre panne, sans second fournisseur vers lequel basculer, à moins d'en construire un.

Exécuter l’un ou l’autre via un seul point de terminaison

OrcaRouter propose aujourd'hui à son catalogue les Gemma 4 31B et Gemma 4 26B-A4B au prix catalogue de Google, avec 0 % de marge, mais pas le 12B — et il vaut mieux le dire franchement plutôt que de laisser entendre le contraire. Le 12B est accessible via la distribution propre du fournisseur et plusieurs plateformes tierces. Claude Haiku 5.5 n'est pas non plus encore au catalogue ; il est disponible via l'API d'Anthropic et les principaux clouds.

Ce qu’un routeur offre bel et bien, c’est la configuration que cette comparaison requiert réellement. Un déploiement judicieux d’un modèle local économique et d’un modèle API coûteux n’est pas une bifurcation — c’est une route : G​emma 4 12B ou une variante hébergée de G​emma 4 répond à la majorité des cas faciles, et les requêtes qui déclenchent une condition de qualité ou de longueur sont escaladées vers une branche A​nthropic. Claude Haiku 4.5, Claude Sonnet 5.5 et Claude Opus 5.5 sont désormais au catalogue, de sorte que le chemin d’escalade peut être construit et testé sous charge avant même que la branche de petite gamme ne soit disponible. Sur OrcaRouter, cette composition est une expression DSL de routage et basculement automatique plutôt qu’un service que vous maintenez, et avec les prix catalogue des fournisseurs répercutés à 0 % de marge, toute variation de prix sur n’importe quelle branche est effective le jour même où elle se produit.

La règle

Choisissez Claude Haiku 5.5, sauf si une contrainte l’exclut. Il devance Gemma 4 12B de 29 points Index pour un prix catalogue presque identique, il prend en charge un million de tokens de contexte, et c’est le modèle le plus performant sur toutes les tâches que les deux peuvent tenter. Il n’existe aucune version de cette comparaison où le 12B l’emporte au mérite.

Choisissez G​emma 4 12B lorsque la contrainte est l'essentiel — lorsque les tokens ne peuvent pas quitter vos locaux, lorsque le budget est une machine plutôt qu'un compteur, lorsque vous devez faire du fine-tuning, ou lorsque vous avez besoin des poids en main plutôt que d'une grille tarifaire et d'une date de retrait. Ce ne sont pas des préférences, ce sont des exigences, et face à une exigence, un écart de 29 points n'est tout simplement pas le chiffre décisif.