Gemini 4 Hydrogen vs Claude Haiku 5.5 : un écart de prix de 15 fois qui se réduit à 7 fois par tâche terminée

Sur la grille tarifaire, l’écart est absurde. Claude Haiku 5.5 coûte 0,10 $ par million de tokens d’entrée et 0,50 $ par million de tokens de sortie pour les prompts allant jusqu’à 100 000 tokens ; G​emini 4 Hydrogen coûte 1,50 $ et 7,50 $. C’est quinze fois plus cher sur les deux lignes, pour un modèle qui n’est entré au catalogue de G​oogle que le 12 novembre 2026. Pourtant, personne qui choisit entre eux cette semaine ne choisit entre deux prix. On choisit entre un modèle qui obtient 54 sur l’Artificial Analysis Intelligence Index et un autre qui obtient 36, et le chiffre de quinze fois s’efface dès que l’on mesure ce que chacun coûte pour terminer une tâche plutôt que pour en démarrer une.

Le nombre par token et le nombre par tâche diffèrent de moitié

Artificial Analysis exécute les deux modèles via le même harnais et publie le coût par tâche d’index terminée parallèlement au prix par jeton. Les résultats sont loin de ce que suggèrent les grilles tarifaires.

Par token, en entrée et en sortie — G​emini 4 Hydrogen 1,50 $ / 7,50 $ contre Claude Haiku 5.5 0,10 $ / 0,50 $. Haiku est 15,0 fois moins cher en entrée et 15,0 fois moins cher en sortie, constant.

• Par tâche d’index terminée — G​emini 4 Hydrogen à 3,16 $ avec son réglage de réflexion le plus élevé, contre Claude Haiku 5.5 à 0,41 $. Haiku est 7,7 fois moins cher, et non 15 fois.

• Pourquoi l’écart est divisé par deux — verbosité. Haiku 5.5 a généré 298 millions de tokens de sortie pour parcourir l’index, contre 107 millions pour le modèle médian de sa propre classe de comparaison — Carbon et Hydrogen sont mesurés par rapport à une médiane de 72,8 millions, donc les deux médianes ne reposent pas sur le même étalon. Il est bon marché par token et coûteux par réponse, car il faut beaucoup plus de tokens pour en obtenir une.

• Tarif mixte sur le même mélange 7:2:1 cache/entrée/sortie — Gemini 4 Hydrogen à 1,10 $ par million contre Claude Haiku 5.5 à 0,077 $ par million.

Lisez les deux dernières lignes ensemble et l’argument tarifaire change de forme. Une équipe qui établit son budget à partir de la grille tarifaire s’attendra à une économie d’un facteur quinze et obtiendra un peu moins de huit. Une équipe qui établit son budget à partir du coût par tâche obtient le vrai chiffre, et ce chiffre reste très largement en faveur de Haiku — mais c’est un chiffre sur lequel on peut planifier, ce qui n’est pas le cas de la grille tarifaire.

Il existe un seuil enfoui dans la fiche de Haiku qu'aucun des deux chiffres ne capture. Tout ce qui précède correspond au tarif en dessous de 100 000 tokens. Au-delà de 100 000 tokens de prompt, Haiku 5.5 passe à 0,50 $ en entrée et 2,50 $ en sortie — un bond de cinq fois qui le place exactement à un tiers du prix de sortie de Hydrogen plutôt qu'à un quinzième. Les deux modèles disposent d'une fenêtre de 1 048 576 tokens, si bien que ce point de bascule est atteignable et non théorique : une charge de travail à contexte long place Haiku à 0,50 $/2,50 $ contre 1,50 $/7,50 $ pour Hydrogen, et l'écart par token se réduit à 3x tandis que l'écart de capacités reste exactement là où il était.

Ce que valent dix-huit points d’indice dans les tâches que les gens exécutent réellement

Dix-huit points d’indice, c’est un écart important sur le papier. Savoir s’il s’agit d’un écart important en pratique dépend entièrement de la nature du travail, et les benchmarks des fournisseurs vont dans des directions différentes selon celui que l’on lit.

• Travail en terminal agentique — G​oogle rapporte G​emini 4 Hydrogen à 57,0 % sur Terminal-Bench 4.1, étiqueté comme ajusté pour la triche. A​nthropic rapporte Claude Haiku 5.5 à 39,2 % sur Terminal-Bench 4.0. Versions différentes du benchmark, donc la comparaison est indicative plutôt qu’exacte, mais la tendance est cohérente et favorise Hydrogen avec une large marge.

• Utilisation de l’ordinateur — Hydrogen à 77,6 % sur OSWorld-2.1, selon le fournisseur ; Haiku 5.5 à 72,4 % sur le sous-ensemble hors ligne du même benchmark, également selon le fournisseur. Une avance plus réduite pour Hydrogen, et la mention du sous-ensemble signifie que les deux chiffres ne mesurent pas tout à fait la même chose.

• Raisonnement complexe sans outils — Hydrogen à 58,8 % sur HLE-Diamond ; Haiku 5.5 à 45,9 % sur Humanity's Last Exam sans outils, pour atteindre 57,4 % avec outils. C'est l'écart honnête le plus large entre les deux, et c'est celui qui correspond à « ce modèle peut-il traiter un problème difficile sans échafaudage ? ».

• Revue et correction de code — Hydrogen à 66,6 % sur Chartography ; Haiku 5.5 à 46,4 % sur Chartography sans outils. Vingt points, même nom de benchmark, même condition sans outils.

• Codage Frontier — A​nthropic indique que Haiku 5.5 atteint 46,4 % sur FrontierCode 1.1, et rapporte un score FrontierCode de 66,2 provenant de Cognition lorsque Haiku 5.5 fonctionne comme adjoint au sein de Devin Fusion. À noter que le second chiffre correspond à une configuration différente, et non à un score différent pour la même tâche, et A​nthropic qualifie les deux de données déclarées par le client plutôt que de données de première main.

Chaque chiffre ci-dessus est déclaré par le fournisseur, c’est-à-dire par l’entreprise qui vend le modèle. Aucun ne fait l’objet d’une reproduction indépendante, et les versions des benchmarks diffèrent suffisamment pour qu’il serait malhonnête de les additionner en une seule affirmation « Hydrogen est X% meilleur ». Ce qu’ils permettent d’affirmer est plus restreint et plus utile : Hydrogen est nettement meilleur pour les tâches qui durent longtemps et utilisent des outils ; l’écart est le plus faible lorsque la tâche se résume à une seule question bien délimitée.

Les deux sont lents au démarrage, ce que personne ne met dans le titre

C'est la partie de la comparaison qui surprend ceux qui ont choisi en fonction du prix ou de l'indice, puis ont regardé arriver le premier token.

• Temps jusqu’au premier token de réponse — G​emini 4 Hydrogen 40,55 secondes à son réglage de réflexion le plus élevé, contre Claude Haiku 5.5 175,95 secondes à son réglage le plus élevé. Hydrogen démarre quatre fois plus tôt, et les deux chiffres sont bien au-dessus de ce qu’une interface interactive tolère.

• Débit de sortie une fois lancé — Claude Haiku 5.5 : 256 tokens par seconde contre Gemini 4 Hydrogen : 188 tokens par seconde. Haiku écrit plus vite et démarre plus tard.

• Temps moyen par tâche d’indexation — Claude Haiku 5.5 : 14,7 minutes. Les deux modèles aboutissent à des ordres de grandeur similaires par tâche accomplie ; ils y parviennent par des voies opposées.

• Au niveau de réflexion par défaut de Hydrogen, la valeur du premier token descend à environ 16,7 secondes, ce qui est le chiffre qui compte pour une interface de conversation, et qui correspond aussi au réglage produisant le score d’indice de 51 plutôt que de 54.

Si vous construisez quoi que ce soit sur quoi un humain doit attendre, aucune des configurations phares des deux modèles n'est adaptée. Haiku 5.5 en particulier est un modèle à effort réglable — de Low à Max — et les chiffres de 175,95 secondes et d'indice 36 correspondent au réglage Max. À un effort moindre, il démarre plus tôt et obtient un score plus faible, et Anthropic ne publie aucun tableau faisant correspondre l'un à l'autre. C'est un test que vous devez réaliser vous-même.

C'est dans la mise en cache que réside réellement le ratio de prix

Pour toute charge de travail avec un préfixe stable — un prompt système, une cartographie du dépôt, un ensemble de documents —, l’entrée mise en cache constitue l’essentiel de la facture, et les deux cartes se comportent de manière suffisamment différente pour modifier l’ordre de la comparaison.

• Prix de lecture du cache — Claude Haiku 5.5 : 0,01 $ par million, soit une réduction de 90 % sur son tarif d’entrée de 0,10 $. G​emini 4 Hydrogen : 0,075 $ par million, soit une réduction de 95 % sur son tarif de 1,50 $.

• Mécanisme de cache — Claude Haiku 5.5 prend en charge les écritures de cache explicites à 0,125 $ par million, vous contrôlez donc ce qui est mis en cache et pour combien de temps. G​emini 4 Hydrogen ne prend en charge que la mise en cache implicite, sans handles de cache explicites, la remise est donc un comportement du service plutôt qu’une API que vous appelez.

• Ce que cela signifie — une charge de travail avec un préfixe partagé de 60 000 tokens lu mille fois par jour coûte 0,60 $ par jour en lectures de cache sur Haiku et 4,50 $ sur Hydrogen, un écart de 7,5x plutôt que de 15x, car Hydrogen applique une remise de 95 % là où Haiku applique une remise de 90 %. Portez le même préfixe à 200 000 tokens, au-delà du seuil de Haiku, et la situation s’inverse : la lecture de cache du niveau long de Haiku est de 0,05 $ par million, donc la lecture coûte 10,00 $ sur Haiku contre 15,00 $ sur Hydrogen, tandis que chaque nouveau token d’entrée dans cette requête est désormais trois fois moins cher sur Haiku. L’écart de cache se réduit exactement là où l’écart d’entrée s’élargit, ce qui n’est pas l’arbitrage auquel s’attend une charge de travail à contexte long.

L’asymétrie compte surtout pour la charge de travail dans laquelle Hydrogen excelle. Les longues sessions agentiques avec un grand contexte stable sont précisément là où le cache implicite est utile et précisément là où vous voudriez un contrôle explicite sur ce qui reste résident. Haiku vous donne le contrôle et le cache moins cher à chaque longueur de préfixe ; Hydrogen vous donne la capacité et vous demande de faire confiance au service pour remarquer la répétition.

Trois charges de travail, trois réponses différentes

Pousser l’abstraction plus loin rendrait un mauvais service, c’est donc ici que la limite se situe en pratique.

Un pipeline de classification ou d’extraction sur des millions de documents courts est le cas d’usage de Haiku 5.5, et de loin. Entrée bornée, sortie bornée, aucun outil, pas d’horizon long : l’écart d’indice n’a aucune importance puisque la tâche ne l’exerce pas, et 0,10 $/0,50 $ contre 1,50 $/7,50 $ représente une économie d’un facteur quinze sur une facture qui est déjà le coût dominant. Migrer cela vers Hydrogen n’apporte rien et coûte un ordre de grandeur de plus.

Un agent de codage qui modifie des fichiers, exécute des tests et se remet des échecs constitue la charge de travail de Hydrogen. Les écarts sur Terminal-Bench et Chartography en sont la preuve directe, et le chiffre du coût par tâche — 3,16 $ contre 0,41 $ — sous-estime la différence, car une tâche que Haiku ne peut pas terminer a un coût par achèvement infini plutôt que faible. La comparaison ne vaut que pour les tâches que les deux modèles peuvent accomplir.

Un lot nocturne qui résume de longs documents se trouve dans la zone intermédiaire ambiguë et est tranché par le seuil de 100K. En dessous de 100 000 jetons par appel, Haiku est quinze fois moins cher par jeton et environ huit fois moins cher par tâche terminée. Au-delà, le prix de Haiku est multiplié par cinq, et la réponse honnête consiste à tester les deux sur votre propre corpus, car le point de bascule dépend de la part de votre entrée qui est constituée de prompt plutôt que de document.

Un assistant interactif n'est ni l'un ni l'autre. Les deux modèles sont trop lents pour démarrer avec leurs paramètres maximaux, et la bonne configuration pour une interface de chat, c'est Hydrogen à son niveau par défaut ou Haiku avec un réglage d'effort plus faible — une comparaison de deux rétrogradations, que presque personne n'évalue et qui est la seule version de cette question à atteindre un utilisateur.

Exécuter les deux sans choisir de gagnant à l'avance

La position raisonnable pour la plupart des équipes est qu’il ne s’agit pas d’une migration mais d’une décision de routage, et les décisions de routage sont moins coûteuses à inverser que les migrations.

OrcaRouter ne propose aucun de ces deux modèles au sommet de leur gamme : Claude Haiku 4.5 figure au catalogue à 1,00 $ et 5,00 $ par million avec une fenêtre de 200 000 tokens, et Gemini 3.8 Flash à 0,75 $ et 3,75 $ avec la fenêtre complète de 1 048 576 tokens — les deux au prix catalogue du fournisseur, avec 0 % de marge, sur une seule clé, avec basculement automatique entre fournisseurs. Haiku 5.5 et Hydrogen proviennent tous deux des API de leurs fournisseurs respectifs. La solution praticable est donc une politique de routage : Hydrogen appelé directement pour les tours d'exécution à long horizon où son avance au benchmark est réelle, Haiku 5.5 appelé directement pour les appels bornés à fort volume où son prix est réel, et un modèle routé derrière les deux comme chemin de repli d'une requête lorsque l'un ou l'autre des fournisseurs limite le débit, relève une limite de débit ou applique une modification tarifaire.

Cette dernière clause n'a rien d'hypothétique. La fiche tarifaire de G​oogle prévoit déjà que Gemini 4 Carbon et Gemini 4 Argon doublent le 1er décembre 2026, passant de $2.00/$10.00 à $4.00/$20.00, tandis que Hydrogen n'annonce aucune étape datée. A​nthropic a déjà modifié une fois le prix de Haiku au cours de ce cycle, en le réduisant d'environ 90 % sur le palier inférieur à 100K lorsque 5.5 a remplacé 4.5. Une couche de routage qui répercute le prix catalogue du fournisseur sans marge signifie que ces changements vous parviennent le jour où ils entrent en vigueur plutôt qu'à la prochaine renégociation de contrat — ce qui, pour une comparaison dont tout l'argument repose sur le prix, est la caractéristique qui compte.

Qu’est-ce qui changerait cette réponse ?

Trois choses, par ordre de l’ampleur de ce qu’elles feraient bouger.

Une reproduction indépendante de l’écart Terminal-Bench. Tous les chiffres agentiques ci-dessus sont déclarés par les fournisseurs des deux côtés, sur des versions différentes du benchmark, et la principale justification du supplément de prix de Hydrogen repose sur des chiffres qu’aucune des deux entreprises n’a fait auditer. Artificial Analysis publie un indice pour les deux modèles, mais pas les sous-scores par benchmark qui permettraient de trancher.

Une courbe effort-qualité publiée pour Haiku 5.5. Si l’effort Low conserve l’essentiel du score du réglage Max pour une fraction de la latence, le cas d’interaction se réduit et l’avantage prix s’étend vers le haut dans les charges de travail actuellement attribuées à Hydrogen. Anthropic livre le réglage et non la table.

Un mouvement sur la fiche d’Hydrogen. Elle n’en comporte actuellement aucun, ce qui est inhabituel dans une famille où deux des trois membres doublent en trois semaines. Si cela change, le chiffre du coût par tâche — le seul nombre qui rend cette comparaison intéressante — évolue avec, et le 7,7x devient quelque chose de tout à fait différent.

Jusqu’à ce que l’un de ces éléments se concrétise, le résumé défendable est celui que soutient le harnais indépendant plutôt que celui que laisse entendre la grille tarifaire : Haiku 5.5 est entre sept et quinze fois moins cher selon que l’on compte les tokens ou les tâches terminées, Hydrogen est nettement meilleur pour tout ce qui dure longtemps et utilise des outils, et le seul chiffre qui devrait décider de la répartition est ce que chacun vous coûte par tâche que vous pouvez réellement accomplir.