Test du Gemini 4 Carbon : quatrième à l’indice, lent à répondre

Gemini 4 Carbon se classe quatrième au classement indépendant et son prix est celui d’un modèle de milieu de gamme, une combinaison inhabituelle à évaluer honnêtement : la page Gemini 4 Carbon API indique 2,00 $ par million de jetons d’entrée et 10,00 $ par million de jetons de sortie, tandis que le score affiché est de 60 sur l’Artificial Analysis Intelligence Index v5.0.1, quatrième sur 78 modèles. La question à laquelle un examen doit répondre n’est pas de savoir si 60 est un bon score. C’est ce que cela vous coûte en temps d’horloge et en taux d’échec pour l’obtenir.

Ce que c’est

Modèle multimodal de la famille Gemini 4 de Google, doté d’une fenêtre de contexte de 1 048 576 tokens et d’un plafond de sortie de 65 K. Il accepte du texte, des images, de l’audio, de la vidéo et des documents et renvoie du texte, avec utilisation native d’outils et sortie JSON structurée. Il répond à la fois sur le point de terminaison compatible OpenAI et sur l’API native generateContent de Gemini, et l’option Zero Data Retention est disponible.

L’ensemble de paramètres indique à quel type de modèle il veut correspondre : reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Il y a une seed et un format de réponse sur la même liste, ce qui est la signature d’un modèle positionné pour l’extraction et les pipelines agentiques plutôt que pour l’écriture créative.

Le score, ainsi que la version sur laquelle il a été calculé

Le 60 n’est pas comparable aux chiffres plus anciens que vous trouverez cités pour d’autres modèles, et c’est l’erreur la plus fréquente dans les comparaisons publiées ce mois-ci. Intelligence Index v5.0.1 repose sur un ensemble d’évaluation différent de v4.3 et v4.3.2 ; un score v4.3 et un score v5.0.1 n’ont donc pas leur place dans le même tableau. Au sein de la cohorte v5.0.1, le 60 de Carbon le place quatrième sur 78, derrière Claude Fable 5.2 à 65 et devant tout le reste de ce qui a été réévalué.

Les neuf évaluations qui sous-tendent ce chiffre sont AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset et Terminal-Bench-Science 0.1. Il s’agit d’un mélange agentique et scientifique — travail en terminal, automatisation, ancrage documentaire, raisonnement complexe — et non d’un mélange de classement de programmation. Un modèle peut obtenir un bon score ici et échouer malgré tout sur une refactorisation à l’échelle d’un dépôt ; lisez donc la décomposition avant de tirer une quelconque conclusion sur votre propre cas d’usage.

La partie que le chiffre phare dissimule

Le temps jusqu'au premier token de Carbon dans le harnais AA est de 64,7 secondes, ce qui le classe 69e sur 77 modèles disposant de données de latence. Le temps d'horloge total par tâche est de 28,4 minutes sur les neuf évaluations. La vitesse de sortie une fois qu'il commence à écrire est de 72 tokens par seconde, ce qui n'a rien de remarquable mais n'est pas le problème ; le problème est le temps de réflexion avant le premier token.

L’exécution de l’index sur Carbon coûte $5.48 en dépenses fournisseur, ce qui, à un coût mixte de 2,70 $ par million de jetons, représente beaucoup de jetons pour une seule passe de benchmark. AA indique aussi une verbosité de 2,69 % parallèlement à 205 millions de jetons de sortie pour l’exécution. Ne lisez pas ce pourcentage comme un score de concision : Claude Fable 5.2 affiche un taux bien plus faible de 0,97 % avec un plus grand nombre de 275 millions de jetons de sortie, de sorte que les deux chiffres évoluent indépendamment.

Si le prix est la raison pour laquelle vous lisez ceci, le comparatif des tarifs des API LLM place un tarif combiné de 2,70 $ par million face au reste du catalogue, y compris les modèles qui sont moins chers et ceux qui coûtent plusieurs fois plus cher pour un score comparable.

À travers la passerelle, les chiffres semblent différents.

Les 64,7 secondes d'AA sont un harnais de benchmark permettant au modèle de réfléchir à des problèmes difficiles. Sur le trafic réel d'OrcaRouter au cours des sept derniers jours, le temps p50 jusqu'au premier token pour Carbon était de 6,89 secondes et le p95 de 10,00 secondes, avec 226 tokens par seconde en sortie sur 9,6 millions de tokens servis. Les deux sont vrais. Un produit de chat voit quelque chose proche du premier chiffre ; un clone d'évaluation par lots voit quelque chose proche du second.

Le chiffre qui mérite plus d'attention que l'un ou l'autre, c'est le taux d'erreur : 39,7 % des requêtes ont renvoyé un code non-2xx sur l'ensemble des fournisseurs en amont au cours de cette fenêtre de sept jours, contre 10,8 % pour Claude Fable 5.2. Quelle qu'en soit la cause — capacité, limites de débit, rotation des fournisseurs —, un produit qui appelle Carbon sans budget de nouvelles tentatives ni modèle de repli exposera les utilisateurs à des échecs à un rythme qu'aucun graphique de benchmark ne prédit. C'est une question de routage, et c'est la seule chose à tester avant la deuxième semaine.

À sa place dans le catalogue

Face aux autres modèles de sa gamme, Carbon est le membre multimodal de la gamme Gemini 4 plutôt que le modèle économique : le prix des entrées est identique à celui de Gemini 3.1 Pro, à 2,00 $, les sorties coûtent 2,00 $ de moins, et la différence qui compte, c’est que Carbon prend en charge l’audio et la vidéo là où 3.1 Pro se limite au texte et aux images. Si votre pipeline ne touche jamais à un fichier vidéo, vous payez pour une capacité que vous n’utiliserez pas.

Face au reste du marché, la décision se résume généralement à deux questions. S'il s'agit d'un choix interne à Google, Gemini 4 Carbon vs Gemini 3.1 Pro est la comparaison qui compte. S'il s'agit d'un choix entre fournisseurs, GPT-6.1 Sol vs Gemini 4 Carbon et Claude Opus 5.5 vs Gemini 4 Carbon couvrent les deux alternatives les plus courantes, et la liste des modèles LLM contient le catalogue complet si aucune des deux ne correspond à celle que vous envisagiez.

Verdict

Carbon obtient sa quatrième place en matière de capacité par dollar d’entrée, et il l’obtient d’une manière qui convient au travail long, multimodal et structuré plutôt qu’à la conversation. Les coûts qui n’apparaissent pas dans le tableau des prix sont les deux qui déterminent s’il vous convient : 64,7 secondes de réflexion avant le premier token dans un harnais d’évaluation, et un taux d’erreur proche de 40 % sur le trafic réel. Contournez ces deux écueils — une chaîne de repli, un budget de nouvelles tentatives et une file d’attente asynchrone pour tout ce qui n’est pas interactif — et le rapport prix-score devient vraiment difficile à battre. Placez-le derrière une interface utilisateur synchrone sans solution de repli et vous conclurez que le modèle est moins bon qu’il ne l’est.