Gemini 4 Carbon Benchmark : ce que 60 sur AA v5.0.1 mesure réellement

Un score de benchmark n’est utile que si vous savez ce que le harnais a demandé, combien de temps le modèle a été autorisé à réfléchir et quelle version du test a produit le chiffre. Pour Gemini 4 Carbon, les réponses sont : neuf évaluations agentiques et scientifiques, aussi longtemps qu’il le souhaitait, et Intelligence Index v5.0.1 — la version actuelle, ce qui explique pourquoi le 60 est citable et pourquoi la plupart des chiffres que vous trouverez à côté ne le sont pas. La page Gemini 4 Carbon API répertorie le prix et le point de terminaison ; cet article porte sur le score.

Qu’est-ce qui a réellement été exécuté

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset et Terminal-Bench-Science 0.1. Lisez cette liste avant d’en tirer des généralités. Trois des neuf concernent le terminal ou l’automatisation, deux portent sur le raisonnement fondé sur des documents à entrées longues, deux relèvent des sciences dures et des mathématiques, et un est du code de pointe. Il n’y a dans cet ensemble ni évaluation d’agents web ni simulation de support client multi-tours, donc un excellent score ne dit rien à ce sujet.

Le score

Carbon affiche 60, soit le rang 4 sur 78 sur v5.0.1. Le leader est Claude Fable 5.2 à 65. L'écart de cinq points est significatif mais non catégorique : les deux modèles réussissent les mêmes neuf évaluations, et la manière la plus simple d'interpréter la différence est d'y voir environ une tâche difficile supplémentaire résolue pour vingt tentées au niveau de compétence de Carbon. À considérer comme une direction, pas comme un taux.

Le garde-fou de version importe plus que le rang. Les modèles évalués sur v4.3 ou v4.3.2 — y compris la plupart des noms que vous verrez cités dans les posts de comparaison — ne sont pas sur la même échelle et ne peuvent pas être placés dans le même tableau. Si un graphique les mélange, le graphique est faux, quel que soit son auteur.

La conséquence pratique est que vous ne pouvez pas comparer Carbon à un modèle que vous avez évalué vous-même au cours du trimestre précédent, à moins que ce modèle n’ait lui aussi été réévalué. Soit vous réexécutez votre propre banc d’évaluation sur les deux, soit vous limitez l’affirmation à la cohorte v5.0.1 et le précisez dans la phrase où vous la citez.

Le coût en temps

Le temps jusqu'au premier token est de 64,7 secondes, classé 69e sur 77 modèles disposant de données de latence. Le temps de réponse total est de 28,4 minutes par tâche sur les neuf évaluations. Une fois que Carbon commence à émettre, il fonctionne à 72 tokens par seconde, ce qui est ordinaire. Le temps réel est dominé par la réflexion, pas par l'écriture.

C'est un choix de conception plutôt qu'un défaut, et il vaut la peine de préciser ce que cela implique. Un harnais qui laisse le modèle raisonner jusqu'à ce qu'il soit satisfait produira un score lent mais solide ; le même modèle derrière une passerelle sur du trafic réel rapporte un p50 de 6,89 secondes jusqu'au premier token et un p95 de 10,00 secondes, car la plupart des requêtes réelles ne sont pas HLE-Diamond. Les deux chiffres mesurent des choses différentes et tous deux ont leur place dans un plan de capacité.

Le coût monétaire

L’exécution de l’index sur Carbon a coûté $5.48 à $2.00 par million de tokens d’entrée et $10.00 par million de tokens de sortie, soit un coût mixte de $2.70 par million. AA rapporte également 205 millions de tokens de sortie pour l’exécution, avec un taux de verbosité de 2,69 %. C’est le nombre de tokens, et non le pourcentage, qu’il faut retenir : il vous indique qu’une évaluation agentique à neuf tâches a consommé la majeure partie d’un quart de milliard de tokens de sortie.

À titre de comparaison, le même indice face à Claude Fable 5.2 a coûté 26,54 $ — 4,8 fois plus — à 8,00 $ en entrée et 40,00 $ en sortie. C’est là le bon cadrage pour ce duo : l’écart de cinq points de score s’achète au prix d’une dépense en tokens presque cinq fois supérieure.

Exprimé en ratio, Carbon paie 0,09 $ de dépenses de référence par point d’indice et Fable 5.2 paie 0,41 $. Ce n’est pas un argument pour dire que le modèle le moins cher est meilleur — l’intérêt d’un modèle de pointe réside dans les tâches que le moins cher échoue — mais c’est l’argument en faveur d’un routage par difficulté plutôt que du choix d’un seul modèle pour tout. Les 90 % d’appels qu’un modèle à 60 points réussit n’ont pas besoin d’un modèle à 65 points.

L'autre ratio qu'il vaut la peine de retenir est le temps. Carbon consacre 28,4 minutes par tâche et Fable 5.2 en consacre 46,8, donc le modèle le plus coûteux est aussi 1,6 fois plus lent de bout en bout. Sur une file d'attente asynchrone, c'est une contrainte de débit ; sur un appel synchrone, c'est la différence entre un indicateur de chargement et un délai d'expiration. Notes de version de Gemini 4 Carbon couvrent ce qui a été livré avec le modèle, et si la question est de savoir s'il remplace la génération Gemini précédente, Gemini 4 Carbon face à Gemini 3.1 Pro est la comparaison directe.

Ce que le benchmark ne couvre pas

Il n’existe ni harnais de cybersécurité ni harnais de détection de vulnérabilités dans cet ensemble. Si vous évaluez Carbon pour des travaux de sécurité — analyse, triage, génération de correctifs —, ces neuf évaluations vous renseignent sur son raisonnement et rien sur son rappel concernant des vulnérabilités réelles. Il en va de même pour le codage de longue haleine sur un dépôt spécifique, que FrontierCode-AA approxime mais ne remplace pas.

Il n'y a pas non plus de mesure ici de ce qui se passe sous charge. Le taux d'erreur en conditions réelles sur le trafic OrcaRouter pour Carbon était de 39,7 % au cours des sept derniers jours, contre 10,8 % pour Fable 5.2. Un harnais de benchmark réessaie et absorbe cela ; votre application doit décider comment.

Reproduire tout ou partie de cela sur votre propre trafic

Vous ne pouvez pas reproduire les 64,7 secondes d’AA sans le harnais d’AA, et vous ne devriez pas essayer : ce qui est utile, c’est de mesurer vos propres p50 et p95 et de les comparer aux 6,89 et 10,00 secondes publiées par la passerelle, car cela vous dit si vos prompts sont ordinaires ou inhabituellement difficiles. Journalisez le temps jusqu’au premier jeton, les jetons générés et le nombre de réponses non-2xx par route. Si votre taux d’erreur dépasse les 39,7 pour cent rapportés par la passerelle tous fournisseurs confondus, le problème vient de votre côté de la requête.

Comment utiliser cela dans une décision

Si votre travail ressemble aux neuf évaluations — tâches en terminal, automatisation, documents à longs contextes, science dure —, Carbon à 60 et 2,70 $ en tarif mixte est le choix au meilleur rapport qualité-prix de la cohorte v5.0.1 actuelle, et le temps de réflexion de 64,7 secondes est un coût que vous pouvez absorber en rendant l’appel asynchrone. Si votre travail est interactif, le même modèle avec un p50 proche de sept secondes via la passerelle est une tout autre proposition, et le vrai test, c’est votre propre trafic plutôt que le banc d’essai d’AA.

Pour le face-à-face avec le modèle qui l'a battu, Gemini 4 Carbon vs Claude Fable 5.1 met les deux côte à côte, et le comparatif des tarifs des API LLM indique où se situe le tarif mixte de 2,70 $ face au reste du catalogue. Vérifiez la version sur tout graphique que vous réutilisez : v5.0.1 est la seule échelle à laquelle ce 60 appartient.