Claude Sonnet 5.5 sur l’effort supplémentaire : pourquoi l’affirmation du « prochain modèle Claude » échoue à ses propres tests

Le 5 novembre à 12 h 44 UTC, un compte X nommé @chetaslua a publié une phrase qui circule sous diverses formes depuis octobre : « Sonnet 5.5 Extra semble correspondre à un routage vers le prochain modèle Claude. » Le lendemain matin, la publication totalisait 20 900 vues, 384 mentions J’aime et 38 réponses. Le modèle qu’elle nomme peut être appelé dès aujourd’hui — Claude Sonnet 5.5, lancé le 28 septembre, à 2 $ et 10 $ par million de jetons. Le mot « Extra » ne désigne pas un second modèle. Il s’agit du deuxième échelon le plus élevé du menu d’effort de Claude, qu’Anthropic nomme Extra high et que l’API appelle xhigh.

Deux tests sont proposés comme preuves : une question sur l’endroit où Andrej Karpathy s’est rendu en 2026, et un pélican sur un vélo entièrement dessiné en SVG. Les deux tests réussissent sur le modèle qu’Anthropic a publié en septembre. C’est toute la difficulté de l’affirmation. Un test vérifie un fait qui tombe un mois à l’intérieur de la fenêtre d’entraînement de Claude Sonnet 5.5. L’autre mesure une quantité que le réglage Extra a pour but d’augmenter. Aucun des deux ne peut distinguer « un meilleur modèle a répondu » de « le réglage que j’ai choisi a fait ce que sa documentation dit qu’il fait ».

Cela ne rend pas le billet sans valeur. Cela en fait un spécimen parfait d’un test qui semble décisif et ne l’est pas — et les deux procédés qu’il utilise, une sonde de connaissances et une comparaison de taille de sortie, sont les mêmes deux procédés qui sous-tendent la plupart des affirmations sur le routage cet automne. Les examiner pas à pas est plus utile qu’un nouveau tour de conjectures sur ce qu’Anthropic n’a pas annoncé.

Qu’est-ce qui a été effectivement publié ?

La publication décrit une seule session de chat et deux prompts. Le premier demandait où Karpathy était allé en 2026 et ordonnait au modèle de ne pas utiliser le web ; la réponse indiquait qu’il avait rejoint Anthropic en mai 2026 au sein de l’équipe de pré-entraînement. Le second demandait « un pélican à vélo, aussi réaliste que possible, uniquement avec du code », et le résultat est décrit comme 26 599 éléments SVG, environ 6 500 traits de plume, aucune image intégrée, URI de données ni script, et 1 860 lignes de Python. De ces deux échanges, l’auteur conclut que l’étiquette sert quelque chose de plus récent que le modèle qu’elle nomme.

Rien ne l’accompagne. Aucun identifiant de modèle, aucune grille tarifaire, aucune fiche système, aucune déclaration d’Anthropic. Le successeur auquel il fait allusion circule sous plusieurs noms depuis octobre, aucun d’entre eux n’étant celui d’Anthropic et aucun n’étant invocable. La liste de modèles d’Anthropic elle-même, consultée aujourd’hui, comporte quatre modèles actuels : Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5. Il n’y a pas de cinquième ligne, et aucun identifiant nulle part dans la publication qu’un lecteur pourrait tester.

Ce qu’est « Extra », avant que cela ne devienne un mystère

Le menu d’effort des applications de Claude comporte cinq échelons — Low, Medium, High, Extra high (xhigh) et Max — l’échelon recommandé pour le modèle étant marqué Default. « Extra » est la façon dont les gens abrègent le quatrième. La documentation de référence d’Anthropic décrit xhigh comme une capacité étendue pour le travail sur long horizon, destinée aux « tâches agentiques et de codage de longue durée (plus de 30 minutes) avec des budgets de tokens en millions ». C’est le fournisseur qui vous prévient à l’avance que cet échelon est censé consommer beaucoup plus que celui du dessous.

Ce niveau est également calibré par modèle, et non globalement. La note de migration d’Anthropic pour cette génération indique clairement que les niveaux d’effort de Claude Sonnet 5.5 sont recalibrés — un niveau « ne produit pas la même quantité de réflexion que sur Claude Sonnet 5 » — et invite les développeurs à relancer leur balayage des niveaux d’effort plutôt qu’à reporter un réglage. Deux conséquences s’ensuivent, toutes deux banales et toutes deux fatales à l’inférence. Une requête au niveau Extra sur Sonnet 5.5 n’est pas la même requête qu’Extra sur son prédécesseur, donc « cela semble différent de ce dont je me souviens » est attendu. Et passer un réglage de High à Extra est une instruction de dépenser plus de tokens, donc un dessin plus long, plus dense et plus élaboré est le résultat demandé.

Il reste un détail de surface qu'il vaut la peine de préciser, car c'est là que les libellés cessent de correspondre. Le niveau d'effort par défaut de l'API Claude pour ce modèle est élevé ; celui de Claude Code pour le même modèle est moyen. Une réponse de l'application au niveau Extra, une réponse de l'API à son niveau par défaut et une réponse de Claude Code à son niveau par défaut correspondent à trois configurations différentes d'un même modèle. Comparer deux de ces réponses et conclure qu'un nouveau modèle est apparu, c'est comparer des valeurs par défaut, pas des points de contrôle.

Test un : un fait de mai vérifié par rapport à une date de coupure de juin

La question Karpathy est la plus solide des deux sondes, car contrairement à la plupart de ces tests, sa réponse peut être vérifiée par rapport aux sources publiques. C’est exact. Karpathy a annoncé sur X le 19 mai 2026 qu’il avait rejoint Anthropic ; il a commencé cette semaine-là dans l’équipe de pré-entraînement, sous la responsabilité de Nick Joseph, et a déclaré qu’il constituerait une équipe chargée d’utiliser Claude pour accélérer la recherche sur le pré-entraînement. La réponse décrite dans la publication — a rejoint Anthropic, mai 2026, équipe de pré-entraînement — est exacte.

Le problème, c’est l’exactitude. La date de coupure fiable des connaissances de Claude Sonnet 5.5 est juin 2026, et sa date de coupure des données d’entraînement est la même. L’embauche a eu lieu environ un mois avant cette date limite. Un Claude Sonnet 5.5 déployé, à qui l’on pose cette question avec le web désactivé, est censé y répondre, et c’est ce que sa documentation prévoit. La sonde a produit un résultat nul, qui a été interprété comme le constat.

Il vaut la peine d’être précis sur ce qu’une sonde de connaissances peut et ne peut pas faire, car c’est là que la plupart de ces affirmations se trompent :

• Une réponse correcte concernant un événement antérieur à la date de coupure n’apporte aucune information. Tous les modèles de la gamme y ont été entraînés.

• Une réponse incorrecte aurait été instructive — mais dans la direction opposée. Si un modèle censé connaître une embauche de mai 2026 la nie, cela constitue la preuve d’un autre point de contrôle, plus faible, et non d’un point de contrôle plus performant et non annoncé.

• Seul un fait postérieur à la date de coupure permet de discriminer. Un fait publié après juin 2026, sur lequel aucun modèle de la gamme actuelle n’aurait pu être entraîné, est le seul type de question qui distingue un nouveau checkpoint d’un ancien. Karpathy a publié le 2 novembre un compte rendu de workflow sur son propre blog. Demander son contenu avec le web désactivé aurait été un vrai test. Demander où il est allé en mai ne l’était pas.

Test deux : un décompte de pélicans qui mesure la verbosité

Le prompt du pélican est l’évaluation ad hoc de longue date de Simon Willison, et il l’a fait passer à Claude Sonnet 5.5 le 28 septembre, le jour de la sortie du modèle. Ses résultats publiés constituent ici la référence utile, car ils sont datés, attribués et mesurés plutôt que comptés à l’œil.

• À l’effort maximal — un cran au-dessus de celui utilisé dans la publication — le modèle a consommé 128 000 jetons de sortie, atteint le plafond, coûté 1,28 $ et n’a pas produit le moindre SVG.

• À xhigh — l’échelon que l’article appelle Extra —, le même modèle a produit un pélican en 41 secondes pour 5,74 cents.

Si l’on lit ces deux lignes ensemble, le deuxième test du post s’effondre. Le modèle livré en Extra dessine déjà l’oiseau — c’est l’exécution de 41 secondes à 5,74 cents — donc un oiseau en Extra n’est pas anormal. Le modèle livré un cran au-dessus d’Extra ne dessine rien du tout ; ainsi, sur cette tâche, le réglage d’effort est la variable dominante de loin, et c’est la seule chose que le post a modifiée. Un résultat qui évolue avec le réglage que vous avez actionné constitue une preuve concernant ce réglage.

Le nombre d’éléments mérite son propre calcul, car c’est le chiffre le plus susceptible d’être répété. Anthropic indique que 1 M de tokens correspond environ à 2,5 M de caractères avec le tokenizer actuel. Si 26 599 éléments faisaient en moyenne 40 caractères chacun — une estimation prudente une fois les données de chemin et les attributs inclus —, le dessin représenterait environ 1,06 M de caractères, soit approximativement 424 000 tokens. C’est plus de trois fois le plafond de sortie synchrone de 128 000 tokens, et également au-dessus du plafond de 300 000 tokens du mode batch. Si les éléments faisaient en moyenne sept caractères, ce même nombre tiendrait confortablement dans environ 74 000 tokens.

Le décompte est donc limité par la densité de balisage, et non par la puissance du modèle, et un modèle plus concis affiche un nombre plus élevé. La description du post elle-même oriente vers l’interprétation la plus probable : 1 860 lignes de Python apparaissent dans le même chat, et un script qui boucle sur des plumes peut émettre 26 599 éléments sans que le modèle écrive 26 599 éléments. Le post ne précise pas si ce code a dessiné le pélican ou s’il s’agissait d’un artefact distinct, ce qui est précisément le détail dont un lecteur aurait besoin. Ce que l’on peut dire sans le fichier, c’est que le nombre d’éléments est une mesure de verbosité sur un échelon dont la fonction documentée est de produire davantage.

La seule ligne vraiment intéressante de la description est la ligne négative : pas d’images intégrées, pas d’URI de données, pas de scripts. Un pélican à ce niveau de détail, construit uniquement à partir de primitives vectorielles, est un vrai résultat. C’est toutefois un résultat qui porte sur la qualité de la sortie, et la qualité de la sortie à un réglage d’effort plus élevé est la chose la moins surprenante qu’un modèle puisse produire.

La seule façon documentée pour qu’un autre Claude réponde

Rien de tout cela ne prouve qu’Anthropic ne traiterait jamais une requête sous une étiquette donnée avec des pondérations différentes. Cela signifie en revanche que cette affirmation doit expliquer les mécanismes qu’Anthropic documente, et tous deux pointent dans la direction opposée.

Le premier est le fallback de refus. Une requête refusée renvoie HTTP 200 avec stop_reason : « refusal » et un objet stop_details nommant le domaine de politique. Le fallback côté serveur, défini avec fallbacks : « default » et en bêta sur l’API Claude, réessaie les refus cyber et frontier_llm sur Claude Sonnet 5 — le modèle plus ancien et moins cher. C’est un cas documenté d’une requête Sonnet 5.5 à laquelle répond autre chose, et c’est une rétrogradation qui s’annonce dans la réponse.

Le second est la liaison des blocs de réflexion. Les blocs de réflexion enregistrent le modèle qui les a produits, et lorsqu’une conversation passe à un modèle incapable de les lire, l’API les supprime avant que le modèle ne voie la requête, en signalant cette suppression dans input_transformations lorsque l’en-tête bêta est défini. C’est l’API qui vous indique que le modèle de service a changé. Aucun des deux mécanismes ne fait passer une requête claude-sonnet-5-5 à un modèle plus puissant non annoncé sous la même chaîne.

L’absence de mécanisme ne prouve pas que rien ne se passe. C’est toutefois le critère que l’affirmation doit remplir : un récit de routage qui ne décrit jamais qu’une amélioration doit expliquer pourquoi le seul chemin qu’Anthropic publie descend et laisse un reçu.

La chose la plus proche d’un contrôle externe est l’indice que des évaluateurs indépendants appliquent au modèle qu’Anthropic livre. Artificial Analysis classe Claude Sonnet 5.5 à 55 sur son Intelligence Index v5.0.1, neuvième sur 69 modèles face à une médiane de 37. Il s’agit d’une lecture de la chaîne telle qu’elle est servie aujourd’hui, et c’est la surface sur laquelle on s’attendrait à ce qu’un checkpoint nettement plus fort, dissimulé sous le même nom, finisse par se manifester.

À quoi ressemblerait un test qui pourrait trancher

Si vous voulez savoir si l’étiquette devant vous est servie par autre chose, l’expérience n’est pas difficile. C’est simplement moins amusant que de poster un pélican.

• Fixez l'identifiant, pas le libellé. Appelez claude-sonnet-5-5 avec une valeur d'effort explicite, afin que la requête soit la même à chaque fois. Un libellé dans un menu est une surface produit ; un identifiant est une cible.

• Échantillonnez plusieurs fois. Une seule réponse à un seul palier est une anecdote. Dix à high et dix à xhigh, avec le même prompt système et le même max_tokens, vous donnent deux distributions. L’effort produit un décalage régulier et monotone de la longueur de sortie. Un checkpoint différent tend à produire une discontinuité de contenu que la longueur n’explique pas.

• Utilisez un fait postérieur à la date de coupure. Une date de coupure en juin 2026 signifie que tout ce qui est publié après juin est exploitable et que tout ce qui précède ne vaut rien comme sonde. C’est le seul changement qui aurait rendu le test du 5 novembre digne d’être réalisé.

• Lisez l’objet de réponse, puis relativisez-le. Les champs model, usage, stop_reason et stop_details valent la peine d’être journalisés, et un repli en cas de refus y est visible. Mais ces champs ne font que répéter ce que le serveur dit avoir fait. Ce sont des déclarations, pas une inspection — la même catégorie de preuve que de demander à un modèle de se décrire lui-même.

• Chiffrez-le avant de le lancer. À 2 $ et 10 $ par million de jetons, une réponse de 128 000 jetons coûte 1,28 $, ce qui correspond au chiffre de Willison et aussi simplement à la grille tarifaire. Vingt réponses autorisées à aller jusqu'au plafond représentent environ 25 $.

Quels sont les coûts supplémentaires pendant que vous attendez une réponse ?

Il y a, sous la rumeur, une question pratique qui ne dépend pas de sa résolution. Claude Sonnet 5.5 facture la réflexion comme de la sortie, la réflexion compte dans max_tokens, et Extra est documenté pour des budgets de tokens en millions. Une seule réponse qui dépense un million de tokens de sortie coûte 10 $ rien que côté sortie, selon une grille tarifaire que beaucoup d’équipes ont choisie précisément parce qu’il s’agissait du palier bon marché.

• Un échelon au-dessus d'Extra, l'exécution mesurée du test pelican a atteint le plafond de 128 000 tokens et coûté 1,28 $ sans produire de dessin. Le coût d'une requête échouée sur ce modèle n'est pas nul.

• Un cran en dessous, la même tâche s’est terminée en 41 secondes pour 5,74 cents. L’écart entre les deux est de plus de vingt fois, et il est déterminé par un menu déroulant.

• Une équipe qui exécute 1 000 requêtes Extra par jour à 30 000 jetons de sortie chacune dépense 30 millions de jetons de sortie par jour, soit 300 $, avant même de compter les entrées.

C’est la partie sur laquelle un lecteur peut agir dès aujourd’hui, quoi qu’Anthropic publie ensuite. Si Extra est un modèle différent, l’aubaine est réelle mais impossible à planifier. Si Extra est bien ce que son nom indique, alors une charge de travail qui n’a pas été balayée face à high et medium paie une minutie que personne n’a mesurée.

OrcaRouter achemine Claude Sonnet 5.5 aux 2 $ et 10 $ propres au fournisseur, sans marge supplémentaire, et l’effort est un paramètre par requête plutôt qu’un contrat distinct, de sorte qu’un balayage d’effort sur les paliers se résume à une boucle dans un script. C’est aussi la parade honnête contre une affirmation comme celle-ci : fixez l’identifiant du modèle visé, exécutez le même prompt à chaque palier et comparez vos propres nombres de tokens plutôt qu’une capture d’écran. Quand une question de routage ne peut pas être tranchée de l’extérieur, la meilleure solution de repli est une configuration où la réponse est mesurable sur votre propre trafic — et où basculer, en cas d’échec, vers high ou vers un autre modèle est un changement de configuration plutôt qu’une migration.

Qu’est-ce qui changerait cette page

Un identifiant de modèle, une grille tarifaire, une fiche système ou une phrase d’Anthropic nommant le successeur. N’importe lequel de ces éléments tranche la question en un après-midi, et aucun n’existe aujourd’hui. D’ici là, la description honnête de ce qui se cache derrière l’étiquette est celle qu’Anthropic publie : Claude Sonnet 5.5, une date de coupure de juin 2026, cinq niveaux d’effort, et une raison documentée de croire qu’un plus gros pélican à un réglage plus élevé est un plus gros pélican à un réglage plus élevé.

La formulation même de la publication trahit la mèche. Elle compare Extra à une attente, non à une mesure — le même barreau sur Sonnet 5, ou le même barreau au maximum, ou une référence publiée de la semaine de lancement. Ces comparaisons existent et ne coûtent pas cher. Tant que personne ne les exécute, « on dirait du routage » n’est qu’une description d’un menu déroulant qui fait son travail.