Illustration abstraite sombre d'un long faisceau lumineux horizontal traversant un champ de petits points et se terminant à une étroite porte verticale
AI Safety Incidents

Anthropic a mesuré l’autonomie des agents — et s’est prononcé contre les mandats d’approbation

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le 18 février 2026, l'équipe Societal Impacts d'Anthropic a publié « Mesurer l'autonomie des agents IA en pratique », une analyse de 998 481 appels d'outils effectués via son API publique et de 500 000 sessions interactives Claude Code, et l'a conclue par une recommandation destinée aux législateurs : les règles de supervision ne devraient pas prescrire de modes d'interaction particuliers, y compris l'obligation qu'un humain approuve chaque action entreprise par un agent. Cet article est un rapport de recherche, et non un dépôt réglementaire, mais il est consigné dans l'archive des incidents comme fiche de politique — gravité : info, confiance A, aucun préjudice enregistré, non contesté — parce qu'un fournisseur de modèle a utilisé sa propre télémétrie de première partie pour soutenir qu'un modèle réglementaire courant « créera des frictions sans nécessairement produire de bénéfices en matière de sécurité ». Le dossier complet, avec sa source primaire et sa classification, se trouve dans l'Orca AI Incident Archive, aux côtés des autres entrées de gouvernance de la série.

Le rapport compte vingt contributeurs nommés, parmi lesquels Miles McCain, Thomas Millar, Saffron Huang, Alex Tamkin, Jack Clark et Deep Ganguli. Il s'appuie sur Clio, l'outil d'analyse respectueux de la vie privée d'Anthropic, auquel l'article attribue le mérite d'avoir permis à l'entreprise d'étudier le trafic réel des clients sans lire les conversations sous-jacentes. Cette méthodologie constitue le cœur du propos : chaque chiffre ci-dessous mesure ce que les gens ont fait avec des agents, et non ce qu'un benchmark affirme que les agents peuvent faire.

Ce qu’Anthropic a mesuré, et comment

Anthropic définit un agent comme « un système d’IA doté d’outils qui lui permettent d’effectuer des actions » — exécuter du code, appeler des API externes, envoyer des messages à d’autres agents. La définition fixe l’unité d’analyse. Plutôt que de tenter de reconstruire l’architecture d’agent de chaque client, que l’entreprise dit ne pas pouvoir voir, elle a compté les appels d’outils individuels et le contexte qui les entoure.

Les deux sources de données échangent de l’étendue contre de la profondeur. Le trafic de l’API publique donne à Anthropic une visibilité sur des milliers de clients, mais seulement au niveau d’appels d’outils isolés ; l’entreprise affirme qu’elle n’a « aucun moyen fiable d’associer des requêtes indépendantes adressées à notre API à des “sessions” d’activité agentique ». Claude Code fournit des sessions complètes — ce qui a déclenché un arrêt, combien de temps Claude a travaillé, quand un humain est intervenu — mais il s’agit d’un produit unique utilisé massivement pour l’ingénierie logicielle. Les conclusions sur l’autonomie proviennent principalement de Claude Code ; les conclusions sur les risques et les domaines proviennent de l’échantillon de l’API.

La durée d’un tour, c’est-à-dire le temps écoulé entre le moment où Claude commence à travailler et celui où il s’arrête, est l’indicateur indirect de l’autonomie utilisé dans l’article. Anthropic reconnaît explicitement que cet indicateur est imparfait : des modèles plus rapides et des sous-agents parallèles raccourcissent les tours, des tâches plus ambitieuses les allongent, et la base d’utilisateurs a à peu près doublé entre janvier et la mi-février 2026, ce qui modifie la composition de l’échantillon.

Les chiffres que le rapport consigne officiellement

Voici les chiffres publiés par Anthropic, tels qu'ils sont énoncés dans le rapport.

• Le tour Claude Code du 99,9e centile a presque doublé, passant de moins de 25 minutes fin septembre 2025 à plus de 45 minutes début janvier 2026.

• La durée médiane d'un tour est restée proche de 45 secondes, fluctuant entre 40 et 55 secondes, et presque chaque centile inférieur au 99e était stable.

• Au sein d’Anthropic, le taux de réussite de Claude Code sur les tâches les plus difficiles des utilisateurs internes a doublé entre août et décembre 2025, tandis que le nombre moyen d’interventions humaines par session est passé de 5,4 à 3,3.

• Les nouveaux utilisateurs comptant moins de 50 sessions ont utilisé l’auto-approbation complète dans environ 20 % des sessions ; à 750 sessions, ce chiffre est passé à plus de 40 %.

• Les interruptions évoluaient en sens inverse : les utilisateurs ayant environ 10 sessions ont interrompu Claude dans 5 % des tours, contre environ 9 % pour les utilisateurs expérimentés.

• Claude Code a demandé des clarifications plus de deux fois plus souvent sur les tâches les plus complexes que sur celles de complexité minimale, et sur ces tâches les plus difficiles, il s'est arrêté pour poser des questions plus de deux fois plus souvent que les humains ne l'ont interrompu.

• Sur l’échantillon de l’API, 80 % des appels d’outils provenaient d’agents qui semblaient disposer d’au moins un garde-fou, 73 % semblaient avoir un humain dans la boucle, et 0,8 % semblaient irréversibles, comme l’envoi d’un e-mail à un client.

• L'ingénierie logicielle a représenté près de 50 % des appels d'outils API ; aucun autre domaine n'a dépassé quelques points de pourcentage.

Table of Anthropic's published figures: 99.9th-percentile Claude Code turn under 25 minutes rising to over 45 minutes, median turn about 45 seconds, internal interventions 5.4 to 3.3, auto-approve about 20 percent to over 40 percent, interrupt rate 5 percent to about 9 percent

Le constat qu’Anthropic appelle un décalage de déploiement

La hausse dans la queue est régulière d’une version de modèle à l’autre. « Si l’autonomie était purement fonction de la capacité du modèle, nous nous attendrions à des bonds brutaux à chaque nouveau lancement », soutient le billet, de sorte que cette régularité indique que la confiance s’accumule avec l’expérience, que des tâches plus difficiles sont tentées et que le produit s’améliore. Sa conclusion est que les modèles existants « sont capables de plus d’autonomie qu’ils n’en exercent en pratique » — l’écart que le rapport appelle un excédent de déploiement.

Anthropic met cela en regard des tests externes de capacités, en citant l’estimation de METR selon laquelle Claude Opus 4.5 peut accomplir, avec un taux de réussite de 50 %, des tâches qui prendraient à un humain près de cinq heures, tandis que son propre tour de Claude Code au 99,9e centile dure environ 42 minutes. Puis il retire la comparaison : METR mesure la difficulté des tâches dans un cadre idéalisé sans humain dans la boucle, tandis que la durée d’un tour mesure le temps écoulé dans un déploiement où Claude fait des pauses et où les utilisateurs interrompent. Une note de bas de page est sans détour — « nous ne cherchons pas à raisonner sur ces métriques. » La juxtaposition est illustrative, et non un multiplicateur mesuré, et ne doit pas être citée comme tel.

Le paradoxe de la supervision au cœur de l’argument

Les utilisateurs expérimentés approuvent moins et interrompent davantage. Anthropic interprète ce duo comme un changement de stratégie de supervision plutôt que comme un abandon de celle-ci : les nouveaux venus approuvent chaque étape et ont donc rarement besoin d’arrêter Claude en cours d’exécution, tandis que les utilisateurs expérimentés laissent Claude travailler et interviennent en cas de problème. Les données de l’API vont dans le même sens — 87 % des appels d’outils sur les tâches de complexité minimale comportaient une forme d’intervention humaine, contre 67 % sur les tâches de haute complexité.

Le rapport reconnaît franchement que d’autres explications subsistent. Sa propre note de bas de page indique que les utilisateurs expérimentés pourraient simplement s’attaquer à des tâches plus difficiles, que les paramètres par défaut de Claude Code poussent les nouveaux utilisateurs vers une supervision reposant sur l’approbation, et que les logiciels se prêtent exceptionnellement bien à la supervision parce que leur production peut être testée et examinée ; dans les domaines où vérifier le travail d’un agent exige la même expertise que pour le produire, cette évolution « pourrait être plus lente ou prendre une autre forme ».

Table comparing newer and experienced Claude Code users: full auto-approve about 20 percent to over 40 percent of sessions, human interruptions 5 percent to about 9 percent of turns, and API human involvement 87 percent on minimal-complexity tasks against 67 percent on high-complexity tasks

L’argument politique, et ce qu’il exige

Les recommandations d’Anthropic se répartissent en trois groupes. Les développeurs de modèles et de produits devraient investir dans la surveillance après déploiement, car les évaluations avant déploiement ne permettent pas de voir comment les personnes interagissent réellement avec les agents. Les développeurs de modèles devraient entraîner les modèles à reconnaître leur propre incertitude et à la rendre visible, une propriété qui, selon le rapport, « complète les garde-fous externes comme les flux d’approbation humaine et les restrictions d’accès ». Les développeurs de produits devraient concevoir pour la supervision — la visibilité sur ce que fait l’agent, ainsi que des moyens simples de le rediriger.

La section adressée aux décideurs politiques est celle qui fait de ce document un document de gouvernance. Sous le titre « Il est trop tôt pour imposer des schémas d’interaction spécifiques », Anthropic écrit que « des exigences de supervision qui prescrivent des schémas d’interaction spécifiques, comme obliger des humains à approuver chaque action, créeront des frictions sans nécessairement produire de bénéfices en matière de sécurité », et que l’accent devrait être mis « sur la question de savoir si les humains sont en mesure de surveiller et d’intervenir efficacement, plutôt que sur l’exigence de formes particulières d’implication ».

La couverture spécialisée a repris exactement ce cadrage. Le rapport d’Inside AI Policy du 20 février 2026 avait un titre centré sur l’appel d’Anthropic à la prudence concernant les mandats de supervision ; Inside Cybersecurity a suivi le 24 février avec le même angle. Aucun des deux ne pouvait être lu intégralement sans abonnement, et aucun n’examinait les données sous-jacentes.

Qu’est-ce qui est corroboré, et qu’est-ce qui ne l’est pas ?

La publication et ses chiffres phares sont corroborés. GIGAZINE a rendu compte de l’étude le 19 février 2026, au lendemain de sa publication, en reprenant la queue de 25 à 45 minutes, le glissement de 20 % à 40 % des approbations automatiques, la baisse des interventions de 5,4 à 3,3 et la part irréversible de 0,8 %. Digital Watch Observatory l’a résumée le 20 février 2026, tout comme Inside AI Policy. La corroboration porte sur ce qu’Anthropic a déclaré, non sur sa véracité : aucun tiers n’a audité les 998 481 appels d’outils classés, et Anthropic ne rend pas public le jeu de données.

Cette asymétrie mérite d’être nommée, sans être surestimée. Un fournisseur qui évalue son propre produit et conclut que la charge de conformité doit incomber à la surveillance plutôt qu’à une approbation au cas par cas parvient à une conclusion qui arrange le produit qu’il vend. Anthropic énonce elle-même la plupart des limites structurelles, dans une section consacrée aux limites d’une franchise inhabituelle. Mais la reproductibilité ne fait pas partie de ce qu’elle peut corriger tant que les données brutes restent privées, et aucun organisme indépendant n’a vérifié les classifications.

Les limites qu’Anthropic énonce elle-même

• L’analyse porte sur un seul fournisseur de modèles. Les agents construits sur d’autres modèles peuvent présenter des schémas d’adoption et des profils de risque différents.

• Les classifications relatives au risque, à l'autonomie et à l'implication humaine ont été générées par Claude. Anthropic indique que des contraintes de confidentialité ont empêché l'inspection manuelle des données sous-jacentes, et que son estimation de l'implication humaine doit être lue comme une borne supérieure.

• L’échantillonnage au niveau des appels d’outils individuels surreprésente les déploiements comportant de nombreux appels séquentiels, comme les workflows d’ingénierie logicielle avec des modifications de fichiers répétées.

• Les classifications ne permettent pas de distinguer les actions de production des évaluations ou des exercices de red teaming. Le rapport indique que plusieurs des groupes à plus haut risque « semblent être des évaluations de sécurité », et il estime que bon nombre des exfiltrations de données apparentes sont des tests.

• La révision humaine en aval de l’API est invisible, de sorte qu’un agent qui semble autonome au niveau des appels d’outils peut avoir une personne qui vérifie sa sortie.

• La fenêtre s’étend de fin 2025 à début 2026, et les constats les plus solides proviennent de Claude Code, qui est avant tout un produit d’ingénierie logicielle.

Table of findings and caveats: software engineering nearly 50 percent of API tool calls, 73 percent with a human in the loop, highest-risk cluster rated 6.0 risk and 8.0 autonomy, Anthropic-only data, no inspection of raw data under privacy constraints

Qu’est-ce qui a changé par la suite ?

L’archive ne consigne aucun préjudice, aucune correction et aucun litige, et c’est là une description exacte : il s’agit d’une mesure et d’un argument, non d’un incident assorti d’une remédiation. Anthropic indique qu’elle étendra l’analyse au fil du temps et appelle à un travail intersectoriel pour relier les requêtes API à des sessions d’une manière respectueuse de la vie privée. L’article note également que des produits comme Cowork rendent les agents plus accessibles, ce qui, selon lui, devrait repousser les frontières du risque et de l’autonomie. Dans la couverture examinée pour cet article, aucun régulateur n’avait adopté, rejeté ni formellement répondu à la recommandation de ne pas approuver chaque action.

Le point qui perdure est plus limité que les chiffres à la une. L’argument d’Anthropic contre l’obligation d’une approbation étape par étape repose sur une mesure que, de son propre aveu, seul un fournisseur de modèle disposant de données de session de première main peut actuellement effectuer — et même Anthropic reconnaît ne pas pouvoir rattacher le trafic API de tiers à des sessions. Tant que cette infrastructure n’existe pas, la recommandation politique repose sur l’instrument d’une seule entreprise, appliqué aux clients d’une seule entreprise, pendant un seul hiver. Cela ne rend pas le constat faux. Cela en fait une mesure de fournisseur, et elle devrait être citée comme telle.