Constitutional Classifiers++ : aucun jailbreak universel en 1 736 heures de red team

Anthropic a publié la deuxième génération de ses défenses contre le jailbreak pour Claude — Constitutional Classifiers++ — dans un billet de recherche daté du 9 janvier 2026 et un article à 29 auteurs soumis à arXiv le 8 janvier 2026. La conception place une sonde linéaire sur les activations internes du modèle lui-même, en amont d'un classificateur plus lourd qui lit chaque réponse dans le contexte du prompt, et Anthropic rapporte qu'un déploiement fantôme d'un mois sur le trafic de Claude Sonnet 4.5 a refusé 0,05 % des requêtes, que le système de production a utilisé environ un quarantième de la puissance de calcul du classificateur à échange unique auquel il était comparé, et que 1 736 heures de red-teaming humain n'ont produit aucun jailbreak universel. Rien n'a été endommagé et aucune attaque n'est alléguée : il s'agit d'une défense décrite et mesurée, non d'une intrusion divulguée. L'archive classe l'épisode comme un dossier de gouvernance avec une date précise au jour près du 30 janvier 2026, une note de confiance A et aucun préjudice enregistré, aux côtés du reste de ses entrées de sécurité de l'IA dans Orca AI Incident Archive.

La date de l’archive n’est pas la date de publication

Les deux sources citées concordent — ce qui constitue la base de la note A de l’archive — mais aucune n’est datée du 30 janvier 2026. Le billet de recherche « Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks » comporte, dans les métadonnées de sa page, un horodatage de publication au 9 janvier 2026. L’article « Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks » a été soumis le 8 janvier 2026 à 05:16 UTC et n’a pas été révisé sur arXiv depuis ; la version citée par l’archive, 2601.04603v1, est la seule. La date du 30 janvier est indiquée ici comme le classement de l’archive elle-même à la précision du jour, et non comme la date de l’un ou l’autre document.

Cela compte parce que le résumé en une ligne de l’archive contient trois chiffres qu’un lecteur est susceptible de répéter — 40x, 0,05 %, plus de 1 700 heures — et chacun est mesuré par rapport à une base de référence différente de celle que la formulation du résumé laisse entendre. Le reste de cet article porte sur ce que sont ces bases de référence.

Trois changements, empilés

Les Constitutional Classifiers ont été introduits en février 2025 sous la forme d’une paire de filtres entraînés sur des données synthétiques générées à partir d’une « constitution » écrite de contenus autorisés et interdits. Cette première génération utilisait un classificateur d’entrée distinct et un classificateur uniquement de sortie, et le propre article d’Anthropic lui attribue une réduction du taux de réussite des jailbreaks sur un modèle non défendu de 86 % à 4,4 % — bloquant environ 95 % des attaques — au prix de 23,7 % de calcul supplémentaire et d’une hausse de 0,38 % des refus sur des requêtes inoffensives.

L’article commence par montrer comment ce couple pourrait être décomposé. Deux classes d’attaques ont fonctionné. Les attaques par reconstruction dispersent une requête nuisible à travers des fragments d’apparence bénigne — l’exemple de l’article intègre une question dans les valeurs de retour de fonctions réparties dans une base de code, puis demande au modèle de la reconstituer — de sorte que le filtre d’entrée ne voit jamais une requête complète. Les attaques par obscurcissement de la sortie amènent le modèle à répondre par des codes de substitution ou par métaphore, de sorte qu’un classificateur qui ne lit que la sortie voit quelque chose d’anodin ; l’illustration de l’article fait décrire par un modèle la fabrication d’acide chlorhydrique comme l’union du « feu du soleil » et du « don de la mer », tandis que le classificateur n’apprend jamais ce que l’énigme décode. Comme la sortie seule est ininterprétable sans l’entrée, un filtre qui ne lit qu’un côté de l’échange ne peut pas voir le caractère nuisible.

Trois changements suivent, et l’article évalue chacun d’eux séparément avant de les combiner.

• Classificateurs d’échange. Un classificateur unique lit la sortie du modèle dans le contexte de l’entrée, en évaluant les tokens par lots au fur et à mesure de leur génération, le cache des prompts rendant le rejeu abordable. Le red-teaming humain a révélé 2,2 fois moins de vulnérabilités à haut risque par tentative de jailbreaking qu’avec la conception à double classificateur — mais au prix d’environ 50 % de calcul en plus, puisqu’un modèle de la taille de Haiku évalue désormais toute la conversation.

• Une cascade. Un classificateur léger de première étape filtre tout le trafic et n’escalade vers la coûteuse seconde étape que ce qu’il signale. La conception exploite une propriété de l’architecture plutôt que du modèle : comme un échange signalé est escaladé plutôt que refusé, l’étape peu coûteuse peut avoir un taux élevé de faux positifs, ce qui signifie qu’un modèle plus faible et moins coûteux peut l’exécuter. Anthropic fixe le seuil de la première étape de sorte que la grande majorité des exemples issus de ses propres jeux de données de red teaming soient signalés et, avec des modifications du pipeline d’inférence et des modèles mis à jour, rapporte une réduction de 5,4 fois du calcul par rapport au classificateur par échange unique. Environ 10 % du trafic atteint la seconde étape, et la première étape représente environ 77 % du coût total.

• Sondes d'activation linéaires. La troisième modification réutilise des calculs que le modèle a déjà effectués. Une sonde linéaire lit les activations du flux résiduel à chaque couche à mesure que les tokens sont échantillonnés, de sorte que son coût marginal est proche de zéro — l'article évalue une sonde toutes couches sur un modèle de 27B à environ 377K FLOPs par token, contre environ 8B pour une seule passe avant d'un modèle de 4B. Deux détails d'entraînement se sont révélés importants : la moyenne des logits sur une fenêtre glissante de 16 tokens pendant l'entraînement, afin qu'une seule activation parasite ne puisse pas signaler une séquence, et une perte pondérée par softmax qui pénalise bien davantage les faux positifs confiants que les vrais négatifs confiants. Sur un ensemble statique d'environ 7 000 échanges de red team, la meilleure sonde a surpassé le classifieur externe extra-small et a presque égalé celui de Haiku 4.5. Combinée en ensemble avec un classifieur externe, elle a fait mieux que l'un ou l'autre seul, et l'explication de l'article est la partie intéressante : les erreurs de la sonde sont moins corrélées avec celles du classifieur que ne le sont les erreurs de deux classifieurs entre elles, ainsi la sonde « semble exploiter des signaux qui complètent ceux utilisés par les classifieurs externes ».

Le système de production, dans ses propres chiffres

Ce qui a été déployé combine les deux précédents : une sonde linéaire appliquée aux activations de Claude Sonnet 4.5 examine chaque échange pendant la génération, et lorsque son score dépasse un seuil, l’échange est transmis à un classificateur de second niveau affiné à partir de Claude Haiku 4.5. Pour les échanges escaladés, les deux scores sont combinés à 55 % pour la sonde et à 45 % pour le classificateur. La sonde a fait remonter environ 5,5 % du trafic de production.

Anthropic l'a évalué lors d'un déploiement fantôme sur le trafic de production de Claude Sonnet 4.5 entre le 1er décembre 2025 et le 1er janvier 2026. Le taux de signalement — la proportion de requêtes refusées — était de 0,05 %, contre 0,38 % pour ce qu'avaient rapporté les travaux de première génération. Dans l'article de blog, l'entreprise décrit cela comme une baisse de 87 % par rapport aux classificateurs d'origine, et indique par ailleurs que le système ajoute « environ 1 % de surcoût de calcul s'il est appliqué au trafic de Claude Opus 4.0 ».

Trois réserves se nichent dans ces deux phrases, et aucune d’elles n’est dissimulée par Anthropic — elles sont simplement faciles à perdre lorsque les chiffres voyagent.

Premièrement, la comparaison des refus porte sur 0,38 %, le chiffre publié pour la première génération. Le tableau 1 de l’article lui-même indique un taux de refus en production de 0,073 % pour la réimplémentation par Anthropic du système de la génération précédente, mesuré lors de la première semaine après le déploiement. Les deux chiffres sont ceux d’Anthropic ; ils mesurent des choses différentes — une augmentation des refus sur des requêtes inoffensives dans un cas, une part de requêtes de production refusées dans l’autre — et l’affirmation de 87 % est calculée à partir du plus grand des deux.

Deuxièmement, le taux de refus du système déployé n'est pas le plus faible de l'article. Le tableau 1 indique 0,038 % pour le classificateur à échange unique et 0,036 % pour la cascade à deux étages sans sondes ; le système de production est à 0,050 %. Il l'emporte sur le calcul et sur la robustesse, pas sur les refus, et son propre tableau le dit.

Troisièmement, le chiffre de 1 % de calcul et celui de 40x ne correspondent pas à la même mesure. Le 40x est mesuré par rapport au classificateur d’échange unique de la troisième section de l’article — un système qui était lui-même environ 50 % plus coûteux que la génération précédente. Le tableau 1 de l’article, qui indexe tout sur le système de la génération précédente à 100,0, donne 150,0 pour ce classificateur d’échange, 27,8 pour la cascade à deux étages et 3,5 pour le système de production. Lu par rapport à la génération précédente plutôt que par rapport à la conception intermédiaire, le tableau implique une réduction d’environ vingt-neuf fois. Le ~1 % du blog repose encore sur une troisième base : un chiffre de surcoût absolu mesuré sur le trafic de Claude Opus 4.0, à comparer aux 23,7 % de la première génération.

Ce que 1 736 heures de red-teaming établissent

La solidité de l’affirmation repose sur une définition précise, et c’est dans cette définition que réside l’argument. Les équipes de red team d’Anthropic ont été chargées d’élaborer des stratégies permettant d’obtenir des réponses détaillées à huit questions cibles CBRN fixes. Une réponse est considérée comme nuisible si un barème LLM lui attribue au moins la moitié du niveau de détail d’une réponse provenant d’un modèle sans garde-fous, et une « vulnérabilité à haut risque » est une attaque qui réussit sur plus de cinq des huit questions. Un jailbreak universel, dans cette littérature, est une stratégie qui fonctionne sur la majeure partie de l’ensemble cible — ce qui permettrait à quelqu’un de transmettre une recette à un inconnu plutôt que de tomber par chance sur une réponse.

Le système de production a mobilisé environ 1 736 heures cumulées de red-teaming sur environ 198 000 tentatives, des heures estimées à partir des journaux d’API par tranches de cinq minutes. Une vulnérabilité à haut risque a été trouvée, soit un taux de découverte de 0,005 pour mille requêtes, et il a fallu 30 heures pour la trouver — le temps de découverte minimum le plus long de tous les systèmes de l’article. Aucune attaque n’a répondu aux huit questions cibles avec la moitié du niveau de détail d’un modèle non défendu. La ligne de comparaison correspond à la réimplémentation de la dernière génération du propre article : 13 vulnérabilités à haut risque sur 695 000 requêtes, soit un taux de 0,01871 pour mille, dont quatre jailbreaks qui ont répondu à chaque question cible avec la moitié du niveau de détail, trouvés en moyenne en 27 heures.

Deux limites de ce résultat méritent d’être énoncées clairement. La première figure dans la note de bas de page de l’article lui-même, rattachée à la section décrivant la cascade à deux étages qui a précédé le système de sonde : « des red-teamers de niveau expert opérant en dehors de notre programme de primes ont néanmoins pu découvrir des jailbreaks universels pour ce système, même si cela a exigé un effort considérable et des outils automatisés. » Le système de production final ne faisait pas l’objet de cette note de bas de page, mais celle-ci établit que le seuil de primes d’Anthropic n’est pas le plafond de ce que des attaquants déterminés peuvent faire. La seconde est la conclusion d’Anthropic dans l’article de blog : « aucun système d’IA actuellement sur le marché ne dispose de défenses parfaitement robustes. » La Montana Research Foundation, une organisation de recherche indépendante qui a analysé la publication le 21 janvier 2026, a formulé le même point de manière plus tranchante — le seuil des huit questions est « un seuil choisi par le défenseur », et les deux classes d’attaque qu’Anthropic nomme elle-même « l’érodent plutôt qu’elles ne le franchissent ».

Qu’est-ce qui passe encore ?

Anthropic nomme deux classes résiduelles d’attaques et ne prétend pas les avoir fermées. Les attaques par reconstruction, qui fragmentent une requête à travers un contexte, et l’obfuscation des sorties, qui déguise une réponse en euphémisme, métaphore ou code, sont les mêmes techniques qui ont fait échouer la première génération ; le classificateur d’échanges les rend plus difficiles, pas impossibles. L’article consigne aussi le coût du simple fait d’attaquer : sur GPQA Diamond, Claude Opus 4 a obtenu 74,2 % sans modification, 32,3 % sous une attaque par fragmentation et 49 % sous une autre. Les auteurs qualifient cette variabilité de « préoccupante », en estimant qu’un adversaire qui investit dans le problème peut probablement trouver des attaques qui préservent davantage les capacités du modèle tout en parvenant à passer.

Des travaux ultérieurs ont pris au sérieux les deux pistes, et ils sont indépendants d’Anthropic d’une manière que la publication elle-même n’est pas.

• Jailbreaking du point limite, soumis à arXiv le 16 février 2026 par des chercheurs du UK AI Security Institute et de l'OATML d'Oxford, décrit une attaque automatisée entièrement en boîte noire qui ne nécessite qu'un seul bit par requête — signalée ou non — et la présente comme « le premier algorithme d'attaque entièrement automatisé qui réussit à développer des jailbreaks universels contre les classificateurs constitutionnels ». Sa cible était le classificateur protégeant Claude Sonnet 4.5 au 27 novembre 2025, que l'article cite en référence aux travaux de première génération de 2025 plutôt qu'à la cascade de sondes ; l'article relaie également la conclusion préliminaire d'Anthropic selon laquelle les classificateurs basés sur des sondes « pourraient être plus résistants à ce type d'attaque que les classificateurs basés sur le texte », et que l'entraînement sur les chaînes d'attaque améliore la détection.

• Trojan-Speak, soumis le 30 mars 2026 par des auteurs de l'Anthropic Fellows Program et de Virginia Tech, attaque sous un angle différent : un fine-tuning adversarial qui apprend à un modèle un encodage que le classificateur ne peut pas lire, rapportant plus de 99 % d'évasion du classificateur pour les modèles de 14 milliards de paramètres et plus, avec moins de 5 % de perte de capacités, sur les questions CBRN de l'ensemble de bug bounty. Il note que la cascade « sonde d'abord » laisse encore « le classificateur LLM » prendre la décision finale de blocage, et constate que les sondes d'activation améliorent sensiblement la robustesse face à l'attaque par encodage.

Aucun des deux articles ne conteste les chiffres qu’Anthropic a publiés pour son propre déploiement. Tous deux considèrent la cascade comme la référence à battre. Cela représente un examen plus poussé que celui dont la publication a fait l’objet ailleurs : une recherche dans les index de presse pour la période de publication n’a révélé aucune couverture par un média grand public du billet du 9 janvier, et hormis ces deux articles, la seule analyse indépendante trouvée pour cet article est celle de la Montana Research Foundation, publiée le 21 janvier 2026.

Pourquoi les archives classent cela comme relevant de la gouvernance

Le type d’enregistrement est policy, son tag de type est GOV et sa gravité est info, ce qui paraît étrange pour un article sur l’architecture d’un classifieur, jusqu’à ce que l’on regarde ce qui est réellement consigné. Il n’y a aucune victime, aucun délai de divulgation et aucune population affectée au-delà des personnes dont les requêtes sont évaluées par le filtre. Ce que contiennent les documents, c’est un fournisseur qui publie une architecture, une mesure de déploiement et un protocole de red teaming avec suffisamment de détails pour que quelqu’un d’autre puisse vérifier les calculs — et, dans les remerciements, qui nomme les organisations externes ayant fait du red teaming sur des versions antérieures : UK AISI, US CAISI et FAR.AI, HackerOne assurant la gestion opérationnelle du programme de primes.

L’intérêt de la gouvernance, c’est la courbe des coûts. Une protection qui ajoute un quart au prix de chaque requête est une protection dont une équipe produit débat de la désactivation ; l’analyse Montana fait exactement ce constat, en écrivant qu’à 23,7 %, l’équipe sécurité devait justifier son activation, et qu’à environ 1 %, « l’équipe produit doit justifier sa désactivation ». Savoir si ce chiffre tient en dehors de la stack propre à Anthropic est la question ouverte, et la même analyse énonce le test : la sonde lit les activations, les activations sont spécifiques au modèle, et « si elles ne le font pas, il s’agit d’un résultat Anthropic ».

Ce que le dossier ne contient pas, c’est une quelconque preuve que le système a échoué en production. Aucun incident, aucun contournement, aucun préjudice pour l’utilisateur n’apparaît dans aucun des deux documents cités, et les archives consignent le préjudice réel comme nul. La date de dépôt du 30 janvier reste inexpliquée par les sources ; les travaux qu’il décrit sont datés du 8 et du 9 janvier 2026.