Obsidian 3 : une ligne de benchmark cachée, une facture 3,6× plus salée, et la question Fable 5.5

Le nombre le plus intéressant du nouveau classement de programmation de Cognition cette semaine appartient à un modèle que personne ne peut nommer. Une entrée masquée intitulée Obsidian 3 est apparue dans le fichier de données derrière FrontierCode 2.0 avec un score à effort élevé de 46,77 %, au-dessus de Claude Opus 5.5 à 45,5 % — le modèle que le tableau de Cognition lui-même classe en premier. Cette ligne a été exécutée dans le harnais claude-code, que seuls les modèles d’Anthropic utilisent sur ce tableau, et les spéculations se sont immédiatement divisées entre Claude Fable 5.5, le modèle phare qu’Anthropic n’a pas encore publié, et une mise à jour de milieu de cycle qu’un internaute a appelée « Opus 5.6 ». Rien de tout cela n’est confirmé. Anthropic n’a rien dit, aucune fiche de modèle ni identifiant API n’existe, et chaque chiffre concernant Obsidian 3 dans cet article est une affirmation non vérifiée provenant de publications sur X plutôt qu’un résultat que nous pourrions reproduire.

Ce qui peut être vérifié est plus étroit et plus utile : le fichier public vers lequel la fuite pointait, la courbe d’effort attribuée à la ligne cachée, et l’arithmétique derrière l’affirmation de « coût 3,6× ». Rassemblez ces éléments et le récit cesse d’être « le prochain modèle d’Anthropic surpasse son modèle actuel ». Il devient quelque chose de plus précis — une ligne qui culmine à un effort élevé puis régresse, une comparaison qui ne fonctionne que si l’on retient des niveaux d’effort différents de chaque côté, et un fichier de données qui ne contient pas du tout la ligne.

Qu'est-ce qui a fuité, et quand

Cognition a publié FrontierCode 2.0 le 27 octobre. Le benchmark est volontairement difficile à manipuler : 132 tâches construites à partir de vrais dépôts open source par plus de 20 mainteneurs, chacune prenant environ 40 heures, évaluées sur la question de savoir si un correctif serait réellement fusionné plutôt que sur le fait qu’il passe un test. Chaque exécution est répétée trois fois, les tâches sont privées, et un seul critère bloquant échoué entraîne un score nul. Le propre tableau de Cognition plaçait Claude Opus 5.5 en première position avec 45,5 % en effort maximal, GPT-6 Astra en deuxième position à 42,8 %, Claude Sonnet 5.5 en troisième à 41,0 %, et aucun modèle au-dessus de 50 %. Artificial Analysis a adopté ce benchmark à hauteur de 15 % de son nouvel Intelligence Index v5 et a rapporté de manière indépendante le même leader, Claude Opus 5.5 à 46 % après arrondi.

Ce soir-là, le 27 octobre à 21:10 UTC, @tensorson a publié que le fichier de données de Cognition contenait un modèle que le tableau n’affichait pas : « Obsidian 3 », à 46,8 %, « au-dessus de #1 Opus 5.5 (45,5 %) ». Le post signalait l’harness claude-code et supposait qu’il s’agissait de Fable 5.5. Douze heures plus tard, un fil sur linux.do listait cinq scores d’effort distincts pour la ligne — faible 39,19 %, moyen 39,84 %, élevé 46,77 %, xHigh 45,90 %, max 45,53 % — et joignait une copie des données. Le 28 octobre à 09:12 UTC, @teortaxesTex a cité le post en y ajoutant les chiffres de coût : Opus 5.5 au niveau élevé obtient 34,5 % pour 2,42 $ par rollout, Opus 5.5 au niveau max obtient 45,5 % pour 12,82 $, et Obsidian 3 au niveau élevé obtient 46,7 % « apparemment pour 8,62 $ », sans aller plus loin même à 47 $ au niveau max. « FrontierCode est-il déjà cassé ? » demandait le post. « Ou Fable 5.5 est-il un flop ? » À 16:18 UTC, @CodexResets1 a amplifié les mêmes chiffres et demandé si le modèle était Fable 5.5 ou Opus 5.6.

L'en-tête Last-Modified du fichier indique 17:44 UTC le 28 octobre. La version que nous avons téléchargée un jour plus tard fait 32 055 octets, liste 24 modèles et ne contient aucune ligne appelée Obsidian 3 nulle part dans sa structure. Une requête avec contournement du cache a renvoyé le même hachage de fichier. Le tableau officiel du classement n'a jamais affiché la ligne, le miroir de 20 lignes de BenchLM ne l'a pas affichée non plus, et Anthropic n'a rien publié.

Une rangée, cinq niveaux d'effort, trois histoires différentes

La partie publiée de cette comparaison est solide, car elle provient directement des données téléchargeables de Cognition. Le score de Claude Opus 5.5 ajusté en fonction de la fusionnabilité augmente à chaque étape : 14,7 % au niveau faible, 30,1 % au niveau moyen, 34,5 % au niveau élevé, 43,4 % au niveau xHigh et 45,5 % au niveau max. Son coût moyen par tâche passe de 2,42 $ au niveau élevé à 12,82 $ au niveau max. C’est la courbe d’un modèle qui s’améliore lorsqu’on le paie pour réfléchir plus longtemps.

La courbe Obsidian 3 annoncée ne se comporte pas de cette manière :

• Effort faible — 39,19 % revendiqués, déjà au-dessus des 34,5 % de Claude Opus 5.5 en effort élevé.

• Effort moyen — 39,84 % revendiqués, soit un gain de 0,65 point.

• Effort élevé — 46,77 % revendiqués, le pic, à 8,62 $ revendiqués par tâche.

• Effort xHigh — 45,90 % annoncé, en baisse de 0,87 point.

Effort maximal — 45,53 % revendiqués, en baisse de 0,37 supplémentaire, pour un coût revendiqué proche de 47 $.

Cinq paramètres d'effort, et le meilleur score arrive en troisième position. Dépenser environ 5,5× le budget d'effort élevé pour atteindre le maximum permet d'obtenir un score inférieur de 1,24 point. Cognition elle-même avertit que cela peut se produire : des paramètres de raisonnement plus élevés réduisent parfois les scores parce que les modèles écrivent plus de code et touchent plus de fichiers, et les propres exemples du benchmark incluent une exécution en effort maximal qui a supprimé une classe d'API publique lors de la correction d'une condition de concurrence. Mais l'ampleur de la baisse compte. Un modèle qui plafonne au sommet est bien plus souvent un checkpoint précoce ou un artefact de distillation qu'un modèle phare finalisé.

Passons maintenant aux comparaisons, car la conclusion principale dépend entièrement de celle que vous choisissez :

• Le meilleur contre le meilleur — les 46,77 % d'Obsidian 3 en mode high contre les 45,5 % de Claude Opus 5.5 en mode max, soit +1,32 point, à 8,62 $ contre 12,82 $, ou environ 33 % moins cher. À cette lecture, la ligne cachée l'emporte sur les deux axes.

• Élevé contre élevé — 46,77 % contre 34,5 % représente +12,24 points, à 8,62 $ contre 2,42 $, soit 3,56× le coût. Selon cette lecture, il s’agit d’un important gain de qualité à un prix élevé.

• Max contre max — 45,53 % contre 45,45 %, soit +0,08 point, à environ 47 $ contre 12,82 $, soit 3,67× le coût. Dans cette lecture, c’est une égalité à un prix ruineux.

Les trois sont arithmétiquement exacts. C’est pourquoi le fil X a tourné au dialogue de sourds : {{1}}@tensorson{{/1}} a comparé le niveau {{2}}high{{/2}} au niveau max et l’a qualifié de {{3}}victoire de 1,3 point{{/3}} ; {{4}}@teortaxesTex{{/4}} a comparé le niveau high au niveau high et demandé si le benchmark était cassé. Le chiffre « {{5}}coût 3,6× à effort égal{{/5}} » est exact, et « {{6}}moins cher que la meilleure exécution d’Opus 5.5{{/6}} » l’est aussi — ils décrivent des paires d’exécutions différentes.

Il y a une mise en garde plus importante sous tout cela. Les données de Cognition stockent deux nombres par exécution : un taux brut de réponses correctes et un score ajusté selon la capacité de fusion. Le chiffre publié de 45,5 % pour Claude Opus 5.5 est la valeur ajustée ; son taux brut de réponses correctes au niveau max est de 49,7 %, et au niveau high, de 37,9 %. L’ajustement coûte trois à quatre points aux lignes publiques de Claude. Nous ne savons pas de quelle colonne proviennent les chiffres divulgués d’Obsidian 3. Si 46,77 % est un taux brut de réponses correctes, son score ajusté se situerait près de 43 % — sous Claude Opus 5.5 — et toute l’affirmation « au-dessus du n°1 » disparaît. Cette seule inconnue est plus grande que la marge de 1,3 point dont tout le monde a débattu.

Pourquoi l’étiquette claude-code est tout l’argument d’Anthropic

Un harnais est un échafaudage, pas une empreinte digitale. FrontierCode exécute chaque modèle dans une boucle d’agent, et le fichier de données associe les modèles à la boucle utilisée : les lignes d’OpenAI s’exécutent dans codex, celles de Google dans devin-cli, celles de xAI dans grok-build, Muse Wonder de Meta dans muse, les modèles SWE de Cognition dans devin-cli-swe1, et les six lignes Claude dans claude-code. Une ligne anonyme qui se trouve dans le harnais Claude est un fort indice que le modèle derrière a été conçu pour fonctionner avec les outils d’Anthropic. Ce n’est pas la preuve qu’Anthropic l’a créé. Un opérateur de benchmark peut tester le modèle pré-lancement d’un partenaire dans le harnais qui convient, et un laboratoire peut tester son propre modèle sous un nom soumis à embargo.

Le nom lui-même ne vous dit presque rien. La gamme publique d'Anthropic — vérifiée le 29 octobre par rapport à sa propre vue d'ensemble des modèles — se compose de Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5. Il n'existe pas de Fable 5.5, pas d'Opus 5.6, ni de produit appelé Obsidian. « Obsidian 3 » est un nom de code de type pierre précieuse, du genre que les laboratoires utilisent en interne, mais il n'existe aucun registre public auquel le confronter, et le « 3 » final ne correspond à aucune séquence qu'Anthropic ait publiée.

Cela laisse trois interprétations possibles, et les éléments de preuve ne permettent pas de choisir entre elles :

• Une version de niveau Fable. Claude Fable 5.1 est le modèle phare à 10 $ / 50 $ pour les raisonnements exigeants, lancé le 1er septembre, et la gamme Fable constitue la lacune évidente de l'offre actuelle. La supposition de @tensorson, ainsi que plusieurs réponses au post, ont abouti à cette conclusion parce que le profil de coût ressemble à celui d'un niveau premium plutôt qu'à celui d'un niveau économique.

• Une actualisation d'Opus en milieu de cycle. L'hypothèse préalable de @teortaxesTex est que « Obsidian 3 est Opus 5.6 », au motif qu'Anthropic a déjà livré des modèles en milieu de cycle avec peu de gain de raisonnement. Le plateau de la courbe annoncée est compatible avec cette thèse, mais les scores à faible effort — 39,19 % contre 14,7 % pour Claude Opus 5.5 — ressemblent à un autre entraînement, pas à une petite actualisation.

• Un artefact de distillation ou un checkpoint précoce. L'autre hypothèse de @teortaxesTex, et celle que la forme de la courbe étaye le mieux : performant à faible et moyen effort, atteignant un pic à effort élevé, puis régressant lorsqu'on lui accorde plus de marge. Un modèle frontière abouti ne devrait pas se dégrader chaque fois que l'on augmente son budget.

Ce que le calendrier de l’introduction en bourse apporte — et ce qu’il n’apporte pas

Le signal qui a lancé ce fil était une question de calendrier : pourquoi Fable n’est-il pas encore sorti avant l’IPO ? Anthropic a déposé publiquement son S-1 le 26 octobre, la veille du lancement de FrontierCode 2.0, pour une levée estimée à 75 milliards de dollars sur le Nasdaq sous le ticker ANT. Selon Renaissance Capital, le roadshow est attendu pour la semaine du 9 novembre et la fixation du prix pour la semaine du 16 novembre. Un prochain produit phare qui arrive avant la fixation du prix donnerait à l’introduction en bourse un récit produit ; s’il arrive après, il lui donne un récit de feuille de route.

Une ligne de benchmark cachée n’est pas un signal de lancement. Les laboratoires testent couramment des modèles avant leur lancement avec des opérateurs de benchmarks, généralement sous embargo, et le rôle de l’opérateur est de garder le modèle anonyme jusqu’à ce que le fournisseur en décide autrement. Si Cognition a testé une version d’Anthropic, la bonne lecture est qu’Anthropic itère encore — et non qu’une sortie est à quelques jours. Le seul point de données officiel reste la documentation d’Anthropic, qui répertorie quatre modèles actuels et aucun d’entre eux n’est Obsidian. L’introduction en bourse explique pourquoi les gens surveillent d’aussi près le niveau Fable. Cela ne rend pas cette ligne réelle.

Ce qu’un lecteur peut réellement faire aujourd’hui

Rien à propos d’Obsidian 3 n’est appelable, tarifé ou documenté, donc cela ne change aucune décision cette semaine. Si vous avez besoin du meilleur score de mergeabilité disponible aujourd’hui, Claude Opus 5.5 est public : 4 $ en entrée et 20 $ en sortie par million de tokens, une fenêtre de contexte de 1 M de tokens, une sortie maximale de 128 K, ID d’API claude-opus-5-5, publié le 22 septembre. Si le coût est la contrainte, GPT-6.1 Sol a obtenu 39,0 % à environ 1,03 $ par tâche sur le même tableau — un bien meilleur rapport score-prix que l’une ou l’autre des exécutions Claude, et le chiffre à vérifier avant de supposer que le haut du tableau est la seule ligne utile.

Claude Opus 5.5 est acheminable via OrcaRouter au prix catalogue d’Anthropic, sans majoration, aux côtés de plus de 200 autres modèles sur une seule API avec basculement automatique. Cela compte pour la seule expérience que cette fuite invite réellement à mener : exécuter Claude Opus 5.5 en effort élevé et en effort maximal sur votre propre charge de travail, et mesurer le coût par patch accepté. La courbe de FrontierCode elle-même indique que les deux dernières étapes d’effort coûtent 10,40 $ de plus par tâche pour 11 points ; votre dépôt pourrait ne pas chiffrer cela de la même manière. Le réglage de l’effort et le prix par token sont ceux d’Anthropic, répercutés tels quels, de sorte que la comparaison relève d’un changement de paramètre plutôt que d’un second contrat — et si Anthropic réduit le prix catalogue, cette baisse est effective sur la route le jour même.

Qu’est-ce qui ferait d’Obsidian 3 un fait

• La ligne est renvoyée dans un fichier de données téléchargeable, avec une clé de modèle et les cinq entrées d'effort, afin que les chiffres puissent être lus sans capture d'écran.

• Cognition indique si elle a testé un modèle avant sa publication, et selon quelles modalités. Un opérateur de benchmark confirmant une exécution sous embargo établirait la provenance sans nommer le fournisseur.

• Anthropic publie une fiche modèle, un ID d'API ou une entrée de documentation. C'est le seul événement qui transforme une ligne de benchmark en produit.

• Un prix apparaît. Un modèle sans prix est une entrée de référence, pas une option qu’un lecteur peut choisir.

• {{1}}Un second opérateur le mesure.{{/1}} Artificial Analysis exécute son propre banc d’essai FrontierCode 2.0 avec des paramètres externes différents ; une ligne Obsidian à cet endroit constituerait une corroboration plutôt qu’une republication de la même capture d’écran.

La ligne est un justificatif, pas une annonce. Ce qu’elle atteste est plus intéressant que le titre : un modèle qui est solide à faible effort, atteint son sommet à effort élevé, puis consomme cinq fois le budget pour devenir moins bon. Si cette courbe est celle du prochain modèle phare d’Anthropic, l’entreprise a un problème de mise à l’échelle du raisonnement à résoudre avant de pouvoir lancer le modèle. S’il s’agit d’un checkpoint précoce, le chiffre évoluera avant le nom. Dans les deux cas, 46,8 n’est pas le chiffre à surveiller. Le chiffre à surveiller est de savoir si la courbe finit par devenir monotone.

FAQ

Obsidian 3 est-il sorti ?

Non. Aucun modèle appelé Obsidian 3 n’apparaît dans la documentation d’Anthropic ni dans le tableau FrontierCode 2.0 publié par Cognition, et nous n’avons trouvé aucun catalogue d’API qui le répertorie. La seule preuve est une ligne masquée signalée dans des publications sur X des 27 et 28 octobre et dans un fil de forum qui reproduisait cinq scores d’effort. Anthropic n’a pas commenté, et le fichier de données public que nous avons téléchargé le 29 octobre ne contient pas cette ligne.

Obsidian 3 est-il Claude Fable 5.5 ou Claude Opus 5.6 ?

Inconnu. Les deux sont des suppositions issues de l'étiquette du harnais claude-code, et non d'un identifiant quelconque. Fable 5.5 correspond à l'emplacement vide au-dessus de Claude Fable 5.1 dans la gamme d'Anthropic ; Opus 5.6 correspond à la théorie selon laquelle Anthropic commercialise des mises à jour de milieu de cycle à faible apport. Aucun des deux noms n'apparaît dans la documentation d'Anthropic, et le profil de coût correspond davantage à un niveau Fable premium qu'à un Opus de gamme économique.

Pourquoi Obsidian 3 est-il désormais absent de FrontierCode 2.0 ?

Nous ne pouvons pas confirmer pourquoi. Le fichier lié dans la publication d’origine a été modifié pour la dernière fois à 17:44 UTC le 28 octobre, et la copie que nous avons téléchargée le 29 octobre répertorie 24 modèles sans entrée Obsidian 3. Il a peut-être été supprimé après la diffusion des publications, ou la version publique n’a peut-être jamais contenu cette entrée. Les publications sur X et l’archive du forum sont les seules traces que nous ayons pu trouver, et aucune des deux n’est de première main.

L'affirmation d'un coût 3,6 fois plus élevé est-elle fondée ?

Le calcul tient, face aux coûts publiés par Cognition pour Claude Opus 5.5 : 8,62 $ représente 3,56 fois l’exécution à effort élevé à 2,42 $, et environ 3,67 fois l’exécution maximale à 12,82 $ comparée au montant maximal d’environ 47 $. Ce qui ne peut pas être vérifié, c’est le volet Obsidian 3 du registre, car ses chiffres de coût n’existent que dans des posts sur X, et non dans un quelconque fichier téléchargeable.