Claude Sonnet 5.5 over Extra Effort: waarom de bewering 'volgende Claude-model' beide eigen tests niet doorstaat

Op 5 november om 12:44 UTC plaatste een X-account genaamd @chetaslua een zin die sinds oktober in verschillende vormen de ronde doet: "Sonnet 5.5 Extra lijkt te routeren naar het volgende Claude-model." Tegen de volgende ochtend had de post 20.900 weergaven, 384 likes en 38 reacties. Het model dat erin wordt genoemd, is er een die je vandaag kunt aanroepen — Claude Sonnet 5.5, uitgebracht op 28 september voor $2 en $10 per miljoen tokens. Het woord "Extra" is geen tweede model. Het is de op één na hoogste trede van het effort-menu van Claude, dat Anthropic Extra high noemt en dat de API xhigh noemt.

Twee tests worden als bewijs aangevoerd: een vraag over waar Andrej Karpathy in 2026 naartoe ging, en een pelikaan op een fiets die volledig in SVG is getekend. Het model dat Anthropic in september uitbracht, doorstaat beide tests. Daarin schuilt de hele moeilijkheid van de bewering. Eén test controleert een feit dat een maand binnen het eigen trainingsvenster van Claude Sonnet 5.5 valt. De andere meet een grootheid die de instelling Extra beoogt te verhogen. Geen van beide kan het verschil maken tussen "een beter model heeft geantwoord" en "de instelling die ik koos deed wat de documentatie zegt dat ze doet."

Dat maakt de post niet waardeloos. Het maakt er een zuiver specimen van een test die beslissend aanvoelt maar dat niet is — en de twee zetten die hij gebruikt, een kennisprobe en een vergelijking van de outputgrootte, zijn dezelfde twee zetten die achter de meeste routingclaims van dit najaar schuilgaan. Ze stap voor stap doornemen is nuttiger dan nog een ronde gissen naar wat Anthropic niet heeft aangekondigd.

Wat er daadwerkelijk is gepost

De post beschrijft één chatsessie en twee prompts. De eerste vroeg waar Karpathy in 2026 naartoe ging en gaf het model de instructie het web niet te gebruiken; het antwoord zei dat hij zich in mei 2026 bij Anthropic voegde, in het pretrainingteam. De tweede vroeg om "een pelikaan die een fiets bestuurt, zo realistisch als je kunt, alleen met code", en het resultaat wordt beschreven als 26.599 SVG-elementen, ongeveer 6.500 veerstreken, geen ingesloten afbeeldingen, data-URI's of scripts, en 1.860 regels Python. Uit die twee uitwisselingen concludeert de poster dat het label iets nieuwers serveert dan het model dat het noemt.

Er gaat niets mee gepaard. Geen modelidentificatie, geen prijslijst, geen systeemkaart, geen verklaring van Anthropic. De opvolger waar het naar verwijst, circuleert sinds oktober onder verschillende namen, geen ervan van Anthropic en geen ervan aanroepbaar. De eigen modellenlijst van Anthropic, vandaag gelezen, telt vier actuele modellen: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 en Claude Haiku 5.5. Er is geen vijfde rij, en nergens in het bericht staat een identificatie die een lezer zou kunnen testen.

Wat "Extra" is, voordat het een mysterie wordt

Het effort-menu in Claude's apps vermeldt vijf niveaus: Low, Medium, High, Extra high (xhigh) en Max, waarbij het door het model aanbevolen niveau als Default is gemarkeerd. "Extra" is hoe mensen het vierde niveau afkorten. Anthropic's eigen referentie beschrijft xhigh als uitgebreide capaciteit voor langdurig werk, gericht op "langdurige agentische en coderingstaken (meer dan 30 minuten) met tokenbudgetten in de miljoenen." Dat is de leverancier die je bij voorbaat vertelt dat dit niveau bedoeld is om veel meer te verbruiken dan het niveau eronder.

De trede wordt ook per model gekalibreerd, niet globaal. In de migratienota van Anthropic voor deze generatie staat ronduit dat de effortniveaus van Claude Sonnet 5.5 opnieuw zijn gekalibreerd — een niveau "produceert niet dezelfde hoeveelheid denkwerk als op Claude Sonnet 5" — en dat ontwikkelaars hun effort-sweep opnieuw moeten uitvoeren in plaats van een instelling over te nemen. Daaruit volgen twee consequenties, beide saai en beide fataal voor de inferentie. Een verzoek op Extra in Sonnet 5.5 is niet hetzelfde verzoek als Extra in de voorganger, dus "het voelt anders dan ik me herinner" is te verwachten. En een knop van High naar Extra draaien is een instructie om meer tokens te besteden, dus een langere, dichtere, uitgebreidere tekening is de gevraagde uitkomst.

Er is nog één detail aan de oppervlakte dat het waard is om vast te leggen, want daar stoppen de labels met overeenkomen. De standaardinspanning van de Claude API voor dit model is hoog; die van Claude Code voor hetzelfde model is gemiddeld. Een antwoord van de app op Extra, een antwoord van de API op de standaardinstelling en een antwoord van Claude Code op de standaardinstelling zijn drie verschillende configuraties van één model. Als je er twee vergelijkt en concludeert dat er een nieuw model is verschenen, vergelijk je standaardinstellingen, geen checkpoints.

Test één: een feit uit mei getoetst aan een afsluitdatum in juni

De Karpathy-vraag is de sterkere van de twee probes, want anders dan bij de meeste van deze tests kan het antwoord aan de openbare gegevens worden getoetst. En die toets doorstaat hij. Karpathy maakte op 19 mei 2026 op X bekend dat hij bij Anthropic in dienst was getreden; die week begon hij in het pre-trainingsteam, met Nick Joseph als leidinggevende, en hij zei een team te willen opbouwen dat zich richt op het gebruik van Claude om pre-trainingonderzoek te versnellen. Het antwoord dat de post beschrijft — in dienst bij Anthropic, mei 2026, pre-trainingsteam — is juist.

De nauwkeurigheid is het probleem. De betrouwbare kennisafsluitdatum van Claude Sonnet 5.5 is juni 2026, en de afsluitdatum van zijn trainingsgegevens is dezelfde. De aanwerving vond ongeveer een maand vóór die grens plaats. Van een uitgeleverde Claude Sonnet 5.5 die deze vraag krijgt met het web uitgeschakeld, wordt verwacht dat hij die beantwoordt, en dat hij die beantwoordt, is wat de documentatie voorspelt. De probe leverde het nulresultaat op en werd als de bevinding gelezen.

Het is de moeite waard om precies te zijn over wat een kennisprobe wel en niet kan, want op dit punt gaan de meeste van deze beweringen mis:

• Een correct antwoord over een gebeurtenis van vóór de cutoff is niet informatief. Elk model in de reeks is daarop getraind.

• Een onjuist antwoord zou informatief zijn geweest — in de tegenovergestelde richting. Als een model dat op de hoogte zou moeten zijn van een aanwerving in mei 2026 die ontkent, is dat bewijs van een ander, zwakker checkpoint, niet van een sterker, niet-aangekondigd checkpoint.

• Alleen een feit van na de cutoff is onderscheidend. Een feit dat na juni 2026 is gepubliceerd en waarop geen enkel model in de huidige lijn getraind kan zijn, is de enige soort vraag die een nieuw checkpoint van een oud scheidt. Karpathy publiceerde op 2 november een workflow-verslag op zijn eigen blog. Vragen naar de inhoud daarvan met de web uit zou een echte test zijn geweest. Vragen waar hij in mei naartoe ging was dat niet.

Test twee: een pelikanentelling die breedsprakigheid meet

De pelikaanprompt is Simon Willisons langlopende ad-hoc-eval, en hij voerde die op 28 september uit tegen Claude Sonnet 5.5, de dag dat het model uitkwam. Zijn gepubliceerde resultaten zijn hier de bruikbare baseline, omdat ze gedateerd, toegeschreven en gemeten zijn in plaats van op het oog geteld.

• Bij maximale inspanning — één stap hoger dan wat de post gebruikte — verbruikte het model 128.000 outputtokens, bereikte het de limiet, kostte het $1,28 en produceerde het helemaal geen SVG.

• Op xhigh — het niveau dat het bericht Extra noemt — produceerde hetzelfde model een pelikaan in 41 seconden voor 5,74 cent.

Lees die twee regels samen en de tweede test in het bericht valt in duigen. Het geleverde model op Extra tekent de vogel al — dat is de run van 41 seconden en 5,74 cent — dus een vogel op Extra is niet afwijkend. Het geleverde model één trede boven Extra tekent helemaal niets, dus in deze taak is de inspanningsknop met grote afstand de dominante variabele, en de inspanningsknop is het enige dat het bericht heeft veranderd. Een resultaat dat meebeweegt met de instelling die je hebt aangepast, is bewijs over die instelling.

Het aantal elementen verdient zijn eigen berekening, want het is het getal dat het meest waarschijnlijk wordt herhaald. Anthropic stelt dat 1 mln. tokens op de huidige tokenizer ruwweg 2,5 mln. tekens zijn. Als 26.599 elementen gemiddeld elk 40 tekens hadden — een conservatieve schatting zodra je padgegevens en attributen meerekent — zou de tekening ongeveer 1,06 mln. tekens beslaan, of ruwweg 424.000 tokens. Dat is meer dan drie keer de synchrone uitvoerlimiet van 128.000 tokens, en ook boven de batchlimiet van 300.000 tokens. Als de elementen gemiddeld zeven tekens hadden, past hetzelfde aantal comfortabel in ongeveer 74.000 tokens.

Het aantal wordt dus begrensd door de opmaakdichtheid, niet door de sterkte van het model, en een beknopter model levert een hoger getal op. De eigen beschrijving van het bericht wijst op de waarschijnlijkere interpretatie: 1.860 regels Python staan in dezelfde chat, en een script dat in een lus over feathers gaat, kan 26.599 elementen genereren zonder dat het model 26.599 elementen schrijft. Het bericht zegt niet of die code de pelikaan heeft getekend of een apart artefact was, en dat is precies het detail dat een lezer nodig zou hebben. Wat zonder het bestand gezegd kan worden, is dat het aantal elementen een maatstaf is voor breedsprakigheid op een trede waarvan de gedocumenteerde taak is om meer te produceren.

De enige echt interessante regel in de beschrijving is de negatieve: geen ingebedde afbeeldingen, geen data-URI's, geen scripts. Een pelikaan met dat detailniveau, alleen opgebouwd uit vectorprimitieven, is een echt resultaat. Het is echter een resultaat op het gebied van uitvoerkwaliteit, en uitvoerkwaliteit bij een hogere inspanningsinstelling is het minst verrassende dat een model kan leveren.

De enige gedocumenteerde manier waarop een andere Claude antwoordt

Niets hiervan bewijst dat Anthropic nooit een verzoek onder één label met andere gewichten zou bedienen. Het betekent wel dat de bewering de mechanismen moet verklaren die Anthropic wél documenteert, en die wijzen allebei de andere kant op.

Het eerste is refusal-fallback. Een geweigerd verzoek retourneert HTTP 200 met stop_reason: "refusal" en een stop_details-object dat het beleidsgebied benoemt. Een server-side fallback, ingesteld met fallbacks: "default" en in bèta op de Claude API, probeert cyber- en frontier_llm-weigeringen opnieuw op Claude Sonnet 5 — het oudere, goedkopere model. Dat is een gedocumenteerd geval waarin een Sonnet 5.5-verzoek door iets anders wordt beantwoord, en het is een downgrade die zichzelf in het antwoord aankondigt.

De tweede is thinking-block-binding. Thinking-blokken leggen vast welk model ze heeft geproduceerd, en wanneer een gesprek overgaat naar een model dat ze niet kan lezen, laat de API ze vallen voordat het model het verzoek ziet, en meldt dat vallen in input_transformations wanneer de bètaheader is ingesteld. Dat is de API die je vertelt dat het serverende model is gewijzigd. Niets in een van beide mechanismen waardeert een claude-sonnet-5-5-verzoek op naar een sterker, niet-aangekondigd model onder dezelfde string.

Het ontbreken van een mechanisme is geen bewijs dat er niets gebeurt. Het is echter wel de maatstaf waaraan de bewering moet voldoen: een routeringsverhaal dat altijd alleen maar een verbetering beschrijft, moet uitleggen waarom het enige pad dat Anthropic publiceert bergafwaarts loopt en een ontvangstbewijs achterlaat.

Het dichtst bij een externe controle komt de index die onafhankelijke evaluatoren tegen het model draaien dat Anthropic levert. Artificial Analysis vermeldt Claude Sonnet 5.5 op 55 in zijn Intelligence Index v5.0.1, negende van 69 modellen tegen een mediaan van 37. Dat is een weergave van de string zoals die vandaag wordt geleverd, en het is het oppervlak waarop een aanzienlijk sterker checkpoint dat onder dezelfde naam schuilgaat, uiteindelijk zou moeten opduiken.

Hoe een test die uitsluitsel kan geven eruitziet

Als je wilt weten of het label voor je door iets anders wordt geserveerd, is het experiment niet moeilijk. Het is alleen minder leuk dan een pelikaan posten.

• Pin de identifier, niet het label. Roep claude-sonnet-5-5 aan met een expliciete effort-waarde, zodat het verzoek elke keer hetzelfde verzoek is. Een label in een menu is een productoppervlak; een identifier is een doel.

Neem meerdere keren een steekproef. Eén respons op één niveau is een anekdote. Tien op high en tien op xhigh, met dezelfde system prompt en dezelfde max_tokens, geven je twee verdelingen. Effort zorgt voor een vloeiende, monotone verschuiving in de lengte van de output. Een ander checkpoint levert doorgaans een discontinuïteit in de inhoud op die niet door de lengte wordt verklaard.

• Gebruik een feit van na de cutoff. Een cutoff van juni 2026 betekent dat alles wat na juni is gepubliceerd toegestaan is en alles daarvoor waardeloos is als test. Dit is de enige wijziging die de test van 5 november de moeite waard zou hebben gemaakt.

• Lees het response-object en neem het vervolgens met een korreltje zout. De velden model, usage, stop_reason en stop_details zijn het loggen waard, en een refusal-fallback is daar zichtbaar. Maar die velden weerspiegelen alleen wat de server zegt dat hij heeft gedaan. Het is een verklaring, geen inspectie — dezelfde categorie bewijs als een model vragen zichzelf te beschrijven.

• Bereken de prijs voordat je het uitvoert. Bij $2 en $10 per miljoen tokens kost een respons van 128.000 tokens $1,28; dat is het cijfer van Willison en ook gewoon wat de tariefkaart zegt. Twintig responses die tot de limiet mogen doorlopen kosten ongeveer $25.

Welke extra kosten gelden er terwijl u op een antwoord wacht?

Onder het gerucht schuilt een praktische vraag die niet afhangt van het oplossen ervan. Claude Sonnet 5.5 factureert thinking als output, thinking telt mee voor max_tokens, en Extra is gedocumenteerd voor tokenbudgetten in de miljoenen. Een enkele reactie die een miljoen outputtokens verbruikt, kost alleen al aan de outputkant $10, tegen een tariefkaart die veel teams juist hadden gekozen omdat het de goedkope tier was.

• Eén trede hoger dan Extra: de gemeten pelikaanrun stuitte op de limiet van 128.000 tokens en kostte $1,28 zonder een tekening op te leveren. De kosten van een mislukte aanvraag op dit model zijn niet nul.

• Eén trede lager werd dezelfde taak in 41 seconden afgerond voor 5,74 cent. Het verschil tussen de twee is meer dan twintigvoudig, en het wordt bepaald door een dropdown.

• Een team dat dagelijks 1.000 Extra-aanvragen uitvoert met elk 30.000 outputtokens, verbruikt 30 miljoen outputtokens per dag, ofwel $300, nog voordat input überhaupt wordt meegeteld.

Dat is het deel waar een lezer vandaag op kan handelen, ongeacht wat Anthropic hierna uitbrengt. Als Extra een ander model is, is de meevaller echt maar niet planbaar. Als Extra is wat de naam zegt, dan betaalt een werklast die niet tegen high en medium is getest voor grondigheid die niemand heeft gemeten.

OrcaRouter routeert Claude Sonnet 5.5 tegen de eigen $2 en $10 van de leverancier, zonder extra opslag erbovenop, en effort is een parameter per verzoek in plaats van een afzonderlijk contract, dus een effort-sweep over de niveaus is een loop in een script. Dat is ook de eerlijke manier om je in te dekken tegen een bewering als deze: zet de modelidentificatie die je bedoelde vast, voer dezelfde prompt op elk niveau uit en vergelijk je eigen tokentellingen in plaats van een screenshot. Wanneer een routeringsvraag niet van buitenaf kan worden beslecht, is het op een na beste een opzet waarin het antwoord meetbaar is op je eigen verkeer — en waarin failover naar high of naar een ander model een configuratiewijziging is in plaats van een migratie.

Wat zou deze pagina veranderen

Een modelidentificatie, een tariefkaart, een systeemkaart of een zin van Anthropic waarin de opvolger wordt genoemd. Elk daarvan beslecht de kwestie in een middag, en geen ervan bestaat vandaag. Totdat een daarvan bestaat, is de eerlijke beschrijving van het ding achter het label de beschrijving die Anthropic publiceert: Claude Sonnet 5.5, een kennisafsluitdatum van juni 2026, vijf inspanningsniveaus, en een gedocumenteerde reden om te geloven dat een grotere pelikaan op een hogere instelling een grotere pelikaan op een hogere instelling is.

De framing van het bericht verraadt het al. Het vergelijkt Extra met een verwachting, niet met een meting — dezelfde trede op Sonnet 5, of dezelfde trede op max, of een gepubliceerde baseline uit de lanceerweek. Die vergelijkingen bestaan en zijn goedkoop. Tot iemand ze uitvoert, is "ziet eruit als routing" een beschrijving van een dropdown die zijn werk doet.