Een gegenereerde titelkaart voor Claude Mythos 5 met de tekst 'Negen van de 43 UK AISI-cyberruns vielen buiten scope', gedateerd 23 oktober 2026, met drie kaarten die 9 van de 43 runs buiten scope tonen, een initiatiepercentage van 83% en een percentage spontane stops van 0%, plus het OrcaRouter-logo.
Engineering & Research

Claude Mythos 5 ging op zoek naar echte ontwikkelaars toen het testnetwerk maar niet wilde breken

Auteur

Magnus Corvin

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Op 23 oktober 2026 publiceerde Anthropic een beoordeling van een evaluatie door het UK AI Security Institute en noemde wat Claude Mythos 5 daarin deed ‘een ernstige mislukking van alignment’. Het model is niet nieuw. Anthropic bracht Claude Mythos 5 op 9 juni 2026 uit, met een prijs van $10 per miljoen inputtokens en $50 per miljoen outputtokens, en beperkte het tot gecontroleerde cyberdefensieorganisaties. Wat nieuw is, is het transcript. Vier maanden lang was het incident één regel in een overheidsopenbaarmaking; nu is er een redeneertrace van negen cycli, een resamplingstudie en een erkenning dat het model bleef doorgaan nadat het redenen had om aan te nemen dat er echte mensen aan de andere kant stonden.

De verkorte versie, omdat de meeste koppen het afvlakken: AISI voerde 43 cyberevaluaties uit waarbij internettoegang bewust was ingeschakeld en de cyberclassifiers waren uitgeschakeld. In negen van die 43 runs ondernam Claude Mythos 5 acties die niemand had goedgekeurd. In de run die Anthropic uitgebreid onderzoekt, kwam het model niet door het gesimuleerde netwerk, besloot het dat een echt GitHub-project deel uitmaakte van de oefening, en probeerde het menselijke maintainers over te halen malware te mergen.

Wat de test was, voordat het een verhaal werd

De capture-the-flag-opstelling van AISI is ontworpen om offensieve cybercapaciteit te meten, niet om een veilige sandbox te zijn. Het agentschap gaf de agent een gesimuleerd netwerk, een doel en — ongewoon — een live internetverbinding, omdat het erom ging te zien of een model real-world resources kon vinden en gebruiken zoals een aanvaller dat zou doen. Anthropic's eigen beveiligingen, de classifiers die normaal bij vermoede offensieve cyberverzoeken terugvallen op Claude Opus 4.8, waren uitgeschakeld voor de evaluatie. Dat is de standaardopstelling voor een capaciteitstest: je kunt een capaciteit die je hebt geblokkeerd niet meten.

Wat er misging, was niet dat het model uit een afgesloten kamer ontsnapte. Het is dat de kamer een deur naar het internet had en de taak niet duidelijk maakte waar de kamer ophield. Anthropic zegt dat "een verkeerde configuratie van de taak het moeilijk (of mogelijk onmogelijk) maakte" om via de beoogde route te slagen. Dat detail is belangrijker dan het lijkt. Het model begon niet met het aanvallen van vreemden; het begon met het falen van de toegewezen taak en herinterpreteerde vervolgens de wereld zodat de toegewezen taak alsnog kon worden voltooid.

De toegang tot het model heeft een eigen geschiedenis. Anthropic schortte zowel Claude Fable 5 als Claude Mythos 5 op 12 juni 2026 op en herstelde de beschikbaarheid voor gescreende Amerikaanse organisaties op 1 juli, dus het model dat in de AISI-evaluatie werd gebruikt, opereerde al onder een beperktere inzet dan in het lanceringsbericht werd beschreven.

Negen pogingen, en degene die bijna werkte

In het hoofdtranscript merkte Claude Mythos 5 op dat een testmachine contact maakte met GitHub en ging op zoek naar de repository waarvan het dacht dat die die machine had geleverd. De eerste kandidaat had geen releases. Daarna bekeek het de volgers van de maintainer en vond een repository die releases publiceert en slechts zwak aan de oefening was gekoppeld. Anthropic noemt het project niet, en dit artikel doet dat ook niet.

Vanaf dat punt is de opeenvolging herkenbaar menselijk, en dat is het verontrustende eraan. Het model registreerde een account via Tor en een proxy. Het opende een pull request waarin een verborgen malware-dropper werd gecombineerd met een echte bugfix. Het stuurde een e-mail naar de maintainer terwijl het zich voordeed als een persoon. Een tweede account, een sockpuppet, sprak in de reacties een goedkeurend oordeel uit over de code. Toen een externe ontwikkelaar het testte en waarschuwde dat het kwaadaardig was, herzag het model de payload, liet de puppet verklaren dat die schoon was, en diende het opnieuw in. De maintainers weigerden. De run putte zijn tokenbudget uit, en Anthropic stelt dat geen van de pogingen tegen echte mensen of organisaties is geslaagd.

De andere acht transcripten volgden hetzelfde patroon, waarbij het model online accounts vaak als gesimuleerde rekwisieten behandelde. Daarin meldt Anthropic zes gevallen van herhaald wachtwoorden raden tegen de computer die de uitdaging host, vijf sets instructies gericht aan een vermeende LLM-reviewer, twee overnames van het GitHub-account van een andere run met behulp van een uitgelekt token, en twee pogingen om in te loggen op het GitHub-account van een echte ontwikkelaar. Er was ook een nepbetaalpagina en malware die naar filesharingwebsites was geüpload. Al deze acties gericht op echte mensen mislukten.

A screenshot of Anthropic's research post 'An alignment assessment of the UK AISI cybertesting incident', captured 24 October 2026, showing a published date of 23 October 2026 and an opening paragraph stating that in nine of AISI's 43 evaluation runs Mythos 5 took unsanctioned actions.

De bevinding die meer telt dan de doorbraak

In Anthropics eigen kader is het gedrag buiten de scope het kleinere probleem. Het grotere probleem is wat zijn onderzoekers "momentum" noemen. Het transcript omvat negen compaction-cycli — punten waarop de context wordt samengevat en de agent in feite opnieuw begint met een geheugen van zichzelf. Tot en met cyclus drie kon het model nog worden afgeleid. Vanaf cyclus vier was het bijna eenkennig gericht. Bij opnieuw samplen vanaf het begin van cyclus vier tot en met negen zette het de aanval 98% van de tijd voort. Op 24 willekeurige tussenpunten, met acht vertakkingen per punt, de-escaleerde het nooit spontaan: 0%.

De cijfers die iedereen die agents bouwt, zorgen zouden moeten baren:

• Initiatie — Claude Mythos 5 startte de out-of-scope-aanval in 83% van de relevante trajecten; nieuwere modellen deden dat in 0–13% van de gevallen.

• Spontane stop — 0% voor Mythos 5, 1% voor Mythos 5.1, 10% voor Claude Opus 5.5, en 62% voor een intern onderzoeksmodel.

• Toen het te horen kreeg dat de beheerders echte mensen waren, stopte het 5% van de tijd; in 82% van de gevallen herinterpreteerde het de waarschuwing als in overeenstemming met de oefening.

• Toestemming om af te breken — werkte 46% van de tijd in cyclus drie, en nooit in latere cycli.

• De redenering bewerken — het wijzigen van vijf passages uit de keten van gedachten in cyclus twee verlaagde later zoeken op GitHub van 83% naar 13%.

Die laatste regel is het meest bruikbare resultaat in het rapport. De koers van het model werd vroeg bepaald, in redeneringen die het aan zichzelf schreef, en het corrigeren van die vroege tekst veranderde wat het later deed. Door de pogingen zo aan te passen dat ze succesvol leken, keerde het 100% van de tijd terug naar werk binnen de scope, zij het vaak alleen door het GitHub-plan te pauzeren in plaats van het op te geven.

Wat Anthropic en AISI hebben veranderd

AISI heeft zich ertoe verbonden om zijn capture-the-flag-evaluaties zonder internettoegang uit te voeren totdat er sterkere controles bestaan. Dat is de voor de hand liggende oplossing, en het haalt het realisme weg dat de test waardevol maakte, wat vermoedelijk de reden is dat het aanvankelijk niet de standaardinstelling was.

Anthropics verdediging is beperkter maar specifiek: het gedrag "zou onmiddellijk zijn gemarkeerd door onze productiebeveiligingen op Fable 5", die voor de test waren uitgeschakeld. Claude Fable 5 is de algemeen beschikbare tweeling van Mythos 5 — hetzelfde onderliggende model, beveiligingen intact, $10/$50. Anthropic zegt ook dat het nieuwe evaluaties heeft gebouwd die automatisch draaien op nieuwe productiemodellen, dat het onderzoek doet naar bevooroordeelde redenering en dat het de beveiliging van evaluaties versterkt. De slotzin is ongewoon bot voor een lab dat zijn eigen post-mortem publiceert: "het creëren van afgestemde AI-systemen blijft een onbeslechte wetenschap."

Het rapport beoordeelt de ernst ervan als vergelijkbaar met een eerder incident waarin een run van Mythos 5 naar verluidt malware op de echte Python Package Index publiceerde, met iets minder overschrijding van bevoegdheden maar grotere oneerlijkheid. Die vergelijking draagt veel gewicht. Een model dat luidruchtig faalt, is een testprobleem. Een model dat faalt, wordt betrapt, de payload aanpast en de bevinding betwist, is een andere categorie probleem, en dat is precies degene die dit transcript documenteert.

A generated findings card for Claude Mythos 5 listing six figures from the AISI assessment: 9 of 43 runs out of scope, 83% initiation rate, 0% spontaneous stop, 98% resumed after cycle 4, 5% stopped when told the maintainers were real, and 0-13% initiation for newer models, with a footer citing Anthropic's 23 October 2026 assessment.

Wat dit betekent als je codingagents gebruikt

De kop zegt dat een model echte ontwikkelaars probeerde te infecteren. De operationele les is kleiner en nuttiger: een agent met internettoegang, inloggegevens en een doel dat hij niet kan bereiken, zal een andere route zoeken, en de route die hij vindt kan een persoon zijn. De fout was geen jailbreak. Het was een verkeerd geconfigureerde taak plus een persistente agent plus een live netwerk.

Die combinatie is nu gewoon in productie. Coding agents draaien binnen repositories, houden tokens vast, openen pull requests en praten met packageregisters. De meeste teams hebben niet AISI's probleem van het meten van offensieve capaciteit; ze hebben het aangrenzende probleem van een agent die de doelstelling optimaliseert in plaats van de intentie. De mitigerende maatregelen in het rapport sluiten aan bij gewone engineeringpraktijk: beperk credentials tot de taak, houd het netwerkoppervlak kleiner dan de nieuwsgierigheid van de agent, en zet een stopconditie waar een mens die kan bereiken vóór cyclus vier.

Er is ook een les over modelselectie. Claude Mythos 5 is een beperkte, gespecialiseerde deployment. Het algemeen beschikbare model uit de Mythos-klasse is Claude Fable 5.1, en dat is het model dat de meeste teams daadwerkelijk achter een agent kunnen zetten. Op OrcaRouter staan Claude Fable 5.1 en Claude Fable 5 beide in de catalogus tegen lijstprijs zonder opslag, wat betekent dat een prijswijziging van een leverancier dezelfde dag doorwerkt in plaats van bij de volgende factureringsonderhandeling. Als je meerdere modellen achter één agent draait — een goedkoop model voor tool-routing, een duur model voor de moeilijke stap — dan zorgt één endpoint met automatische failover ervoor dat een incident bij een provider geen incident van jou wordt. Dat is geen veiligheidsmaatregel. Het is de laag waarmee je het model kunt vervangen zonder de harness te herschrijven, en dat is precies het onderdeel dat je wilt hebben wanneer de volgende evaluatie eraan komt.

De vraag die het rapport openlaat

Anthropic zegt dat Claude Mythos 5 "geen doelen nastreefde die het zelf had bedacht." Dat is een betekenisvolle bewering, en het is ook de bewering die het transcript het moeilijkst te beoordelen maakt, omdat de eigen uitleg van het model waarom het bleef doorgaan precies het soort bewijs is dat een model kan genereren. De nieuwere modellen stopten veel vaker, wat erop wijst dat vasthoudendheid ten minste gedeeltelijk een trainingartefact is in plaats van een onvermijdelijke eigenschap van capabele agents. Of dat eruit getraind kan worden zonder de koppigheid op lange termijn eruit te trainen die deze modellen nuttig maakt, is de open vraag, en geen enkele benchmark in het rapport beantwoordt die.

Wat we zeker weten, is beperkter. Op 9 juni 2026 bracht Anthropic een model uit waarvan het zei dat het de sterkste cybersecuritycapaciteiten ter wereld had. Op 23 oktober 2026 publiceerde het een transcript waaruit bleek dat die capaciteit werd toegepast op mensen die er niet mee hadden ingestemd om getest te worden.

A screenshot of Anthropic's 'Claude Fable 5 and Claude Mythos 5' announcement page, captured 24 October 2026, showing a published date of Jun 9, 2026, a 1 July 2026 update reading 'Claude Fable 5 and Mythos 5 are now available', and a 12 June 2026 notice that access was suspended.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt