Abstrakt redaktionell illustration på en djupt marinblå bakgrund: en vidsträckt konstellation av små ljusblå agentnoder är arrangerad i lösa koncentriska band runt en stor, mörk central nod. Tunna, svaga bågar förbinder band av noder med centrum, och en enda smal ringformad öppning i en genomskinlig avgränsning sitter längst ner till höger. Fina prickiga rutnät och omärkta skalstreck fyller bakgrunden. Ingen text, inga bokstäver, inga siffror, inga människor, inga organisationsmärken och inga logotyper förekommer i konstverket; OrcaRouter-logotypen är inkomponerad i det nedre högra hörnet.
AI Safety Incidents

Anthropic: Claude "leder" 26 % av företagets AI-FoU med 30 000 agenter som körs parallellt

Författare

Elias Hawthorne

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Anthropic publicerade ett R&D Automation Index den 17 september 2026 – ett prototypmått på hur stor del av företagets egen AI-forskning och AI-utveckling som Claude utför – och rapporterade att modellen i augusti ”ledde” 26 % av det arbetet, upp från under 1 % i februari. Mer än 90 % av det uppmätta arbetet låg på nivån ”AI samarbetar” eller högre, och ungefär 30 000 agenter körde forsknings- och ingenjörsuppgifter samtidigt på Anthropics mest använda interna plattform. Inget intrång skedde och ingen tredje part skadades: detta är ett avslöjande om en kapacitetstrend inom ett enda laboratorium, och Anthropic uppger att Claude inte fungerar helt autonomt – dess högsta nivå, AL5 – för någon uppmätt delmängd av arbetet. Arkivets fullständiga redogörelse för avslöjandet, med dess bedömning och citerade källor, finns i AI-incidentarkivet tillsammans med de andra styrningsposterna i den här serien.

Vad indexet faktiskt räknar

Indexet lånar Epoch AI:s sexnivåskala. AL0 är "ingen AI-inblandning", AL1 "minimal AI-inblandning" och AL2 "AI assisterar". AL3 är den nivå som Anthropic kallar "samarbetar": modellen "kan utföra stora delar av arbetet under nära mänsklig styrning". AL4 är "leder": den "kan slutföra större delen av uppgiften från början till slut utifrån en övergripande prompt, medan människan övervakar". AL5 – "AI arbetar helt autonomt, utan människa i loopen" – är vad diskussionen om rekursiv självförbättring i slutändan handlar om, och Anthropics sida kallar det "en nivå som vi ännu inte har nått."

Mätningen togs fram i juli 2026. Anthropic tog varje vecka ett urval på 20 % av personalen i de relevanta avdelningarna, lät en Claude-forskningsagent granska deras arbetsregister och tog fram en lista på omkring 15 000 uppgifter, som företaget organiserade i ett fryst träd med 542 noder och 378 lövuppgifter. Kategorierna viktades efter hur mycket mänsklig persontid de tar i anspråk. InfoQ:s redogörelse för publikationen tillför en detalj som spelar roll för alla vars arbete ingick i urvalet: Claude-agenten läste Slack-meddelanden och interna dokument för att rekonstruera vad människorna gjorde.

Två förtydliganden följer av den metoden, och båda är lätta att tappa bort under rubriken. De 26 % är inte 26 % av varje uppgift som Anthropic registrerade; som heise rapporterade den 18 september är det andelen av den viktade arbetskorgen som Anthropic bedömer når AL4. Och det betyder inte att en fjärdedel av företagets FoU sker obemannat – InfoQ är tydliga med att siffran inte betyder att 26 % av Anthropics FoU är helt automatiserad, inte heller att 26 % av företagets forskare har ersatts; det betyder att ungefär en fjärdedel av arbetet nu befinner sig i det skede där en människa sätter målet och övervakar medan Claude gör det mesta.

Self-authored HTML card headed 'R&D automation index, as of August 2026' with the title '26% by August, from under 1% in February' and the subtitle 'Anthropic's person-time-weighted task basket, scored on Epoch AI's six-level automation scale.' A vertical ladder lists six levels: AL0 no AI involvement; AL1 minimal AI involvement; AL2 AI assists; AL3 collaborates, large chunks of work under close human direction; AL4 leads, most of a task end-to-end from a high-level prompt while a human supervises, marked at 26%; and AL5 fully autonomous, with no human in the loop, marked at 0%, described as a level not yet reached. Four stat tiles read: 26% at AL4, August 2026; under 1% at AL4, February 2026; above 90% at AL3 or higher; about 30,000 concurrent agents on the most-used internal platform. A blue-bordered quotation band carries the line that Claude is not operating fully autonomously for any measured subset of AI R&D work. A footnote states that the 26% is a share of the weighted basket rather than a raw task count, that it is not 26% of Anthropic's R&D running without people, and names Anthropic's index page, heise of 18 September 2026 and InfoQ of the same date as sources. The OrcaRouter logo sits in the bottom-right corner.

Jämförelsen med februari kommer från diagramtexten på Anthropics sida: "Claude now leads 26% of Anthropic's model R&D tasks, up from under 1% in February 2026." Inget på sidan ger en månad-för-månad-serie, så trenden såsom den redovisas är två punkter, inte en kurva.

Domaren är modellen som bedöms

Betygen togs inte fram av en oberoende panel. Anthropics redogörelse medger det centrala problemet: domarmodellen ”kan göra samma typer av fel som modellen den granskar”. Vid exakt överensstämmelse matchade modellen och en människa 59 % av gångerna; två människor matchade varandra 35 % av gångerna; och modellens och människans betyg låg inom en nivå från varandra 97 % av gångerna. Siffran 35 % för människa-till-människa är den som Anthropic använder för att hävda att bedömningsuppgiften är genuint svår; den läggs inte fram som en validering av domaren.

Self-authored HTML card headed 'Method and reliability' with the title 'Claude graded the work, and Claude is also the caveat' and the subtitle 'How Anthropic built the R&D Automation Index, and what its own agreement checks found.' A left column headed 'The method' lists six numbered steps: sample 20% of staff in the relevant departments each week in July 2026; have a Claude research agent review work records including Slack messages and internal documents; produce about 15,000 tasks; freeze them into a 542-node tree with 378 leaf tasks; weight categories by human person-time; rate each category from AL0 to AL5 with a Claude judge. A right column headed 'The check' shows three large figures: 59%, exact agreement between the Claude judge and a human rater; 35%, exact agreement between two human raters on the same task; 97%, model and human ratings within one level of each other. A quotation box carries Anthropic's line that the judge model could make the same kinds of errors as the model it is checking. Three amber chips below list the further stated limits: borderline cases between AL3 and AL4 remain disputed, a frozen basket can miss work that did not exist when it was fixed, and no external audit exists yet because the company plans to embed third-party evaluators. The OrcaRouter logo sits in the bottom-right corner.

Ytterligare två begränsningar anges på sidan snarare än upptäcks av kritiker. Gränsfall mellan "samarbetar" och "leder" är fortfarande omtvistade, vilket är precis där de 26 procenten finns. Och en fryst uppgiftskorg kan missa arbete som inte fanns när korgen frystes, även om Anthropic säger att en jämförelse i januari 2026 inte fann någon ökning av nya uppgifter.

Vid utomstående granskning beskriver sidan en plan snarare än en genomförd granskning. ”Vi planerar att integrera oberoende tredjepartsutvärderare från flera organisationer hos Anthropic”, står det på sidan – ett arrangemang i futurum, inte en aktuell granskning. Den enda genomförda externa kontrollen som den hänvisar till är att METR självständigt har utfört red-teaming av dess offline-övervakningsplattform. I heises rapport från 18 september är förbehållen Anthropics egna; den tyska publikationen citerar ingen utomstående expert som ifrågasätter indexet. Oberoende medier har återgett siffrorna, inte verifierat dem, och den distinktionen är det viktigaste att ta med sig från bevakningen.

Trettiotusen agenter, och liggaren som följer dem

Vid sidan av automationsindexet redovisade Anthropic omfattningen av den agentpopulation som ligger bakom det: "ungefär 30 000 agenter som utför forsknings- och ingenjörsarbete på Anthropic vid varje given tidpunkt" på dess mest använda interna plattform. Om man läser det bokstavligt är det ett mått på samtidighet snarare än ett antal unika agenter över en period, och heise återger det mer försiktigt som agenter "aktiva samtidigt vid vissa tillfällen i augusti".

De kontroller som Anthropic beskriver är utformade för att göra den populationen granskningsbar i stället för anonym. Varje agent har "en individuell identitet", och alla data den skapar är knutna till den identiteten; identiteten "är inte knuten till en modell, den består genom modelluppgraderingar", så att "varje åtgärd kan granskas per agent över tid" och "varje datapost kan kopplas tillbaka till en specifik agent". Agenter "kommunicerar via ett delat, öppet meddelandesystem i stället för privat"; varje meddelande är knutet till identiteten hos agenten som publicerade det, kan länka till annat innehåll så att ursprungliga referenser bevaras, och korsrefereras med agenttranskript så att övervakning kan "gå igenom kommunikationen mellan agenter".

Tillsynssiffrorna är den del som låter som en incidentlogg, även om loggen klassificerar denna upplysning som informationell. Varje åtgärd passerar onlineövervakaren före utförandet, vanligtvis inom några sekunder; varje åtgärd registreras offline efter att den har vidtagits; blockerade åtgärder granskas av en människa inom en vecka. Av mer än en miljard beslut i augusti blockerades 0,002 % – "ungefär 1 av 47 000". Offlineflaggning ligger på ungefär en till två transkript per tusen, cirka 100 000 transkript i veckan, och ungefär 50 högprioriterade fall eskaleras till människor.

En blockeringsfrekvens är inte en säkerhetsfrekvens. Den mäter hur ofta övervakaren stoppar en åtgärd, inte hur många åtgärder som var felaktiga, och Anthropic redovisar den bredvid täckningssiffran – 100 % av onlineåtgärder kontrolleras före utförande – som beskriver övervakarens räckvidd. Samma asymmetri gäller för allokeringen av beräkningskapacitet: för veckan 13–20 juli avsattes "cirka 6 % av beräkningskapaciteten som gick till AI-FoU till säkerhet", och den steg till "cirka 12 % av beräkningskapaciteten som gick till AI-driven AI-FoU". Anthropic kallar dessa "avsiktligt konservativa uppskattningar", hämtade från ett urval på cirka 14 % av nära 10 000 forsknings-, tränings- och utvärderingskörningar, viktat mot körningar med högre beräkningsbelastning, och noterar att en beräkningsandel mäter utgifter snarare än ansträngning.

Vad "rekursiv självförbättring" betyder här

Anthropic knyter indexet till rekursiv självförbättring, vilket den medföljande essän definierar som "en modell som helt autonomt bygger sin efterträdare". Essäns hållning är otvetydig: "Vi är inte där än, och rekursiv självförbättring är inte oundviklig." Den placerar en helt sluten loop i ett hypotetiskt stadium med beteckningen "Stänga loopen" och daterat "20XX?", där agenter bygger och tränar modeller och framtida Claude-system förbättrar Claude självt. I dag, säger den, står människor fortfarande för målet; det som har förändrats är att "de inte längre behöver stå för metoden".

Essän förklarar också varför indexet är avsett att läsas som ett avståndsmått snarare än en milstolpe. AL4-arbete – Claude som slutför större delen av en uppgift utifrån en övergripande prompt medan en människa övervakar – är den nivå som de 26 % syftar på. AL5, full autonomi utan människa i loopen, är den nivå som Anthropic säger sig inte ha nått. Gapet mellan de två är ämnet.

Vad som är fastställt, och vad som är härlett

Fastställt. Anthropic publicerade dessa mätningar den 17 september 2026, det datum som posten anger med dagsprecision. Den live-indexsidan visar inget synligt eget publiceringsdatum, och den medföljande essän bär en stämpel med "Update 9/18/2026". Siffrorna – 26 %, under 1 % i februari, över 90 % vid AL3 eller högre, cirka 30 000 agenter, 0,002 % av besluten blockerade, 6 % och 12 % av beräkningskapaciteten – är Anthropics egna, angivna på deras sidor och återgivna av heise och InfoQ inom ett dygn.

Fastställt. Ingen uppmätt delmängd av AI-foU-arbete nådde AL5, ingen skada på tredje part rapporteras, och postens fält för verklig skada är tomt. Posten har graderats till konfidens A för dokumentation, är inte flaggad som omtvistad och har allvarlighetsgraden "info", vilket återspeglar att ingen skada registrerades snarare än något om hur väl dokumentet är källbelagt.

Inte fastställt. Att Claude "leder" 26 % av Anthropics FoU i någon mening oberoende av Anthropics egen bedömning. Mätningen görs av företaget, domaren var en Claude-modell och de externa utvärderare som sidan beskriver är planerade snarare än på plats. Den exakta överensstämmelsen på 59 % mellan domare och människa är siffran att ställa bredvid rubriken.

Inte fastställt. Att trenden fortsätter, eller att den pekar mot rekursiv självförbättring. Anthropic avstår från att hävda något av detta, och en jämförelse mellan två punkter – februari och augusti – är inte en prognos. Inte heller visar blockeringsgraden att agentpopulationen är under kontroll; den visar att en övervakare såg varje onlineåtgärd och stoppade ungefär en av 47 000.

Bedömning, inte mätning. Att en ökning från under 1 % till 26 % på sex månader är en snabb takt. Ingenting i redogörelsen fastställer en tröskel vid vilken takten blir ett problem, och Anthropics inramning lämnar den bedömningen till de tredje parter som den säger att den ska integrera.

Self-authored HTML card headed 'Evidence check' with the title 'A company measuring itself, precisely' and the subtitle 'What the record supports, and what it leaves to Anthropic's own judgment.' A left panel headed 'Established' lists four points: published 17 September 2026, the date the record carries at day precision, with the live page showing no date of its own and the companion essay stamped 18 September; the figures 26%, under 1% in February, above 90% at AL3 or higher, about 30,000 agents, 0.002% of decisions blocked and 6% and 12% of compute are Anthropic's own and were reproduced by heise and InfoQ within a day; no measured subset reached AL5; no third-party harm reported, with the record's real-harm field empty and severity 'info'. A right panel headed 'Not established' lists four points: that Claude leads 26% in any sense independent of Anthropic's grading, since the measurement is company-run and the judge is a Claude model; that the trend continues or points to recursive self-improvement, which Anthropic explicitly declines to claim; that a 0.002% block rate means the agent population is under control; and any effect on staffing, research quality or safety outcomes, none of which the index measures. A blue-bordered band reads that confidence A grades how well the disclosure is documented and does not mean the measurement has been independently confirmed. A footer cites the Anthropic Institute pages, heise of 18 September 2026, InfoQ of 18 September 2026 and the archive record id. The OrcaRouter logo sits in the bottom-right corner.

Anthropic argumenterar för regelbunden publicering av jämförbara siffror och för oberoende verifiering, rapporterar heise – vilket också är det tydligaste uttalandet om vad indexet ännu inte är. Så länge externa utvärderare inte är delaktiga i processen är de 26 procenten ett laboratorium som mäter sig självt med sitt eget instrument: mer specifikt än ett pressmeddelande, och fortfarande inte en granskning.