Kimi K3.1 Pro minskade sin egen cyberkapacitet med 9,5 poäng. De två andra labben valde annorlunda

Moonshot gjorde något den 24 oktober som labb vanligtvis inte gör: det släppte en modell som var svagare än vad det hade kunnat släppa, och publicerade den exakta kostnaden. På xdev-bench-hard med pass@3 får en checkpoint som tränats utan företagets åtgärder för att minska cyberrisker 90,5 %. Kimi K3.1 Pro, modellen du kan anropa, får 81,0 %. Gapet på 9,5 procentenheter är priset för att ta bort cyberrelaterad data från mid-training och från reinforcement learning, och det är det tydligaste uttalandet något av de tre frontierlabbarna har gjort i år om vad man är villig att offra för förmåga.

Varje stort labb har nu en cyberpolicy. De skiljer sig åt i mekanism snarare än avsikt, och mekanismen avgör vad du faktiskt får när du anropar API:et. Moonshot subtraherar förmågan från vikterna. Anthropic omdirigerar begäran till en annan modell. OpenAI spärrar åtkomst bakom en riskklassning. För ett säkerhetsteam – eller någon vars arbetsbelastning tangerar offensiva verktyg – ger de tre angreppssätten tre olika sorters överraskningar.

Vad Moonshot tog bort, och vad det behöll

Lanseringsmaterialet är ovanligt specifikt. Cyberrelaterade data togs bort från både midtraningen och förstärkningsinlärningsfasen, medan allmänna koduppgifter behölls. Företagets uttalade princip är att inte släppa öppna vikter som skulle utvidga den absoluta gränsen för cyberförmåga, och det beskriver den levererade modellens offensiva förmåga som "enligt design under vad vår pipeline kan producera" och bakom vad ledande proprietära modeller offentligt har erbjudit i minst tre månader.

Två detaljer i den policyn är viktigare än siffran i rubriken.

Det första är att minskningen är relativ till Moonshots egen pipeline, inte till marknaden. En modell med ett tak på 81,0 % presterar fortfarande långt över Kimi K3:s 33,3 % och över GLM-5.3:s 57,1 % i samma benchmark. Taket flyttar en frontiermodell nedåt, inte ut ur kategorin.

Det andra är att Moonshot säger att man successivt kommer att "höja" den cyberkapacitet som finns tillgänglig i öppna vikter. Det är ett tidsschema, inte en fast gräns: utvärderingar som utgår från dagens tak kanske inte håller vid nästa version, och en självhostad kopia ärver det tak som rådde vid dess releasedatum.

Vad benchmarken faktiskt efterfrågar

Moonshots dokumentation beskriver utvärderingen i tillräcklig detalj för att man ska kunna bedöma den. xdev-bench-hard är uppbyggt av nyligen offentliggjorda sårbarheter i programvara som omfattar Linux-kärnan, Node.js, JavaScriptCore, Exim och VirGL, med motåtgärder aktiverade. Varje uppgift tillhandahåller den sårbara källkoden, en kort bugghint och den kompilerade binärfilen; agenten måste utveckla ett exploit, uppnå godtycklig kodkörning i en separat sandlåda och hämta en hemlig sträng så att resultatet kan verifieras automatiskt. Poängsättningen är pass@3 över en slumpmässig delmängd, utan hårda tidsgränser och utan gränser för utdatatoken.

Det är ett krävande, snävt test: det mäter huruvida en modell kan förvandla en känd sårbar binär till ett fungerande exploit, inte huruvida den kan skriva en skanner eller triagera en varning. Gapet på 9,5 punkter mellan den oåtgärdade checkpointen och den levererade modellen är därför ett verkligt mått på en verklig kapacitetsskillnad – och en påminnelse om att siffran säger lite om det försvarsarbete som de flesta team faktiskt utför med modellen.

Anthropics alternativ: behåll förmågan, ändra svaret

Anthropics tillvägagångssätt för Claude Opus 5.5 är serversidig routning. I dokumentationen står det att de flesta cyberrelaterade uppgifter kan omdirigeras till Claude Opus 4.8, och att arbete med biologi och utveckling av frontlinjemodeller kan falla tillbaka på Claude Opus 5. Anroparen får inget fel; svaret kommer helt enkelt från en annan modell. Den mest kapabla nivån, Claude Mythos 5.1, är endast tillgänglig för organisationer som verifierats genom program som Cyber Verification Program.

Avvägningen är den motsatta Moonshots. Frontier-förmågan finns och tillhandahålls – till verifierade kunder, under ett annat modell-id – medan overifierade anropare tyst får ett äldre modells svar. För ett säkerhetsteam inom en verifierad organisation är detta det mest kapabla alternativet av de tre. För alla utanför en sådan är det en modell som tyst svarar med något annat just på de uppgifter där de mest ville ha frontier.

OpenAIs strategi: bestäm innan du lanserar

GPT-6 Astra var den första OpenAI-modellen som klassades som "critical" enligt företagets Preparedness Framework, eftersom den självständigt kan hitta nya säkerhetsbrister. Utrullningen skedde i etapper – först partner med tidig åtkomst, sedan prenumerationsnivåer och därefter API:et – och de mest riskfyllda kapaciteterna begränsas genom klassning i stället för genom promptfiltrering. Åtkomst avgörs på kontonivå, innan någon förfrågan görs.

Det är renare än en tyst omdirigering och långsammare än båda alternativen. Det innebär också att svaret på "kan jag använda den här modellen i mitt säkerhetsarbete" går att veta i förväg, vilket är värt något för en köpare som måste skriva ett upphandlingsdokument.

Vad de tre strategierna gör med en utvärdering

Om du benchmarkar modeller på säkerhetsuppgifter förvränger mekanismerna mätningen på olika sätt, och förvrängningarna tar inte ut varandra.

• Moonshots gräns ligger inuti vikterna. En benchmarkkörning mot API:et och en benchmarkkörning på en självhostad kopia bör ge samma resultat, och båda mäter en modell som medvetet är sämre i kategorin. Siffran är ärlig och reproducerbar.

• Anthropics routning ligger i serveringsstacken. Samma förfrågan kan ge olika kvalitet beroende på om den utlöser en skyddsåtgärd, och leverantörens publicerade benchmarksiffror kanske inte återspeglar den routning ditt konto får. Vår egen bevakning av Opus 5.5:s benchmarktabell uppmärksammade samma problem från andra hållet: den oberoende Artificial Analysis-siffran för Terminal-Bench var 59,6 % mot Anthropics 66,4 %, i en konfiguration som inkluderar skyddsroutning på serversidan.

• OpenAI:s åtkomststyrning ligger utanför modellen. När du väl har åtkomst beter sig modellen som i benchmarken; har du inte det kan du inte göra jämförelsen alls.

Vad ett säkerhetsteam bör ta med sig av detta

Tre praktiska slutsatser, i ordning efter säkerhetsgrad.

För det första är "cyberkapacitet" inte längre en egenskap som du kan läsa av på ett modellkort. Det är en funktion av de vikter du tar emot, den routning som ditt konto utlöser och det verifieringsprogram du tillhör. Varje utvärdering som inte anger alla tre mäter något annat.

För det andra, om ditt arbete är defensivt – triage, utkast till patchar, detekteringsingenjörskap – kostar kapacitetstaket mindre än det låter. De 9,5 poängen är koncentrerade till adversariellt, exploateringsnära beteende; modellens allmänna kodning och verktygsanvändning, som är vad defensivt arbete mest behöver, är det som efterträningskörningen spenderades på att förbättra. Moonshot rapporterar att Kimi Code Bench 3.0 för lång horisont stiger från 55,95 % till 61,2 % under samma release.

För det tredje ändras taken. Moonshot har sagt att man kommer att höja sitt tak; Anthropics verifieringsprogram växer; OpenAIs betyg ändras mellan modeller. En policy som vägledde ett driftsättningsbeslut i oktober kan vara fel i januari, vilket är ett argument för att läsa om åtkomstdokumentationen vid varje modelluppgradering i stället för att behandla den som en engångskontroll.

Kimi K3.1 Pro kan anropas via OrcaRouter för 2,00 USD per miljon indatatoken och 10,00 USD per miljon utdatatoken, med samma sluttillstånd som överallt annars: taket ligger i vikterna, inte i vad en viss leverantör gör med din förfrågan. Om din arbetsbelastning är beroende av att veta vilken modell som faktiskt svarade, är det en funktion. Om den beror på frontlinjens offensiva tak kommer inget API på marknaden att ge dig det utan ett verifieringsprogram.