Kimi K3.1 Pro verlaagde zijn eigen cybercapaciteit met 9,5 punten. De andere twee labs kozen anders.

Op 24 oktober deed Moonshot iets wat labs meestal niet doen: het bracht een model uit dat zwakker was dan het model dat het had kunnen uitbrengen, en maakte de exacte kosten bekend. Op xdev-bench-hard bij pass@3 scoort een checkpoint dat is getraind zonder de maatregelen van het bedrijf om cyberrisico's te verminderen, 90,5%. Kimi K3.1 Pro, het model dat je kunt aanroepen, scoort 81,0%. De kloof van 9,5 punt is de prijs voor het verwijderen van cybergerelateerde data uit de mid-training en uit reinforcement learning, en het is de duidelijkste uitspraak die een van de drie frontierlabs dit jaar heeft gedaan over wat het bereid is op te geven voor capaciteit.

Elk groot lab heeft nu een cyberbeleid. Ze verschillen in mechanisme, niet in intentie, en het mechanisme bepaalt wat je daadwerkelijk krijgt wanneer je de API aanroept. Moonshot haalt de capaciteit uit de gewichten. Anthropic leidt het verzoek om naar een ander model. OpenAI zet toegang achter een risicobeoordeling. Voor een securityteam — of voor iedereen wiens workload raakt aan offensieve tooling — leveren de drie benaderingen drie verschillende soorten verrassingen op.

Wat Moonshot verwijderde, en wat het behield

Het lancemateriaal is ongewoon specifiek. Cybergerelateerde data werd verwijderd uit zowel de midtrainings- als de reinforcement-learningfase, terwijl algemene programmeertaken behouden bleven. Het door het bedrijf verkondigde principe is geen open gewichten uit te brengen die de absolute grens van cybercapaciteit zouden verleggen, en het beschrijft de offensieve capaciteit van het uitgeleverde model als "naar ontwerp onder wat onze pijplijn kan produceren" en achter wat toonaangevende propriëtaire modellen al minstens drie maanden publiekelijk bieden.

Twee details in dat beleid wegen zwaarder dan het getal in de kop.

De eerste is dat de verlaging relatief is ten opzichte van de eigen pipeline van Moonshot, niet ten opzichte van de markt. Een model dat op 81,0% wordt afgetopt, scoort nog steeds ruim boven de 33,3% van Kimi K3, en boven de 57,1% van GLM-5.3 op dezelfde benchmark. De aftopping verlaagt een frontiermodel, maar haalt het niet uit de categorie.

Het tweede is dat Moonshot zegt dat het de cybercapaciteit die beschikbaar is in open gewichten "geleidelijk zal verhogen". Dat is een schema, geen vaste grens: evaluaties die uitgaan van het huidige plafond zijn mogelijk niet geldig bij de volgende release, en een zelfgehoste kopie erft welk plafond er ook bestond op de datum van zijn release.

Waar de benchmark eigenlijk om vraagt

De documentatie van Moonshot beschrijft de evaluatie gedetailleerd genoeg om deze te beoordelen. xdev-bench-hard is gebouwd op basis van onlangs openbaar gemaakte kwetsbaarheden in software, waaronder de Linux-kernel, Node.js, JavaScriptCore, Exim en VirGL, met mitigaties ingeschakeld. Elke taak levert de kwetsbare broncode, een korte bugaanwijzing en de gecompileerde binary; de agent moet een exploit ontwikkelen, willekeurige code-uitvoering bereiken in een afzonderlijke sandbox en een geheime string ophalen, zodat het resultaat automatisch kan worden geverifieerd. De scoring is pass@3 over een willekeurige deelverzameling, zonder harde time-outs en zonder limieten op outputtokens.

Dat is een veeleisende, smalle test: hij meet of een model een binary met een bekende kwetsbaarheid kan omzetten in een werkende exploit, niet of het een scanner kan schrijven of een melding kan triageren. De kloof van 9,5 punt tussen het checkpoint zonder mitigaties en het uitgeleverde model is daarom een echte meting van een echt capaciteitsverschil — en een herinnering dat het getal weinig zegt over het defensieve werk dat de meeste teams daadwerkelijk met het model doen.

Het alternatief van Anthropic: behoud de capaciteit, verander het antwoord

De aanpak van Anthropic voor Claude Opus 5.5 is routering aan de serveerzijde. In de documentatie staat dat de meeste cybergerelateerde taken mogelijk worden omgeleid naar Claude Opus 4.8, en dat werk op het gebied van biologie en frontier-modelontwikkeling kan terugvallen op Claude Opus 5. De aanroeper krijgt geen foutmelding; het antwoord komt simpelweg van een ander model. De hoogste capaciteitslaag, Claude Mythos 5.1, is alleen beschikbaar voor organisaties die zijn geverifieerd via programma's zoals het Cyber Verification Program.

De afweging is het tegenovergestelde van die van Moonshot. De frontier-capaciteit bestaat en wordt geleverd — aan geverifieerde klanten, onder een andere model-id — terwijl niet-geverifieerde aanroepers stilzwijgend het antwoord van een ouder model krijgen. Voor een beveiligingsteam binnen een geverifieerde organisatie is dit de meest capabele optie van de drie. Voor iedereen buiten zo'n organisatie is het een model dat op precies de taken waarvoor ze het liefst de frontier hadden ingezet, stilletjes met iets anders antwoordt.

De aanpak van OpenAI: beslis voordat je lanceert

GPT-6 Astra was het eerste OpenAI-model dat onder het Preparedness Framework van het bedrijf als "kritiek" werd beoordeeld, omdat het zelfstandig nieuwe beveiligingsfouten kan vinden. De uitrol verliep gefaseerd — early-accesspartners, dan abonnementsniveaus, dan de API — en de capaciteiten met het hoogste risico worden beperkt op basis van de beoordeling in plaats van promptfiltering. Toegang wordt op accountniveau bepaald, voordat er een verzoek wordt gedaan.

Dat is schoner dan een stille omleiding en langzamer dan beide alternatieven. Het betekent ook dat het antwoord op "kan ik dit model gebruiken voor mijn beveiligingswerk" vooraf kenbaar is, wat iets waard is voor een inkoper die een inkoopdocument moet schrijven.

Wat de drie strategieën met een evaluatie doen

Als je modellen benchmarkt op beveiligingstaken, verstoren de mechanismen de meting op verschillende manieren, en de verstoringen heffen elkaar niet op.

• Moonshots limiet zit in de gewichten. Een benchmark op de API en een benchmark op een zelf gehoste kopie zouden hetzelfde resultaat moeten geven, en beide meten een model dat opzettelijk slechter presteert in de categorie. Het getal is eerlijk en reproduceerbaar.

• De routering van Anthropic bevindt zich in de serving-stack. Dezelfde aanvraag kan kwalitatief verschillende resultaten opleveren, afhankelijk van of er een beveiligingsmaatregel wordt geactiveerd, en de gepubliceerde benchmarkcijfers van de leverancier geven mogelijk niet de routering weer die jouw account ontvangt. Onze eigen berichtgeving over de benchmarktabel van Opus 5.5 signaleerde hetzelfde probleem vanuit de andere richting: het onafhankelijke cijfer van Artificial Analysis voor Terminal-Bench was 59,6% tegenover 66,4% van Anthropic, in een configuratie met routering van server-side beveiligingsmaatregelen.

• OpenAI's toegangscontrole ligt buiten het model. Zodra je toegang hebt, gedraagt het model zich zoals in de benchmark; als je die niet hebt, kun je de vergelijking helemaal niet uitvoeren.

Wat een securityteam hieruit moet meenemen

Drie praktische conclusies, in volgorde van zekerheid.

Ten eerste is "cyber capability" niet langer een eigenschap die je van een modelkaart kunt aflezen. Het is een functie van de gewichten die je ontvangt, de routing die je account activeert en het verificatieprogramma waartoe je behoort. Elke evaluatie die niet alle drie vermeldt, meet iets anders.

Ten tweede: als je werk defensief is — triage, patchontwikkeling, detection engineering — dan kost de capaciteitslimiet minder dan het klinkt. De 9,5 punten zijn geconcentreerd in adversarieel gedrag dat aan exploits grenst; de algemene codeervaardigheid en het toolgebruik van het model, wat defensief werk vooral nodig heeft, zijn juist wat de post-trainingrun heeft proberen te verbeteren. Moonshot meldt dat Kimi Code Bench 3.0 long-horizon in dezelfde release stijgt van 55,95% naar 61,2%.

Ten derde bewegen de limieten. Moonshot heeft gezegd dat het zijn plafond zal verhogen; de verificatieprogramma's van Anthropic worden uitgebreid; de ratings van OpenAI verschillen per model. Een beleid dat in oktober richting gaf aan een deploymentbeslissing, kan in januari verkeerd zijn, wat een argument is om de toegangsdocumentatie bij elke modelupgrade opnieuw te lezen in plaats van haar als een eenmalige poort te behandelen.

Kimi K3.1 Pro is aanroepbaar via OrcaRouter voor $2,00 per miljoen inputtokens en $10,00 per miljoen outputtokens, met dezelfde eindtoestand als overal elders: de beperking zit in de gewichten, niet in wat een specifieke provider met je verzoek doet. Als je workload afhangt van de wetenschap welk model daadwerkelijk heeft geantwoord, is dat een feature. Als die afhangt van het offensieve plafond van de frontier, zal geen enkele API op de markt je dat geven zonder een verificatieprogramma.