Titelkaart voor 'Wat is een cybermodel?' met drie kolommen met de labels FRONTIER-GENERALIST, CYBER-GETUNEDE VERDEDIGER en CYBER-GETUNED OFFENSIEF, met van elk een beschrijving van één regel.
Guides & Insights

Wat is een cybermodel? De categorie, en wat het daadwerkelijk verandert

Auteur

Rowan Sterling

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Elke week worden er drie producten een "cybermodel" genoemd, en ze hebben bijna niets met elkaar gemeen. Eén is een generalist met securitycorpora in de trainingsmix. Eén is een gewoon model, gewikkeld in een lus die het een sandbox, een fuzzer en retries geeft. Eén is hetzelfde model als dat van alle anderen, achter een verificatieformulier. Alleen de eerste daarvan is een ander model. De andere twee zijn productbeslissingen — in sommige gevallen goede — en ze worden met dezelfde term op de markt gebracht, en daarom laat de categorie zich moeilijk vergelijken. Een benchmarktabel die niet vermeldt welke van de drie hij heeft gemeten, valt niet te vergelijken met een tabel die dat wel doet, en de meeste tabellen vermelden het niet. Dit is een gids over het onderscheid, over het kleine aantal modellen dat werkelijk in de eerste categorie thuishoort, en over wat een securityteam met het antwoord zou moeten doen. Het is ook de categorievisie die schuilgaat achter de 400 agentincidenten die zijn gecatalogiseerd in het AI-incidentenarchief, waar steeds weer de vraag opduikt: "was het model het probleem of de deployment?"

De drie dingen die de uitdrukking omvat

Begin met het verschil dat operationeel uitmaakt: wat er veranderde toen de leverancier het bouwde.

Card 'Three things people mean by cyber model' contrasting trained for security (the weights changed), wrapped in a harness (the loop changed) and gated by access (the door changed), with what each one changes and who owns the resulting score.

Getraind voor security betekent dat de gewichten zijn veranderd. Securitycorpora zijn in de trainingsmix opgenomen, de basis is vaak een generalist die al sterk was, en het resulterende model is meetbaar anders bij taken waar securitykennis de bottleneck is — een crash lezen, redeneren over geheugenlayout, een kwetsbaar patroon herkennen in een grote diff. Modellen in deze groep worden meestal gerapporteerd tegen securityspecifieke benchmarks zoals CyberGym of CyberSecEval, en ze kunnen open-weight of alleen via API beschikbaar zijn.

In een harnas verpakt betekent dat de lus veranderde en het model niet. De leverancier voegde een sandbox, tools, retry-logica, een planner, misschien een fuzzer toe, en bouwde een systeem dat goed presteert bij beveiligingstaken omdat het systeem goed is ontworpen. Dit is een legitiem en vaak ondergewaardeerd product. Het is ook de categorie waarin een score dubbelzinnig wordt, omdat het getal net zozeer bij het harnas als bij het model hoort — en het harnas is niet iets dat je onafhankelijk kunt vervangen.

Beperkt door toegang betekent dat de deur is veranderd. Het model kan identiek zijn aan een publiek model; wat anders is, is dat u een geverifieerd bedrijf moet zijn, geautoriseerd werk doet, onder voorwaarden die het gebruik beperken. Dit is een beleidsproduct, en een verdedigbaar product, maar er volgt geen capaciteitsclaim uit. Een model dat gevaarlijk is in de verkeerde handen en veilig in de juiste handen is niet capabeler geworden; het is sterker gecontroleerd geworden.

De praktische consequentie: wanneer je leest dat een of ander model "een cybermodel" is, is de volgende vraag welke van de drie, want het antwoord bepaalt of je capaciteit, engineering of toestemming koopt — en die hebben verschillende prijzen en verschillende faalmodi.

Waarom de categorie überhaupt bestaat

Beveiligingswerk is ongewoon gevoelig voor twee eigenschappen die algemene modellen inconsistent vertonen: redeneren over lange context bij code die niet is geschreven om gelezen te worden, en de bereidheid om een aanval gedetailleerd genoeg te beschrijven om nuttig te zijn. Het eerste is een capaciteitsvraagstuk en is de reden waarom modellen in deze groep doorgaans contextvensters van honderdduizenden of miljoenen tokens adverteren. Het tweede is een veiligheidsvraagstuk, en het is de reden dat de categorie verweven is met toegangsbeheer.

Een model dat goed redeneert over een codebase maar weigert een werkend proof-of-concept te schrijven, is nutteloos voor triage, want het proof-of-concept is het bewijs. Een model dat vrijuit proof-of-concepts schrijft, is nuttig voor een verdediger en even nuttig voor iemand die dat niet is. Cyber-getunede modellen zijn in feite een poging om die spanning op te lossen door te beperken wie mag vragen in plaats van te beperken wat mag worden beantwoord — wat een samenhangend ontwerp is en een moeilijk te handhaven ontwerp op modelniveau, aangezien de handhaving een verificatieproces is en geen gewichtswijziging.

Waar de capaciteit daadwerkelijk wordt beargumenteerd

De beweerde voordelen van cybergetunede modellen zijn specifiek en controleerbaar, wat verfrissend is in een vakgebied dat meestal in bijvoeglijke naamwoorden redeneert. De terugkerende voordelen zijn het in één keer inlezen van een volledige repository of audit trail met een lange context, gestructureerde output voor gebruik in pipelines, en tool- of function calling die stabiel genoeg is om binnen een geautomatiseerde workflow te functioneren. Dat zijn evenzeer engineeringclaims als modelclaims, en ze zijn in een middag tegen je eigen corpus te testen.

De evaluatiekant heeft eigen instituties ontwikkeld. Wiz Research runt een Cyber Model Arena die AI-agenten evalueert die bestaan uit een foundationmodel plus een standaardharness, op realistische cybersecuritytaken, en rapporteert modelkwaliteit tegenover efficiëntie — succespercentage uitgezet tegen kosten, tijd of stappen per oplossing over k onafhankelijke pogingen. Dat kader is het overnemen waard in zijn geheel, omdat het vastlegt wat een ruw slaagpercentage verbergt: twee agenten kunnen hetzelfde succespercentage bereiken tegen heel verschillende kosten per oplossing, en de dure is vaak degene die zijn budget aan herhaalpogingen heeft besteed.

Screenshot of Wiz Research's Cyber Model Arena headed 'We evaluate AI agents with foundation models and standard harnesses on multiple real-world cybersecurity tasks', showing a 'Model Quality vs. Efficiency' section described as success rate against cost, time or steps per solve over k independent attempts.

Let op wat die constructie impliceert. Het is een benchmark van agents, niet van modellen — foundationmodel plus harness — wat precies de ambiguïteit is die de categorie heeft. De arena is er eerlijk over door de harness in de definitie te benoemen. De meeste launchposts zijn dat niet.

De toegangspoort, en waarom die de echte grens van de categorie is

Als je kijkt naar hoe cyber-getunede modellen daadwerkelijk worden geleverd, is de verificatiepoort bepalender dan welk benchmarkcijfer dan ook, omdat die bepaalt wie de evaluatie überhaupt kan uitvoeren. Het patroon is consistent: een stap voor bedrijfsverificatie, voorwaarden die het gebruik beperken tot geautoriseerd beveiligingswerk, en een acceptabel-gebruiksbeleid waartegen de toegang wordt gelogd.

Screenshot of the OrcaRouter cyber page headed 'Cyber models for your red team. Gateway controls for your blue team.', stating that OrcaCyber Zero and the rest of the cyber tier are open to business-verified security teams doing authorized work, with the agent firewall, guardrails, code review gate and compliance packs running in the same gateway.

Twee ontwerpdetails in dat patroon zijn het stelen waard, zelfs als je nooit een cybermodel koopt. Het eerste is bedrijfsverificatie in plaats van zelfattestatie, want een selectievakje is geen verantwoordingsmechanisme. Het tweede is het samenplaatsen van de poort met de runtime-controls — dezelfde gateway die het model bevat, bevat ook de firewall, de guardrails en de logging, zodat de toestemming en de handhaving op één plek zitten. Een verificatiepoort die op een ander systeem leeft dan het verkeer, is een poort die je niet kunt auditen.

Onze eigen cyberlaag volgt dat patroon: modellen voor offensief werk, gateway-controles voor defensief werk en verificatie vóór beide. Het is ook het eerlijke antwoord op de vraag "kan ik dit model gewoon aanroepen" — voor de offensieve laag is het antwoord dat toegang een beslissing is die iemand over jou neemt, niet een veld in een API-verzoek.

Welke cybermodellen bestaan er, en hoe kun je ze van elkaar onderscheiden?

De populatie is klein genoeg om in je hoofd te houden, en valt uiteen in de drie bovenstaande categorieën in plaats van per leverancier.

• Daadwerkelijk cyber-getunede modellen. Getraind met security-zware data, meestal gerapporteerd op CyberGym of CyberSecEval, met een meetbaar verschil in taken voor het lezen van crashes en het schrijven van patches. Sommige zijn open-weight, waardoor lokale evaluatie mogelijk is; sommige zijn alleen via API beschikbaar en nog onder verificatie.

• Generalisten met sterk beveiligingsgedrag. Frontiermodellen die toevallig goed zijn in het werk zonder ervoor te zijn afgestemd. Vaak de juiste keuze voor verdedigers, omdat hetzelfde model ook de rest van het werk doet.

• Agentproducten. Een model plus een beveiligingsspecifieke loop — sandbox, fuzzer, planner — verkocht als een systeem. Beoordeel deze op kosten per oplossing en op wat de loop doet wanneer die faalt, niet op een modelbenchmark.

• Gated versies van het bovenstaande. Dezelfde modellen, beperkte toegang. De toegangsbeperking verandert wie ze mag gebruiken, niet wat ze kunnen.

De vergelijking die er voor een securityteam echt toe doet, is zelden model tegen model. Het gaat erom of het werk dat je gedaan wilt krijgen kennisgebonden of lusgebonden is. Een auditrapport lezen en redeneren over een exploitketen is kennisgebonden en is in het voordeel van een getuned model. Zes uur lang een fuzzer draaien en de crashes triageren is lusgebonden en is in het voordeel van goede engineering. De meeste echte programma's hebben beide nodig, en daarom is de nuttige inkoopvraag "voor welke van deze twee taken koop ik in" in plaats van "welk model scoort hoger".

Wat je moet vragen voordat je er een adopteert

Vijf vragen onderscheiden een categoriebeslissing van een marketingbeslissing.

• Wat is er veranderd — gewichten, lus of toegang? De leverancier zou dat in één zin moeten kunnen beantwoorden. Als het antwoord "de lus" is, beoordeel het product dan als een product.

• Welke benchmark, door wie uitgevoerd, in welke harness? Een CyberGym-getal zonder de harness is een getal over een configuratie die je niet kunt reproduceren.

• Wat zijn de kosten per oplossing, niet het slagingspercentage? De framing van Wiz is de juiste; twee agents met hetzelfde slagingspercentage zijn niet dezelfde aankoop.

• Wat doet de gate als ik er niet door kom? Elke deployment die afhankelijk is van geverifieerde toegang zou je moeten vertellen wat er gebeurt bij een valse negatieve uitslag, want je eigen engineers zullen de valse negatieven zijn.

• Wat kan het niet? De varianten die uitsluitend voor verdediging zijn bedoeld, documenteren hun eigen beperkingen, en die documentatie is een functie — een model dat niet voor aanvallen kan worden ingezet, is een ander risico-object dan een dat dat wel kan.

De categorie is echt, de verschillen in mogelijkheden zijn echt, en het grootste deel van de verwarring komt doordat drie verschillende producten dezelfde naam delen. Zodra je de gewichten, de lus en de deur van elkaar onderscheidt, zijn de vergelijkingstabellen niet langer tegenstrijdig en gaan ze over verschillende dingen — en dat is de enige voorwaarde waaronder een securityteam er een beslissing mee kan nemen.