Kimi K3.1 Pro reduzierte seine eigene Cyber-Fähigkeit um 9,5 Punkte. Die anderen beiden Labore entschieden sich anders.

Moonshot tat am 24. Oktober etwas, das Labs normalerweise nicht tun: Es lieferte ein Modell aus, das schwächer war als das, das es hätte ausliefern können, und veröffentlichte die exakten Kosten. Auf xdev-bench-hard bei pass@3 erreicht ein Checkpoint, der ohne die Cyber-Risikominderungsmaßnahmen des Unternehmens trainiert wurde, 90,5 %. Kimi K3.1 Pro, das Modell, das man aufrufen kann, erreicht 81,0 %. Die Lücke von 9,5 Punkten ist der Preis dafür, cyberbezogene Daten aus dem Mid-Training und aus dem Reinforcement Learning zu entfernen, und sie ist die klarste Aussage, die eines der drei Frontier-Labs in diesem Jahr dazu gemacht hat, was es bereit ist, für Leistungsfähigkeit einzutauschen.

Jedes große Labor hat inzwischen eine Cyber-Richtlinie. Sie unterscheiden sich im Mechanismus, nicht in der Absicht, und der Mechanismus bestimmt, was man tatsächlich bekommt, wenn man die API aufruft. Moonshot entfernt die Fähigkeit aus den Gewichten. Anthropic leitet die Anfrage an ein anderes Modell um. OpenAI regelt den Zugang über eine Risikoeinstufung. Für ein Sicherheitsteam – oder jeden, dessen Workload an offensive Tooling stößt – erzeugen die drei Ansätze drei verschiedene Arten von Überraschung.

Was Moonshot entfernt hat – und was es behalten hat

Das Launch-Material ist ungewöhnlich konkret. Cyberbezogene Daten wurden sowohl aus dem Mid-Training als auch aus der Reinforcement-Learning-Phase entfernt, während allgemeine Programmieraufgaben beibehalten wurden. Das erklärte Prinzip des Unternehmens ist, keine offenen Gewichte zu veröffentlichen, die die absolute Grenze der Cyber-Fähigkeiten erweitern würden, und es beschreibt die offensive Fähigkeit des ausgelieferten Modells als „von vornherein unter dem, was unsere Pipeline produzieren kann“ und als hinter dem zurückliegend, was proprietäre Frontier-Modelle seit mindestens drei Monaten öffentlich anbieten.

Zwei Details in dieser Richtlinie wiegen schwerer als die Zahl in der Überschrift.

Das erste ist, dass die Reduktion relativ zu Moonshots eigener Pipeline erfolgt, nicht zum Markt. Ein Modell, das bei 81,0 % gedeckelt ist, erzielt immer noch einen deutlichen Vorsprung vor Kimi K3 mit 33,3 % und liegt im selben Benchmark über GLM-5.3 mit 57,1 %. Die Deckelung verschiebt ein Frontier-Modell nach unten, nicht aus der Kategorie hinaus.

Zweitens sagt Moonshot, dass es die in offenen Gewichten verfügbare Cyber-Fähigkeit „schrittweise anheben“ werde. Das ist ein Zeitplan, keine feste Grenze: Bewertungen, die von der heutigen Obergrenze ausgehen, gelten bei der nächsten Veröffentlichung möglicherweise nicht mehr, und eine selbst gehostete Kopie erbt die Obergrenze, die zum Zeitpunkt ihrer Veröffentlichung bestand.

Was der Benchmark tatsächlich verlangt

Moonshots Dokumentation beschreibt die Evaluierung ausreichend detailliert, um sie beurteilen zu können. xdev-bench-hard basiert auf kürzlich offengelegten Schwachstellen in Software wie dem Linux-Kernel, Node.js, JavaScriptCore, Exim und VirGL, mit aktivierten Gegenmaßnahmen. Jede Aufgabe stellt den verwundbaren Quellcode, einen kurzen Fehlerhinweis und die kompilierte Binärdatei bereit; der Agent muss einen Exploit entwickeln, beliebige Codeausführung in einer separaten Sandbox erreichen und eine geheime Zeichenfolge abrufen, damit das Ergebnis automatisch verifiziert werden kann. Die Bewertung erfolgt als pass@3 über eine zufällige Teilmenge, ohne harte Zeitlimits und ohne Begrenzungen für Ausgabe-Token.

Das ist ein anspruchsvoller, eng gefasster Test: Er misst, ob ein Modell eine bekanntermaßen verwundbare Binärdatei in einen funktionierenden Exploit verwandeln kann, nicht ob es einen Scanner schreiben oder einen Alarm triagieren kann. Die Lücke von 9,5 Punkten zwischen dem nicht entschärften Checkpoint und dem ausgelieferten Modell ist daher eine echte Messung eines echten Fähigkeitsunterschieds – und eine Erinnerung daran, dass die Zahl wenig über die defensive Arbeit aussagt, die die meisten Teams tatsächlich mit dem Modell leisten.

Anthropics Alternative: die Fähigkeit behalten, die Antwort ändern

Anthropics Ansatz für Claude Opus 5.5 ist Routing auf der Serving-Seite. Laut der Dokumentation können die meisten cyberbezogenen Aufgaben an Claude Opus 4.8 umgeleitet werden, und Arbeiten im Bereich Biologie und Frontier-Model-Entwicklung können auf Claude Opus 5 zurückfallen. Der Aufrufer erhält keinen Fehler; die Antwort stammt einfach von einem anderen Modell. Die leistungsfähigste Stufe, Claude Mythos 5.1, ist nur für Organisationen verfügbar, die durch Programme wie das Cyber Verification Program verifiziert wurden.

Der Kompromiss ist das Gegenteil von dem bei Moonshot. Die Frontier-Fähigkeit existiert und wird bereitgestellt – an verifizierte Kunden, unter einer anderen Modell-ID –, während nicht verifizierte Aufrufer stillschweigend die Antwort eines älteren Modells erhalten. Für ein Sicherheitsteam innerhalb einer verifizierten Organisation ist dies die leistungsfähigste der drei Optionen. Für alle außerhalb einer solchen ist es ein Modell, das genau bei den Aufgaben, bei denen sie sich am meisten die Frontier wünschten, stillschweigend mit etwas anderem antwortet.

OpenAIs Ansatz: Entscheiden, bevor du auslieferst

GPT-6 Astra war das erste OpenAI-Modell, das unter dem Preparedness Framework des Unternehmens als „kritisch“ eingestuft wurde, weil es eigenständig neuartige Sicherheitslücken finden kann. Die Einführung erfolgte schrittweise – zunächst Partner mit Frühzugang, dann Abonnementstufen, dann die API – und die risikoreichsten Fähigkeiten werden durch die Einstufung statt durch Prompt-Filterung eingeschränkt. Der Zugang wird auf Kontoebene entschieden, bevor eine Anfrage gestellt wird.

Das ist sauberer als eine stille Umleitung und langsamer als jede der beiden Alternativen. Außerdem bedeutet es, dass die Antwort auf die Frage „Kann ich dieses Modell für meine Sicherheitsarbeit verwenden?“ im Voraus bekannt ist, was für einen Käufer, der ein Beschaffungsdokument verfassen muss, etwas wert ist.

Was die drei Strategien bei einer Evaluation bewirken

Wenn man Modelle anhand von Sicherheitsaufgaben benchmarkt, verzerren die Mechanismen die Messung unterschiedlich, und die Verzerrungen heben sich nicht gegenseitig auf.

• Moonshots Obergrenze steckt in den Gewichten. Ein Benchmark-Lauf über die API und ein Benchmark-Lauf auf einer selbst gehosteten Kopie sollten übereinstimmen, und beide messen ein Modell, das in dieser Kategorie absichtlich schlechter abschneidet. Die Zahl ist ehrlich und reproduzierbar.

• Anthropics Routing ist Teil des Serving-Stacks. Dieselbe Anfrage kann unterschiedliche Qualität liefern, je nachdem, ob sie einen Schutzmechanismus auslöst, und die veröffentlichten Benchmark-Zahlen des Anbieters spiegeln möglicherweise nicht das Routing wider, das Ihr Konto erhält. Unsere eigene Berichterstattung über die Benchmark-Tabelle von Opus 5.5 hat dasselbe Problem aus der entgegengesetzten Richtung aufgezeigt: Der unabhängige Wert von Artificial Analysis für Terminal-Bench lag bei 59,6 % gegenüber 66,4 % von Anthropic, in einer Konfiguration, die serverseitiges Safeguard-Routing umfasst.

• OpenAIs Zugangsbeschränkung liegt außerhalb des Modells. Sobald Sie Zugriff haben, verhält sich das Modell wie im Benchmark gemessen; wenn nicht, können Sie den Vergleich gar nicht durchführen.

Was ein Sicherheitsteam daraus mitnehmen sollte

Drei praktische Schlussfolgerungen, geordnet nach Sicherheit.

Erstens ist „Cyber-Fähigkeit“ keine Eigenschaft mehr, die man von einer Modellkarte ablesen kann. Sie ist eine Funktion der Gewichte, die Sie erhalten, des Routings, das Ihr Konto auslöst, und des Verifizierungsprogramms, dem Sie angehören. Jede Evaluierung, die nicht alle drei angibt, misst etwas anderes.

Zweitens: Wenn Ihre Arbeit defensiv ist – Triage, Patch-Erstellung, Detection Engineering –, kostet die Obergrenze bei den Fähigkeiten weniger, als es klingt. Die 9,5 Punkte konzentrieren sich auf adversarielles, exploit-nahes Verhalten; die allgemeinen Programmier- und Tool-Use-Fähigkeiten des Modells, die defensive Arbeit überwiegend benötigt, waren das, worauf der Post-Training-Lauf abzielte. Moonshot meldet, dass Kimi Code Bench 3.0 Long-Horizon im selben Release von 55,95 % auf 61,2 % gestiegen ist.

{{1}}Drittens: Die Obergrenzen bewegen sich.{{/1}} {{2}}Moonshot hat angekündigt, seine Obergrenze anzuheben; Anthropics Verifizierungsprogramme werden ausgeweitet; bei OpenAI ändern sich die Einstufungen je nach Modell.{{/2}} Eine Richtlinie, die im Oktober eine Deployment-Entscheidung geleitet hat, kann im Januar falsch sein – ein Argument dafür, die Zugangsdokumentation bei jedem Modell-Upgrade erneut zu lesen, statt sie als einmalige Hürde zu behandeln.

Kimi K3.1 Pro ist über OrcaRouter für 2,00 US-Dollar pro Million Eingabe-Tokens und 10,00 US-Dollar pro Million Ausgabe-Tokens aufrufbar – mit demselben Endzustand wie überall sonst: Die Obergrenze steckt in den Gewichten, nicht darin, was ein bestimmter Anbieter mit Ihrer Anfrage tut. Wenn Ihre Workload davon abhängt zu wissen, welches Modell tatsächlich geantwortet hat, ist das ein Feature. Wenn sie von der offensiven Obergrenze der Frontier abhängt, wird Ihnen keine API auf dem Markt das ohne ein Verifizierungsprogramm bieten.