Kimi K3.1 Pro obniżył własne zdolności cybernetyczne o 9,5 punktu. Dwa pozostałe laboratoria wybrały inaczej

24 października Moonshot zrobił coś, czego laboratoria zwykle nie robią: udostępnił model słabszy niż ten, który mógł udostępnić, i opublikował dokładny koszt. Na xdev-bench-hard przy pass@3 checkpoint wytrenowany bez stosowanych przez firmę środków ograniczających ryzyko cybernetyczne osiąga 90,5%. Kimi K3.1 Pro, model, który można wywołać, osiąga 81,0%. Różnica 9,5 punktu to cena usunięcia danych związanych z cyberbezpieczeństwem z treningu pośredniego i z uczenia ze wzmocnieniem, a zarazem najwyraźniejsze oświadczenie, jakie którekolwiek z trzech czołowych laboratoriów złożyło w tym roku na temat tego, z czego jest gotowe zrezygnować w zamian za zdolności.

Każde duże laboratorium ma dziś politykę cyberbezpieczeństwa. Różnią się one mechanizmem, a nie intencją, a mechanizm decyduje o tym, co faktycznie otrzymujesz, wywołując API. Moonshot odejmuje tę zdolność od wag. Anthropic przekierowuje żądanie do innego modelu. OpenAI uzależnia dostęp od oceny ryzyka. Dla zespołu ds. bezpieczeństwa — lub kogokolwiek, czyje zadania stykają się z narzędziami ofensywnymi — te trzy podejścia dają trzy różne rodzaje niespodzianek.

Co Moonshot usunął, a co zachował

Materiały premierowe są niezwykle szczegółowe. Dane związane z cyberbezpieczeństwem usunięto zarówno z etapu mid-training, jak i z etapu uczenia ze wzmocnieniem, natomiast zachowano ogólne zadania programistyczne. Deklarowana zasada firmy polega na tym, aby nie udostępniać otwartych wag, które rozszerzałyby absolutną granicę zdolności cybernetycznych, a zdolność ofensywną dostarczonego modelu opisuje jako „z założenia poniżej tego, co może wytworzyć nasz pipeline” i pozostającą w tyle za tym, co czołowe modele własnościowe oferowały publicznie przez co najmniej trzy miesiące.

Dwa szczegóły w tej polityce mają większe znaczenie niż liczba z nagłówka.

Po pierwsze, redukcja jest względna wobec własnego pipeline'u Moonshot, a nie wobec rynku. Model ograniczony do 81,0% nadal uzyskuje wynik znacznie powyżej 33,3% Kimi K3, a także powyżej 57,1% GLM-5.3 w tym samym benchmarku. Limit przesuwa model z czołówki w dół, ale nie usuwa go z kategorii.

Po drugie, Moonshot twierdzi, że będzie „stopniowo podnosić” zdolności cybernetyczne dostępne w otwartych wagach. To harmonogram, a nie stała granica: oceny zakładające dzisiejszy pułap mogą nie być aktualne przy następnym wydaniu, a kopia hostowana samodzielnie dziedziczy pułap, jaki istniał w dniu jej wydania.

Czego właściwie wymaga benchmark

Dokumentacja Moonshot opisuje ocenę w wystarczających szczegółach, by można było ją ocenić. xdev-bench-hard jest zbudowany na podstawie niedawno ujawnionych podatności w oprogramowaniu, w tym w jądrze Linux, Node.js, JavaScriptCore, Exim i VirGL, z włączonymi mechanizmami łagodzącymi. Każde zadanie dostarcza podatny kod źródłowy, krótką podpowiedź o błędzie i skompilowany plik binarny; agent musi opracować exploit, uzyskać wykonanie dowolnego kodu w osobnej piaskownicy i odzyskać tajny ciąg, aby wynik można było zweryfikować automatycznie. Punktacja to pass@3 na losowym podzbiorze, bez sztywnych limitów czasu i bez limitów tokenów wyjściowych.

To wymagający, wąski test: mierzy, czy model potrafi zamienić plik binarny o znanej podatności w działający exploit, a nie czy potrafi napisać skaner albo przeprowadzić triage alertu. Różnica 9,5 punktu między niezłagodzonym checkpointem a wdrożonym modelem jest zatem rzeczywistym pomiarem rzeczywistej różnicy w możliwościach — i przypomnieniem, że liczba ta mówi niewiele o pracy obronnej, którą większość zespołów faktycznie wykonuje z modelem.

Alternatywa Anthropic: zachować zdolność, zmienić odpowiedź

Podejście Anthropic w Claude Opus 5.5 polega na routingu po stronie serwera. Dokumentacja Anthropic mówi, że większość zadań związanych z cyberbezpieczeństwem może być przekierowywana do Claude Opus 4.8, a prace z zakresu biologii i rozwoju modeli frontier mogą być obsługiwane awaryjnie przez Claude Opus 5. Osoba wywołująca nie otrzymuje błędu; odpowiedź po prostu pochodzi od innego modelu. Najwyższy poziom możliwości, Claude Mythos 5.1, jest dostępny wyłącznie dla organizacji zweryfikowanych w ramach programów takich jak Cyber Verification Program.

Kompromis jest przeciwieństwem kompromisu Moonshot. Możliwość frontier istnieje i jest udostępniana — zweryfikowanym klientom, pod innym identyfikatorem modelu — podczas gdy niezweryfikowani wywołujący po cichu otrzymują odpowiedź starszego modelu. Dla zespołu ds. bezpieczeństwa w zweryfikowanej organizacji jest to najbardziej zaawansowana opcja z trzech. Dla każdego spoza takiej organizacji jest to model, który po cichu odpowiada czymś innym dokładnie w tych zadaniach, w których najbardziej zależało im na frontier.

Podejście OpenAI: decyzja przed wdrożeniem

GPT-6 Astra był pierwszym modelem OpenAI ocenionym jako „krytyczny" w ramach firmowego Preparedness Framework, ponieważ potrafi samodzielnie znajdować nieznane wcześniej luki w zabezpieczeniach. Wdrożenie przebiegało etapami — najpierw partnerzy z wczesnym dostępem, następnie poziomy subskrypcji, a na końcu API — a zdolności obarczone najwyższym ryzykiem są ograniczane poprzez klasyfikację, a nie poprzez filtrowanie promptów. Dostęp jest ustalany na poziomie konta, zanim zostanie wysłane jakiekolwiek zapytanie.

To jest czystsze niż cicha zmiana trasy i wolniejsze niż każda z alternatyw. Oznacza to również, że odpowiedź na pytanie „czy mogę użyć tego modelu do mojej pracy związanej z bezpieczeństwem” jest możliwa do poznania z góry, co ma pewną wartość dla nabywcy, który musi napisać dokument zamówienia publicznego.

Co trzy strategie robią z ewaluacją

Jeśli testujesz modele benchmarkami na zadaniach związanych z bezpieczeństwem, mechanizmy zniekształcają pomiar w różny sposób, a te zniekształcenia się nie znoszą.

• Limit Moonshot tkwi w wagach. Test porównawczy uruchomiony na API i test porównawczy uruchomiony na samodzielnie hostowanej kopii powinny dawać zgodne wyniki, a oba mierzą model, który celowo wypada gorzej w tej kategorii. Ta liczba jest uczciwa i powtarzalna.

• Routing Anthropic działa wewnątrz stosu obsługi żądań. To samo żądanie może skutkować różną jakością w zależności od tego, czy spowoduje zadziałanie zabezpieczenia, a opublikowane przez dostawcę wyniki benchmarków mogą nie odzwierciedlać routingu, który otrzymuje Twoje konto. W naszym własnym omówieniu tabeli benchmarków Opus 5.5 zwróciliśmy uwagę na ten sam problem z przeciwnej strony: niezależny wynik Artificial Analysis dla Terminal-Bench wyniósł 59,6% wobec 66,4% podanego przez Anthropic, w konfiguracji obejmującej routing zabezpieczeń po stronie serwera.

• Kontrola dostępu po stronie OpenAI znajduje się poza modelem. Gdy go uzyskasz, model zachowuje się zgodnie z wynikami benchmarków; jeśli go nie masz, nie możesz w ogóle przeprowadzić porównania.

Co zespół ds. bezpieczeństwa powinien z tego wyciągnąć

Trzy praktyczne wnioski, w kolejności według stopnia pewności.

Po pierwsze, „zdolność cyber” nie jest już właściwością, którą można odczytać z karty modelu. Jest funkcją wag, które otrzymujesz, routingu uruchamianego przez Twoje konto oraz programu weryfikacji, do którego należysz. Każda ocena, która nie wymienia wszystkich trzech, mierzy coś innego.

Po drugie, jeśli Twoja praca ma charakter defensywny — triage, przygotowywanie poprawek, inżynieria wykrywania — limit możliwości kosztuje mniej, niż to brzmi. Te 9,5 punktu koncentrują się na zachowaniach adwersarialnych, blisko związanych z exploitami; ogólne kodowanie i korzystanie z narzędzi przez model, których praca defensywna głównie wymaga, to właśnie ich ulepszaniu poświęcono przebieg douczania. Moonshot podaje, że długoterminowy wynik Kimi Code Bench 3.0 wzrósł z 55,95% do 61,2% w ramach tego samego wydania.

Po trzecie, limity się zmieniają. Moonshot zapowiedział, że podniesie swój pułap; programy weryfikacji Anthropic się rozszerzają; oceny OpenAI różnią się w zależności od modelu. Polityka, która kierowała decyzją o wdrożeniu w październiku, w styczniu może być już błędna — co jest argumentem za ponownym czytaniem dokumentacji dostępu przy każdej aktualizacji modelu, zamiast traktowania jej jako jednorazowej bramki.

Kimi K3.1 Pro można wywoływać przez OrcaRouter za 2,00 USD za milion tokenów wejściowych i 10,00 USD za milion tokenów wyjściowych, z takim samym stanem końcowym jak wszędzie indziej: limit tkwi w wagach, a nie w tym, co konkretny dostawca robi z Twoim żądaniem. Jeśli Twoje obciążenie zależy od wiedzy, który model faktycznie odpowiedział, to jest to cecha. Jeśli zależy od ofensywnego pułapu frontieru, żadne API na rynku nie da Ci go bez programu weryfikacji.