Kimi K3.1 Pro – benchmarki: każdy wynik, kto go uzyskał i gdzie tabela wciąż jest pusta

Najbardziej użyteczna liczba w premierze Kimi K3.1 Pro nie znajduje się na własnym wykresie Moonshot. Artificial Analysis, które prowadzi własne oceny, zamiast cytować tabele dostawców, ocenia Kimi K3.1 Pro na 55 punktów w swoim Intelligence Index — czwarte miejsce spośród 215 modeli w swojej klasie, dwa punkty powyżej GPT-6 Astra na 53 i trzy punkty poniżej Claude Opus 5.5 na 58. Materiały premierowe Moonshot opowiadają inną i bardziej pochlebną historię: 65,7% w Terminal-Bench 4.0, przewaga 7,5 punktu nad 58,2%, które przypisuje modelowi Astra. Obie liczby są prawdziwe, obie zostały uzyskane rzetelnie, a mimo to nie zgadzają się co do tego, kto jest z przodu. Ta rozbieżność jest tym, co warto zrozumieć, zanim przeniesiesz obciążenie na ten model.

Poniżej znajduje się każdy opublikowany wynik dla Kimi K3.1 Pro, wraz ze źródłem i ustawieniami dołączonymi do każdego wiersza oraz uwagą wszędzie tam, gdzie arkusz jest pusty. To takie samo podejście, jakie ten blog stosuje wobec modeli Anthropic i OpenAI, z tego samego powodu: tabela benchmarków jest twierdzeniem o harnessie w takim samym stopniu, jak o modelu.

Niezależny numer, pierwszy

Artificial Analysis oceniło model na podstawie wersji 4.3.2 swojego indeksu, która łączy dziesięć ocen w jedną liczbę. Cztery liczby, które mają znaczenie dla kupującego, są następujące:

• Indeks inteligencji — 55, 4. miejsce na 215 modeli. Dla porównania mediana w tej klasie wynosi 27, a GPT-6 Astra (Max) uzyskuje 53, podczas gdy Claude Opus 5.5 uzyskuje 58 w tej samej wersji indeksu.

• Koszt na zadanie — 2,11 USD na zadanie Intelligence Index, 85. miejsce na 113 pod względem kosztu. Odpowiednik w GPT-6 Astra to 3,26 USD. To liczba, która zamienia cenę za token w koszt obciążenia, a niska cena tokenów modelu jest częściowo równoważona przez rozwlekłość.

Gadatliwość — 150 mln tokenów wyjściowych wygenerowanych podczas przebiegu indeksowania, wobec mediany 87 mln. Oceniający nazywa model „bardzo gadatliwym”, a to ma bezpośrednie znaczenie: dane wyjściowe to kosztowna pozycja w cenniku samego tego modelu — 10 USD za milion tokenów.

• Szybkość — 73,5 tokenu wyjściowego na sekundę u dostawcy ewaluatora, wolniej niż średnia wynosząca 82. Na naszej własnej trasie mediana czasu do pierwszego tokenu wynosi 7,15 sekundy i to ta liczba decyduje o tym, jak model wypada w interaktywnej sesji kodowania.

Jedną etykietę na tej stronie warto odnotować: Artificial Analysis klasyfikuje Kimi K3.1 Pro jako model zastrzeżony, ponieważ na dzień 24 października wagi zostały obiecane, ale nie zostały opublikowane. Ta klasyfikacja powinna się zmienić do 4 listopada, jeśli Moonshot dotrzyma terminu.

Tabela dostawców, wiersz po wierszu, z dołączonym ustawieniem

Moonshot opublikował wraz z premierą obszerny arkusz własnych ewaluacji, a w kilku miejscach porównuje Kimi K3.1 Pro z Claude Opus 5.5 i GPT-6 Astra w tych samych wierszach. Każda wartość poniżej jest podana przez dostawcę, chyba że w danym wierszu zaznaczono inaczej.

• Terminal-Bench 4.0 — 65,7% dla Kimi K3.1 Pro, w porównaniu z 66,4% dla Claude Opus 5.5 i 58,2% dla GPT-6 Astra. To jest nagłówek. To także wiersz z największą liczbą zastrzeżeń: 66,4% Anthropic uzyskano przy wysiłku xhigh, o jeden poziom powyżej domyślnego; własne uruchomienie Kimi odbywa się przy domyślnym dla modelu ustawieniu max. Te dwie liczby pochodzą z różnych środowisk testowych.

• Kimi Code Bench 3.0, długi horyzont — 61,2% wobec 55,95% dla Kimi K3. To najczystsze porównanie z poprzednikiem w ramach premiery i najbardziej kontrolowane przez dostawcę: zarówno benchmark, jak i harness należą do Moonshot.

• BenchCAD z narzędziami — 92,7% dla Kimi K3.1 Pro wobec 96,2% dla Claude Opus 5.5 i 95,9% dla GPT-6 Astra. Bez narzędzi: 72,8% wobec 73,0% Opusa; Astra nie podała wyniku bez narzędzi. To wiersz, w którym pretendent wyraźnie przegrywa, a wypada on w środku własnej prezentacji na temat tworzenia 3D przygotowanej na premierę.

• Kimi Hallu Bench Hard — wskaźnik halucynacji na poziomie pojedynczych twierdzeń wynoszący 8,3% z narzędziami i 5,4% bez nich. W tym samym benchmarku GPT-6 Astra wypada lepiej z narzędziami (5,5 wobec 8,3) i lepiej bez nich (4,2 wobec 5,4); Claude Opus 5.5 wypada gorzej w obu przypadkach (15,0 i 6,8). Moonshot podaje również, że wskaźnik ten spadł z 23,4% w Kimi K3 oraz że odpowiedzi zawierające co najmniej jeden błąd faktyczny stanowią obecnie 42,4% wskaźnika poprzednika.

• Oceny finansowe i biznesowe, wewnętrzne — Financial Modeling 57,6 wobec 50,4 dla K3, Financial Research 70,4 wobec 58,8, Business Operation 37 wobec 8,9. Ten ostatni wynik to czterokrotna poprawa w zadaniu, w którym stary model był bliski niesprawności. Traktuj te wielkości jako orientacyjne; to własne zestawy testów Moonshot.

• OfficeQA Pro v2 — 64,4, który Moonshot określa jako state of the art. W tym wierszu nie pojawia się wynik drugiego dostawcy.

• xdev-bench-hard, pass@3 — 81,0% dla wdrożonego modelu, 90,5% dla checkpointu wytrenowanego bez stosowanych przez firmę środków redukcji ryzyka cybernetycznego, 33,3% dla Kimi K3. Ta 9,5-punktowa różnica to cena, jaką według Moonshot zapłacono, aby utrzymać ofensywne zdolności cybernetyczne poniżej progu.

Tam, gdzie tabela jest jeszcze pusta

Warto wymienić trzy luki, ponieważ relacje z tej premiery w dużej mierze je pominęły.

Pierwszy znajduje się w dokumentacji API samego Moonshot. W dniu premiery strona szybkiego startu Kimi K3.1 Pro wciąż zawierała dosłowne ciągi zastępcze — „[xx.x%]” — tam, gdzie powinny być wyniki Terminal-Bench 4.0, Terminal-Bench-Science 0.1 i wewnętrzne wyniki kodowania, podczas gdy post marketingowy zawierał już gotowe liczby. To pipeline dokumentacji, który trafił na produkcję przed samym tekstem, a nie fałszerstwo, ale jest to powód, by czytać te liczby ze strony bloga, a nie z dokumentacji.

Drugi to Terminal-Bench-Science 0.1, w przypadku którego Anthropic publikuje 58,7% dla Claude Opus 5.5, a materiały Moonshot mówią jedynie, że Kimi K3.1 Pro jest „powyżej K3”, bez liczby. Wiersz bez żadnej liczby po którejkolwiek stronie porównania nie jest wierszem.

Trzeci to SWE-bench. To benchmark, który większość zespołów wciąż cytuje, gdy mówi o agentach kodujących, a wpis premierowy wymienia DeepSWE v1.1 i SWE-Marathon v1.1 w przypisach, nie publikując wyników. Bez względu na przyczynę brakuje najbardziej oczekiwanej liczby.

Jak odczytać 65.7

Dwie rzeczy wpływają na wynik Terminal-Bench bardziej niż sam model: otaczająca go infrastruktura oraz ustawienie wysiłku rozumowania. Tabela Opus 5.5 samego Anthropic pokazuje oba efekty w obrębie jednego modelu — CursorBench 4.0 przechodzi z 57,8% przy wysiłku xhigh na 52,5% przy medium, podczas gdy FrontierCode zmienia się o 0,2 punktu między tymi samymi dwoma ustawieniami. Kimi K3.1 Pro ma trzy ustawienia i domyślnie wybiera najdroższe z nich, więc przebieg dostawcy, który nie podaje poziomu wysiłku, prawdopodobnie jest przebiegiem maksymalnym — niezależnie od tego, czy tak twierdzi.

Dlatego niezależny indeks i tabela dostawcy inaczej szeregują te trzy modele. W wierszu Terminal-Bench od Moonshot Kimi wyprzedza Astrę o 7,5 punktu. W indeksie Artificial Analysis obejmującym dziesięć ewaluacji Kimi wyprzedza Astrę o 2 punkty i ustępuje Opusowi o 3. Żaden z tych porządków nie jest błędny; odpowiadają one na różne pytania za pomocą różnych środowisk testowych, a jedynym możliwym do obrony podsumowaniem jest to, że wszystkie trzy modele mieszczą się w granicach kilku punktów od siebie pod względem ogólnych możliwości, przy czym cena różni się pięciokrotnie między najtańszym a najdroższym.

Co zrobić z liczbami

W przypadku obciążenia, w którym dominuje objętość danych wyjściowych — długie generowanie kodu, tworzenie dokumentów, pętle agentowe zapisujące znacznie więcej, niż czytają — to właśnie wskaźnik objętości danych wyjściowych jest tym, wokół którego należy planować. Przy 150 milionach tokenów na przebieg indeksowania wobec 60 milionów w przypadku Astry Kimi K3.1 Pro generuje około 2,5 razy więcej danych wyjściowych na zadanie, a nawet przy jednej piątej ceny danych wyjściowych nadal znacznie zawęża to przewagę kosztową. Wartość 2,11 USD na zadanie już to uwzględnia, dlatego jest lepszą liczbą do planowania niż cennik.

W przypadku obciążenia pracą, w którym o wyniku decyduje pojedynczy punkt dokładności, istotną liczbą jest trzypunktowa różnica wobec Claude Opus 5.5 w niezależnym indeksie — i żadna tabela dostawcy nie powinna cię od tego odwieść.

Kimi K3.1 Pro można wywoływać przez OrcaRouter za 2,00 USD za milion tokenów wejściowych i 10,00 USD za milion tokenów wyjściowych, z kontekstem 1,048,576 tokenów, do 943,718 tokenów wyjściowych oraz trzema formatami endpointów — Chat Completions, Responses i Messages — na tym samym kluczu co reszta Twojego stosu. Płacisz dokładnie cenę katalogową dostawcy, bez doliczanej marży, więc powyższe wyliczenia odpowiadają temu, co faktycznie płacisz. Jedyne, czego ta strona nie może Ci dać, to Twój własny benchmark: przepuść próbkę rzeczywistego ruchu przy niskim, wysokim i maksymalnym poziomie wysiłku, zanim wybierzesz ustawienie domyślne, ponieważ to ustawienie wpływa na koszt bardziej niż wybór modelu.