Kimi K3.1 Pro Benchmarkresultat: Alla resultat, vem som tog fram dem och var tabellen fortfarande är tom

Den mest användbara siffran i lanseringen av Kimi K3.1 Pro finns inte i Moonshots eget diagram. Artificial Analysis, som kör sina egna utvärderingar i stället för att citera leverantörstabeller, mäter Kimi K3.1 Pro till 55 på sitt Intelligence Index – på fjärde plats av 215 modeller i sin klass, två poäng över GPT-6 Astra på 53 och tre poäng under Claude Opus 5.5 på 58. Moonshots lanseringsmaterial berättar en annan och mer smickrande historia: 65,7 % på Terminal-Bench 4.0, en ledning på 7,5 poäng över de 58,2 % som det tillskriver Astra. Båda siffrorna är verkliga, båda har tagits fram ärligt, och de är oense om vem som ligger före. Det är den oenigheten som är värd att förstå innan du flyttar en arbetsbelastning till den här modellen.

Det som följer är varje publicerad siffra för Kimi K3.1 Pro, med källan och inställningen angivna för varje rad, och en notering där bladet är tomt. Det är samma behandling som den här bloggen ger Anthropics och OpenAIs modeller, av samma skäl: en benchmarktabell är ett påstående om ett testramverk lika mycket som om en modell.

Det oberoende numret, först

Artificial Analysis utvärderade modellen på version 4.3.2 av sitt index, som väger samman tio utvärderingar till ett enda tal. De fyra siffror som spelar roll för en köpare är dessa:

• Intelligensindex — 55, rankad 4:a av 215 modeller. Som referens är medianen i dess klass 27, och GPT-6 Astra (Max) får 53 medan Claude Opus 5.5 får 58 på samma version av indexet.

• Kostnad per uppgift – 2,11 dollar per Intelligence Index-uppgift, placerad på 85:e plats av 113 i kostnad. Motsvarande för GPT-6 Astra är 3,26 dollar. Detta är siffran som omvandlar ett pris per token till en kostnad för arbetsbelastningen, och modellens låga tokenpris äts delvis upp av mångordigheten.

• Ordrikedom — 150 miljoner genererade uttoken under indexkörningen, jämfört med en median på 87 miljoner. Utvärderaren kallar modellen "mycket ordrik", och det spelar direkt roll: utdata är den dyra posten på den här modellens egen prislista på 10 dollar per miljon token.

• Hastighet — 73,5 utdata-tokens per sekund hos utvärderarens leverantör, långsammare än genomsnittet på 82. På vår egen rutt är mediantiden till första token 7,15 sekunder, vilket är siffran som avgör hur modellen känns i en interaktiv kodningssession.

En etikett på den sidan är värd att uppmärksamma: Artificial Analysis listar Kimi K3.1 Pro som en proprietär modell, eftersom vikterna sedan den 24 oktober är utlovade men inte publicerade. Den klassificeringen bör ändras senast den 4 november om Moonshot håller sitt datum.

Leverantörstabellen, rad för rad, med inställningen bifogad

Moonshot publicerade en omfattande tabell med sina egna utvärderingar i samband med lanseringen, och på flera ställen jämför den Kimi K3.1 Pro med Claude Opus 5.5 och GPT-6 Astra på samma rader. Alla siffror nedan är leverantörsrapporterade om inte raden anger annat.

• Terminal-Bench 4.0 — 65,7 % för Kimi K3.1 Pro, mot 66,4 % för Claude Opus 5.5 och 58,2 % för GPT-6 Astra. Det är rubriken. Det är också raden med flest förbehåll: Anthropics 66,4 % togs fram med xhigh effort, en nivå över dess standardinställning; Kimis egen körning ligger på modellens standardinställning max. De två siffrorna kommer från olika testramverk.

• Kimi Code Bench 3.0, lång horisont — 61,2 % mot 55,95 % för Kimi K3. Detta är den renaste jämförelsen med föregångaren i lanseringen, och den mest leverantörskontrollerade: både benchmarken och testramverket tillhör Moonshot.

• BenchCAD med verktyg — 92,7 % för Kimi K3.1 Pro, mot 96,2 % för Claude Opus 5.5 och 95,9 % för GPT-6 Astra. Utan verktyg, 72,8 % mot Opus 73,0 %; Astra rapporterade ingen siffra för utan verktyg. Det här är raden där utmanaren synligt förlorar, och den ligger mitt i lanseringens egen pitch för 3D-skapande.

• Kimi Hallu Bench Hard – en hallucineringsfrekvens på påståendenivå på 8,3 % med verktyg, 5,4 % utan. På samma benchmark är GPT-6 Astra bättre med verktyg (5,5 mot 8,3) och bättre utan (4,2 mot 5,4); Claude Opus 5.5 är sämre på båda (15,0 och 6,8). Moonshot rapporterar också att frekvensen sjönk från 23,4 % på Kimi K3, och att andelen svar som innehåller minst ett sakfel nu är 42,4 % av föregångarens frekvens.

• Finansiella och affärsmässiga utvärderingar, interna – Financial Modeling 57,6 mot 50,4 för K3, Financial Research 70,4 mot 58,8, Business Operation 37 mot 8,9. Det sista är en fyrdubbling på en uppgift där den gamla modellen nästan inte fungerade. Behandla storleksordningarna som riktningsgivande; dessa är Moonshots egna testsviter.

• OfficeQA Pro v2 — 64.4, som Moonshot beskriver som state of the art. Ingen annan leverantörs siffra visas på den raden.

• xdev-bench-hard, pass@3 — 81,0 % för den lanserade modellen, 90,5 % för en checkpoint som tränats utan företagets åtgärder för att minska cyberrisker, 33,3 % för Kimi K3. Den 9,5-punktersskillnaden är priset som Moonshot säger sig ha betalat för att hålla offensiv cyberkapacitet under en tröskel.

Där tabellen fortfarande är tom

Tre luckor är värda att nämna, eftersom bevakningen av den här lanseringen till stor del har hoppat över dem.

Den första finns i Moonshots egen API-dokumentation. På lanseringsdagen innehöll quickstart-sidan för Kimi K3.1 Pro fortfarande bokstavliga platshållarsträngar – "[xx.x%]" – där poängen för Terminal-Bench 4.0, Terminal-Bench-Science 0.1 och interna kodningspoäng borde stå, medan marknadsföringsinlägget innehöll de färdiga siffrorna. Det är en dokumentationspipeline som släpptes före texten, inte en fabricering, men det är ett skäl att läsa siffrorna från bloggsidan i stället för dokumentationen.

Den andra är Terminal-Bench-Science 0.1, där Anthropic publicerar 58,7 % för Claude Opus 5.5 och Moonshots material bara säger att Kimi K3.1 Pro ligger "över K3", utan en siffra. En rad utan någon siffra på någon av sidorna i en jämförelse är inte en rad.

Den tredje är SWE-bench. Det är det benchmark som de flesta team fortfarande hänvisar till när de pratar om kodagenter, och lanseringsinlägget nämner DeepSWE v1.1 och SWE-Marathon v1.1 i fotnoter utan att publicera poäng. Vad orsaken än är saknas den mest efterfrågade siffran.

Hur läser man 65,7?

Två saker påverkar en Terminal-Bench-poäng mer än modellen gör: ramverket runt den och inställningen för resonemangsansträngning. Anthropics egen tabell för Opus 5.5 visar båda effekterna inom en och samma modell – CursorBench 4.0 går från 57,8 % vid xhigh-ansträngning till 52,5 % vid medium, medan FrontierCode ändras med 0,2 punkter mellan samma två inställningar. Kimi K3.1 Pro har tre inställningar och använder som standard den dyraste, så en leverantörskörning som inte anger sin ansträngningsnivå är sannolikt en maxkörning, oavsett om den säger det eller inte.

Det är därför som det oberoende indexet och leverantörstabellen rangordnar dessa tre modeller olika. På Moonshots Terminal-Bench-rad slår Kimi Astra med 7,5 poäng. På Artificial Analysiss index över tio utvärderingar leder Kimi över Astra med 2 och ligger 3 efter Opus. Ingen av ordningarna är fel; de besvarar olika frågor med olika harnessar, och den enda försvarbara sammanfattningen är att alla tre modeller ligger inom några poäng från varandra vad gäller allmän förmåga, medan priset skiljer sig fem gånger mellan den billigaste och den dyraste.

Vad ska man göra, jag vet inte vad man ska göra med numrerade span-markörer.

För en arbetsbelastning där utdatavolymen dominerar – lång kodgenerering, dokumentutkast, agentiska loopar som skriver mycket mer än de läser – är verbositetsiffran den man bör planera efter. Med 150 miljoner token per indexkörning mot Astras 60 miljoner producerar Kimi K3.1 Pro ungefär 2,5 gånger så mycket utdata för en uppgift, och även till en femtedel av utdatapriset minskar det kostnadsfördelen betydligt. Siffran på 2,11 dollar per uppgift tar redan hänsyn till detta, vilket är anledningen till att den är ett bättre planeringstal än prislistan.

För en arbetsbelastning där en enda punkt i noggrannhet avgör utfallet är gapet på tre punkter till Claude Opus 5.5 i det oberoende indexet den relevanta siffran, och ingen leverantörstabell bör övertala dig att bortse från den.

Kimi K3.1 Pro går att anropa via OrcaRouter för 2,00 USD per miljon indatatoken och 10,00 USD per miljon utdatatoken, med 1 048 576 token i kontext, upp till 943 718 utdatatoken och tre endpointformat – Chat Completions, Responses och Messages – på samma nyckel som resten av din stack. Leverantörens listpris är det du betalar, utan påslag, vilket innebär att aritmetiken ovan är den aritmetik du får. Det enda den här sidan inte kan ge dig är ditt eget benchmark: kör ett urval av din verkliga trafik med låg, hög och maximal ansträngning innan du väljer en standard, eftersom inställningen påverkar kostnaden mer än valet av modell.