Kimi K3.1 Pro-benchmarks: elke score, wie deze heeft geproduceerd, en waar de tabel nog leeg is

Het meest bruikbare getal bij de lancering van Kimi K3.1 Pro staat niet op Moonshots eigen grafiek. Artificial Analysis, dat zijn eigen evaluaties uitvoert in plaats van levertabellen over te nemen, meet Kimi K3.1 Pro op 55 op zijn Intelligence Index — vierde van de 215 modellen in zijn klasse, twee punten boven GPT-6 Astra op 53 en drie punten onder Claude Opus 5.5 op 58. Het lanceringsmateriaal van Moonshot vertelt een ander en gunstiger verhaal: 65,7% op Terminal-Bench 4.0, een voorsprong van 7,5 punt op de 58,2% die het aan Astra toeschrijft. Beide getallen zijn echt, beide zijn eerlijk tot stand gekomen, en ze zijn het oneens over wie vooroploopt. Dat meningsverschil is precies wat je moet begrijpen voordat je een workload naar dit model verhuist.

Hieronder volgt elk gepubliceerd cijfer voor Kimi K3.1 Pro, met de bron en de instelling bij elke rij, en een opmerking waar het blad leeg is. Het is dezelfde behandeling die deze blog aan de modellen van Anthropic en OpenAI geeft, om dezelfde reden: een benchmarktabel is net zoveel een bewering over een testharnas als over een model.

Het onafhankelijke nummer, ten eerste

Artificial Analysis heeft het model geëvalueerd op versie 4.3.2 van zijn index, die tien evaluaties samenvoegt tot één getal. De vier cijfers die voor een koper van belang zijn, zijn deze:

• Intelligentie-index — 55, op de 4e plaats van 215 modellen. Ter referentie: de mediaan in zijn klasse is 27, en GPT-6 Astra (Max) scoort 53, terwijl Claude Opus 5.5 58 scoort op dezelfde versie van de index.

• Kosten per taak — $2,11 per Intelligence Index-taak, 85e van 113 qua kosten. Het equivalent van GPT-6 Astra is $3,26. Dit is het getal dat een prijs per token omzet in een kostenpost per workload, en de lage tokenprijs van het model wordt deels weer tenietgedaan door breedsprakigheid.

• Verbositeit — 150 miljoen outputtokens gegenereerd tijdens de index-run, tegen een mediaan van 87 miljoen. De evaluator noemt het model "zeer verbose", en dat is direct van belang: output is de dure post op de eigen tariefkaart van dit model, tegen $10 per miljoen tokens.

• Snelheid — 73,5 outputtokens per seconde bij de provider van de evaluator, langzamer dan het gemiddelde van 82. Op onze eigen route is de mediane tijd tot het eerste token 7,15 seconden, en dat is het getal dat bepaalt hoe het model aanvoelt in een interactieve codeersessie.

One {{1}}-label op die pagina is het signaleren waard: Artificial Analysis vermeldt Kimi K3.1 Pro als een propriëtair model, omdat de gewichten per 24 oktober wel zijn beloofd maar nog niet gepubliceerd. Die classificatie zou tegen 4 november moeten veranderen als Moonshot zich aan zijn datum houdt.

De leverancierstabel, rij voor rij, met de instelling bijgevoegd

Moonshot publiceerde bij de lancering een uitgebreide tabel met zijn eigen evaluaties, en op meerdere plaatsen vergelijkt het Kimi K3.1 Pro met Claude Opus 5.5 en GPT-6 Astra in dezelfde rijen. Elk cijfer hieronder is door de leverancier gerapporteerd, tenzij de rij anders vermeldt.

• Terminal-Bench 4.0 — 65,7% voor Kimi K3.1 Pro, tegenover 66,4% voor Claude Opus 5.5 en 58,2% voor GPT-6 Astra. Dit is het belangrijkste resultaat. Het is ook de rij met de meeste voorbehouden: de 66,4% van Anthropic werd behaald met xhigh-inspanning, één niveau boven de standaardinstelling; de eigen run van Kimi gebruikt de standaardwaarde max van het model. De twee cijfers komen uit verschillende testharnassen.

• Kimi Code Bench 3.0, lange horizon — 61,2% tegenover 55,95% voor Kimi K3. Dit is de zuiverste vergelijking met de voorganger in de lancering, en de meest door de leverancier gecontroleerde: zowel de benchmark als de harness zijn eigendom van Moonshot.

• BenchCAD met hulpmiddelen — 92,7% voor Kimi K3.1 Pro, tegen 96,2% voor Claude Opus 5.5 en 95,9% voor GPT-6 Astra. Zonder hulpmiddelen 72,8% tegen 73,0% voor Opus; Astra rapporteerde geen cijfer zonder hulpmiddelen. Dit is de rij waarin de uitdager zichtbaar verliest, en die staat midden in de eigen 3D-creatiepitch van de lancering.

• Kimi Hallu Bench Hard — een hallucinatiegraad op claimniveau van 8,3% met tools, 5,4% zonder. Op dezelfde benchmark presteert GPT-6 Astra beter met tools (5,5 versus 8,3) en beter zonder (4,2 versus 5,4); Claude Opus 5.5 presteert op beide slechter (15,0 en 6,8). Moonshot meldt ook dat het percentage daalde van 23,4% op Kimi K3, en dat het aandeel antwoorden met ten minste één feitelijke fout nu 42,4% van dat van de voorganger bedraagt.

• Financiële en zakelijke evaluaties, intern — Financiële modellering 57,6 tegen 50,4 voor K3, Financieel onderzoek 70,4 tegen 58,8, Bedrijfsvoering 37 tegen 8,9. Het laatste is een viervoudige verbetering op een taak waarop het oude model bijna niet functioneerde. Beschouw de grootten als indicatief; dit zijn de eigen suites van Moonshot.

• OfficeQA Pro v2 — 64,4, wat Moonshot als state-of-the-art beschrijft. Op de rij verschijnt geen cijfer van een tweede leverancier.

• xdev-bench-hard, pass@3 — 81,0% voor het geleverde model, 90,5% voor een checkpoint dat is getraind zonder de maatregelen van het bedrijf om cyberrisico's te beperken, 33,3% voor Kimi K3. Dat verschil van 9,5 punt is de prijs die Moonshot naar eigen zeggen heeft betaald om offensieve cybercapaciteit onder een drempel te houden.

Waar de tabel nog leeg is

Drie lacunes zijn het vermelden waard, omdat de verslaggeving over deze lancering ze grotendeels heeft overgeslagen.

De eerste staat in Moonshot's eigen API-documentatie. Op de lanceringsdag bevatte de quickstartpagina van Kimi K3.1 Pro nog steeds letterlijke placeholderstrings — "[xx.x%]" — waar de scores voor Terminal-Bench 4.0, Terminal-Bench-Science 0.1 en interne codeerscores zouden moeten staan, terwijl de marketingpost de definitieve cijfers bevatte. Dat wijst op een documentatiepipeline die eerder live ging dan de tekst, geen verzinsel, maar het is wel een reden om de cijfers van de blogpagina te halen in plaats van uit de documentatie.

De tweede is Terminal-Bench-Science 0.1, waar Anthropic 58,7% vermeldt voor Claude Opus 5.5 en het materiaal van Moonshot alleen zegt dat Kimi K3.1 Pro "boven K3" zit, zonder een getal. Een rij zonder cijfer aan beide zijden van een vergelijking is geen rij.

De derde is SWE-bench. Het is de benchmark die de meeste teams nog steeds aanhalen wanneer ze het over codeeragenten hebben, en het lanceringsbericht noemt DeepSWE v1.1 en SWE-Marathon v1.1 in voetnoten zonder scores te publiceren. Wat de reden ook is, het meest gevraagde cijfer ontbreekt.

Hoe lees je een 65,7

Twee dingen beïnvloeden een Terminal-Bench-score meer dan het model zelf: de scaffolding eromheen en de instelling voor reasoning-effort. Anthropics eigen tabel voor Opus 5.5 laat beide effecten binnen één model zien — CursorBench 4.0 gaat van 57,8% bij xhigh effort naar 52,5% bij medium, terwijl FrontierCode tussen dezelfde twee instellingen met 0,2 punt verschuift. Kimi K3.1 Pro heeft drie instellingen en gebruikt standaard de duurste, dus een run door een leverancier die zijn effort-niveau niet vermeldt, is waarschijnlijk een max-run, of die dat nu zegt of niet.

Daarom rangschikken de onafhankelijke index en de leverancierstabel deze drie modellen verschillend. Op de Terminal-Bench-regel van Moonshot verslaat Kimi Astra met 7,5 punten. Op de index van Artificial Analysis met tien evaluaties staat Kimi 2 punten voor op Astra en 3 punten achter op Opus. Geen van beide rangordes is fout; ze beantwoorden verschillende vragen met verschillende harnesses, en de enige verdedigbare samenvatting is dat alle drie de modellen qua algemene capaciteit binnen een paar punten van elkaar liggen, waarbij de prijs tussen het goedkoopste en het duurste model vijf keer verschilt.

Wat te doen met de nummers

Voor een workload waarin het uitvoervolume domineert — langdurige codegeneratie, het opstellen van documenten, agentische loops die veel meer schrijven dan ze lezen — is het cijfer voor breedsprakigheid het cijfer waarop je moet plannen. Bij 150 miljoen tokens per indexeringsrun tegenover Astra's 60 miljoen produceert Kimi K3.1 Pro ongeveer 2,5 keer zoveel uitvoer voor een taak, en zelfs bij een vijfde van de uitvoerprijs verkleint dat het kostenvoordeel nog aanzienlijk. Het cijfer van $2,11 per taak houdt daar al rekening mee, en daarom is dat het betere planningsgetal dan de tariefkaart.

Voor een werklast waarbij één punt nauwkeurigheid de uitkomst bepaalt, is de kloof van drie punten met Claude Opus 5.5 op de onafhankelijke index het relevante cijfer, en geen enkele leverancierstabel zou je daarvan moeten afpraten.

{{1}}Kimi K3.1 Pro{{/1}} is aanroepbaar via {{2}}OrcaRouter{{/2}} voor {{3}}$2,00{{/3}} per miljoen inputtokens en {{4}}$10,00{{/4}} per miljoen outputtokens, met {{5}}1.048.576 tokens{{/5}} context, tot {{6}}943.718 outputtokens{{/6}} en {{7}}drie endpointformaten{{/7}} — {{8}}Chat Completions{{/8}}, {{9}}Responses{{/9}} en {{10}}Messages{{/10}} — op dezelfde sleutel als de rest van je stack. De lijstprijs van de leverancier is wat je betaalt, zonder opslag, wat betekent dat de bovenstaande rekensom de rekensom is die je krijgt. Het enige wat deze pagina je niet kan geven, is je eigen benchmark: draai een steekproef van je echte verkeer met {{11}}lage{{/11}}, {{12}}hoge{{/12}} en {{13}}maximale inspanning{{/13}} voordat je een standaard kiest, want de instelling beïnvloedt de kosten meer dan de modelkeuze.