Kimi K3.1 Pro Benchmarks: Jede Punktzahl, wer sie erhoben hat und wo die Tabelle noch leer ist

Die nützlichste Zahl beim Launch von Kimi K3.1 Pro steht nicht in Moonshots eigener Grafik. Artificial Analysis, das eigene Bewertungen durchführt statt Anbietertabellen zu zitieren, misst Kimi K3.1 Pro mit 55 auf seinem Intelligence Index – Platz vier von 215 Modellen seiner Klasse, zwei Punkte über GPT-6 Astra mit 53 und drei Punkte unter Claude Opus 5.5 mit 58. Moonshots Launch-Material erzählt eine andere und schmeichelhaftere Geschichte: 65,7 % auf Terminal-Bench 4.0, ein Vorsprung von 7,5 Punkten gegenüber den 58,2 %, die es Astra zuschreibt. Beide Zahlen sind real, beide wurden ehrlich ermittelt, und sie sind sich uneinig, wer vorn liegt. Diese Uneinigkeit ist das, was man verstehen sollte, bevor man eine Workload auf dieses Modell verlagert.

Was folgt, sind sämtliche veröffentlichten Zahlen zu Kimi K3.1 Pro, mit Quelle und Einstellung zu jeder Zeile sowie einem Hinweis, wo das Blatt leer ist. Es ist dieselbe Behandlung, die dieser Blog den Modellen von Anthropic und OpenAI zukommen lässt, aus demselben Grund: Eine Benchmark-Tabelle ist ebenso sehr eine Aussage über ein Testsystem wie über ein Modell.

Die unabhängige Nummer, zuerst

Artificial Analysis hat das Modell anhand von Version 4.3.2 seines Index bewertet, der zehn Bewertungen zu einer einzigen Zahl zusammenfasst. Die vier Kennzahlen, die für einen Käufer wichtig sind, sind diese:

• Intelligenz-Index — 55, Rang 4 von 215 Modellen. Zum Vergleich: Der Median in seiner Klasse liegt bei 27, und GPT-6 Astra (Max) erreicht 53, während Claude Opus 5.5 in derselben Version des Index 58 erreicht.

• Kosten pro Aufgabe — 2,11 $ pro Aufgabe des Intelligence Index, Rang 85 von 113 bei den Kosten. Das Äquivalent von GPT-6 Astra beträgt 3,26 $. Dies ist die Kennzahl, die einen Tokenpreis in Kosten für eine Arbeitslast umrechnet, und der niedrige Tokenpreis des Modells wird teilweise durch Ausführlichkeit wieder aufgebraucht.

• Ausführlichkeit – 150 Millionen generierte Ausgabe-Tokens während des Index-Laufs, gegenüber einem Median von 87 Millionen. Der Evaluator bezeichnet das Modell als „sehr wortreich“, und das ist direkt relevant: Die Ausgabe ist der teure Posten auf der eigenen Preisliste dieses Modells bei 10 $ pro Million Tokens.

• Geschwindigkeit — 73,5 Ausgabe-Token pro Sekunde beim Anbieter des Evaluators, langsamer als der Durchschnitt von 82. Auf unserer eigenen Route beträgt die mediane Zeit bis zum ersten Token 7,15 Sekunden; dieser Wert entscheidet darüber, wie sich das Modell in einer interaktiven Coding-Session anfühlt.

Eine Kennzeichnung auf dieser Seite ist erwähnenswert: Artificial Analysis führt Kimi K3.1 Pro als proprietäres Modell, da die Gewichte mit Stand 24. Oktober zugesagt, aber noch nicht veröffentlicht sind. Diese Einstufung dürfte sich bis zum 4. November ändern, sofern Moonshot seinen Termin einhält.

Die Lieferantentabelle, Zeile für Zeile, mit der beigefügten Einstellung

Moonshot hat zusammen mit der Markteinführung ein umfangreiches Datenblatt mit eigenen Evaluierungen veröffentlicht, und an mehreren Stellen vergleicht es Kimi K3.1 Pro in denselben Zeilen mit Claude Opus 5.5 und GPT-6 Astra. Jede der folgenden Zahlen ist vom Anbieter angegeben, sofern die jeweilige Zeile nichts anderes sagt.

• {{1}}Terminal-Bench 4.0{{/1}} — {{2}}65,7 %{{/2}} für {{3}}Kimi K3.1 Pro{{/3}}, gegenüber {{4}}66,4 %{{/4}} für {{5}}Claude Opus 5.5{{/5}} und {{6}}58,2 %{{/6}} für {{7}}GPT-6 Astra{{/7}}. Das ist die Schlagzeile. Es ist zugleich die Zeile mit den meisten Einschränkungen: {{8}}Anthropics 66,4 % wurden mit xhigh-Aufwand erzielt, eine Stufe über dem Standard{{/8}}; {{9}}Kimis eigener Lauf entspricht dem Standardwert des Modells, max{{/9}}. {{10}}Die beiden Zahlen stammen aus unterschiedlichen Harnesses.{{/10}}

• Kimi Code Bench 3.0, long-horizon — 61,2 % gegenüber 55,95 % für Kimi K3. Dies ist der sauberste Vorgängervergleich bei der Markteinführung und der am stärksten anbieterkontrollierte: Sowohl der Benchmark als auch der Harness gehören Moonshot.

• BenchCAD mit Tools — 92,7 % für Kimi K3.1 Pro, gegenüber 96,2 % für Claude Opus 5.5 und 95,9 % für GPT-6 Astra. Ohne Tools 72,8 % gegenüber 73,0 % bei Opus; Astra nannte keinen Wert ohne Tools. Dies ist die Zeile, in der der Herausforderer sichtbar verliert, und sie steht mitten in der eigenen 3D-Erstellungs-Präsentation des Launches.

• Kimi Hallu Bench Hard — eine Halluzinationsrate auf Aussagenebene von 8,3 % mit Tools, 5,4 % ohne. Beim selben Benchmark ist GPT-6 Astra mit Tools besser (5,5 gegenüber 8,3) und ohne besser (4,2 gegenüber 5,4); Claude Opus 5.5 ist bei beiden schlechter (15,0 und 6,8). Moonshot berichtet außerdem, dass die Rate von 23,4 % bei Kimi K3 gesunken ist und dass Antworten mit mindestens einem sachlichen Fehler jetzt 42,4 % der Rate des Vorgängers ausmachen.

• Finanz- und Geschäftsbewertungen, intern — Financial Modeling 57,6 gegen 50,4 für K3, Financial Research 70,4 gegen 58,8, Business Operation 37 gegen 8,9. Der letzte Wert ist eine Vervierfachung bei einer Aufgabe, bei der das alte Modell nahezu nicht funktionsfähig war. Betrachten Sie die Größenordnungen als richtungsweisend; dies sind Moonshots eigene Suiten.

• OfficeQA Pro v2 — 64,4, was Moonshot als State of the Art bezeichnet. In dieser Zeile erscheint keine Zahl eines zweiten Anbieters.

• xdev-bench-hard, pass@3 — 81,0 % für das ausgelieferte Modell, 90,5 % für einen Checkpoint, der ohne die Maßnahmen des Unternehmens zur Verringerung des Cyberrisikos trainiert wurde, 33,3 % für Kimi K3. Diese Lücke von 9,5 Punkten ist der Preis, den Moonshot nach eigenen Angaben dafür gezahlt hat, die offensive Cyberfähigkeit unter einem Schwellenwert zu halten.

Wo die Tabelle noch leer ist

Drei Lücken verdienen es, benannt zu werden, da die Berichterstattung über diesen Launch sie weitgehend ausgelassen hat.

Das erste findet sich in Moonshots eigener API-Dokumentation. Am Launch-Tag enthielt die Quickstart-Seite von Kimi K3.1 Pro noch wörtliche Platzhalterzeichenfolgen – "[xx.x%]" – an den Stellen, an denen die Werte für Terminal-Bench 4.0, Terminal-Bench-Science 0.1 und die internen Coding-Scores stehen sollten, während der Marketingbeitrag die fertigen Zahlen enthielt. Das ist eine Dokumentationspipeline, die vor dem Text ausgeliefert wurde, keine Erfindung, aber es ist ein Grund, die Zahlen eher von der Blogseite als aus der Dokumentation zu lesen.

Das zweite ist Terminal-Bench-Science 0.1, wo Anthropic 58,7 % für Claude Opus 5.5 veröffentlicht und Moonshots Material nur besagt, dass Kimi K3.1 Pro „über K3“ liege, ohne eine Zahl. Eine Zeile, in der auf keiner Seite eines Vergleichs eine Zahl steht, ist keine Zeile.

Das dritte ist SWE-bench. Es ist der Benchmark, den die meisten Teams noch zitieren, wenn sie über Coding-Agents sprechen, und im Launch-Beitrag werden DeepSWE v1.1 und SWE-Marathon v1.1 in Fußnoten genannt, ohne dass Scores veröffentlicht werden. Was auch immer der Grund ist, die am häufigsten nachgefragte Zahl fehlt.

Wie liest man eine 65,7?

Zwei Dinge beeinflussen einen Terminal-Bench-Score stärker als das Modell selbst: das Scaffolding darum und die Reasoning-Effort-Einstellung. Anthropics eigene Opus-5.5-Tabelle zeigt beide Effekte innerhalb eines einzigen Modells — CursorBench 4.0 geht von 57,8 % bei xhigh effort auf 52,5 % bei medium zurück, während FrontierCode sich zwischen denselben beiden Einstellungen um 0,2 Punkte verändert. Kimi K3.1 Pro hat drei Einstellungen und verwendet standardmäßig die teuerste, sodass ein Anbieter-Lauf, der sein Effort-Level nicht angibt, wahrscheinlich ein Max-Lauf ist, ob er es nun sagt oder nicht.

Deshalb ordnen der unabhängige Index und die Anbietertabelle diese drei Modelle unterschiedlich ein. In der Terminal-Bench-Zeile von Moonshot schlägt Kimi Astra um 7,5 Punkte. Im Index von Artificial Analysis, der zehn Bewertungen umfasst, liegt Kimi mit 2 Punkten vor Astra und mit 3 Punkten hinter Opus. Keine der beiden Reihenfolgen ist falsch; sie beantworten unterschiedliche Fragen mit unterschiedlichen Harnessen, und die einzige vertretbare Zusammenfassung ist, dass alle drei Modelle bei der allgemeinen Leistungsfähigkeit nur wenige Punkte auseinanderliegen, während der Preis zwischen dem günstigsten und dem teuersten um das Fünffache differiert.

Was ist mit den Zahlen zu tun?

Bei einer Workload, bei der das Ausgabevolumen dominiert – lange Codegenerierung, Dokumenterstellung, agentische Schleifen, die weit mehr schreiben als lesen –, ist die Ausführlichkeitskennzahl diejenige, an der man die Planung ausrichten sollte. Bei 150 Millionen Tokens pro Indexlauf gegenüber 60 Millionen bei Astra erzeugt Kimi K3.1 Pro für eine Aufgabe rund 2,5-mal so viel Ausgabe, und selbst zu einem Fünftel des Ausgabepreises verringert das den Kostenvorteil noch erheblich. Der Wert von 2,11 US-Dollar pro Aufgabe berücksichtigt dies bereits, weshalb er die bessere Planungszahl ist als die Preisliste.

Für eine Workload, bei der ein Punkt Genauigkeit über den Ausgang entscheidet, ist der Abstand von drei Punkten zu Claude Opus 5.5 auf dem unabhängigen Index die maßgebliche Zahl, und keine Anbietertabelle sollte Ihnen das ausreden.

Kimi K3.1 Pro lässt sich über OrcaRouter für 2,00 US-Dollar pro Million Input-Tokens und 10,00 US-Dollar pro Million Output-Tokens aufrufen, mit 1.048.576 Tokens Kontext, bis zu 943.718 Output-Tokens und drei Endpoint-Formaten – Chat Completions, Responses und Messages – mit demselben Schlüssel wie der Rest Ihres Stacks. Der Listenpreis des Anbieters ist der Preis, den Sie zahlen, ohne Aufschlag, was bedeutet, dass die obige Rechnung genau die Rechnung ist, die Sie erhalten. Das Einzige, was diese Seite Ihnen nicht liefern kann, ist Ihr eigener Benchmark: Testen Sie eine Stichprobe Ihres echten Traffics mit niedrigem, hohem und maximalem Effort, bevor Sie einen Standard wählen, denn die Einstellung verändert die Kosten stärker als die Modellwahl.